奧義智慧CyCraft AI登世界之巔 榮獲MITRE ATT&CK 年度評測告警最高分

‍

堪稱全球資安產品比武大賽的MITRE ATT&CK® 評測計畫，競賽結果於2020年4月22日於美國MITRE官網公布，奧義智慧 CyCraft AI系列產品從 21 家國際大廠中脫穎而出*，在告警偵測率等項目獲得最高分，包括告警能力、全程無人為設定變更、最大程度抑制低階雜訊等亮眼表現驚艷世界。

奧義智慧AI有最強告警能力 第二屆 ATT&CK 評測共有20個關卡，題目設計模擬 APT29 系列網軍攻擊套路，官方表示複雜度與隱匿性更勝第一屆評測強度。此屆定義有五種偵測類型，前三種屬於有效的即時告警，包括一般型（General）、戰術型 （Tactic），與戰技型（Technique），其他兩種是低階資料（Telemetry）與專家告警（MSSP），這兩者都需要專家介入，不具即時性。 奧義智慧AI所呈現的告警畫面，均清楚交代根因、嚴重性、關聯性，以及對應的ATT&CK標籤編號，最終獲ATT&CK評測小組給予101個即時告警，是21隊中最佳。更有趣的是，若摒除類似告警等重複得分，將單一考題僅取一個最佳解（Unique Substeps），奧義智慧AI獲得了最高90個不重複告警，不僅仍是21隊中最佳，並遙遙領先其他國際大廠。

下圖顯示奧義智慧AI在告警能力大幅領先（90次不重複告警）

‍

‍

奧義智慧AI表現一鏡到底最客觀

當受測產品在現場因各種人為因素而必須進行組態設定變更（Configuration Changes），ATT&CK 測試小組在被中斷測試的情況下，會額外註記受測產品的人工校正次數與其影響，尤其是因人工調整設定而提升偵測率的情況，以確保答題的公平性。奧義智慧在ATT&CK 測試全程一鏡到底，無人為介入中途改變產品設定。 奧義智慧全程沒有變更產品設定，不論是使用者介面的改變（譬如突然現場冒出一個後臺工具），或者是偵測率的提升（譬如現場本來偵測不到，調整設定後變成可以偵測），評測小組會將此註記為組態變更紀錄，然而奧義智慧AI並無任何人為介入變更的標記。

下圖顯示奧義智慧AI在評測過程一鏡到底（0次設定變更）

‍

‍

奧義智慧AI不製造低階雜訊

倘若受測產品的告警被 ATT&CK 評測小組認為不足以識別為有效告警（一般/戰術/戰技），則歸類為低階資料（Telemetry）或無效（None）。低階資料經常夾帶過多雜訊，需要耗費精力解讀與拼湊更多線索，造成資安人員過勞。奧義智慧有賴強大AI學習能力，此次評測僅出現1次罕見情況是以低階資料作呈現，絕大多數情形AI都收斂成有效告警（90次不重複告警），以最大程度減輕資安人員的工作量。

下圖顯示奧義智慧AI在抑制低階雜訊有優異表現（1次低階雜訊）

‍