第三屆 ATT&CK 宇宙第一武道會：每個人都能是贏家（上）

‍

前言

隨著每一年的資安武道大會－－ MITRE ATT&CK Evaluations 評測規模愈來愈大，各家廠商也更加努力、展開渾身解數地透過評測來呈現自家的優勢，造就了如今看來每個廠商都能是贏家的局面。

在開始後續的說明內容前，我們想先提出一個與普遍大眾不一樣的想法給各位參考。一般來說，人們時常認為廠商自己發布的文稿帶有過高的廣告性質、內容十分偏頗，因而判斷廠商稿不值得參考；然而，我們會建議當你需要認真評估一項產品時，花一些時間看看廠商的說法、了解他們如何詮釋自己的產品，還是相當重要且有參考價值的，畢竟廠商應該是最清楚產品優勢的角色，若一個廠商連自己開發、販售的產品優點都說不清楚，要怎麼取信於消費者呢？

雖說參加 MITRE ATT&CK 等公開評測，並不能直接代表一家廠商或旗下產品究竟好不好，但不可否認的是，願意讓產品接受評測甚至被公開詳細結果，仍是十分值得鼓勵的作法，讓有資安需求的企業採購人員、業界人士，以至於一般大眾，都能夠在公平、公正、公開的前提下，看到各家產品面對相的攻擊情境的偵測結果與呈現方式。

在去年的文章中，我們針對許多數據和偵測類別做了說明，而這次的文章則會更加以資安人員的中立角度出發，向大家說明 MITRE ATT&CK 本輪評測和前一輪之間的差異性，以及除了數據之外還能用什麼樣的角度看待這次的結果。

有興趣參考去年文章的話：
第二屆 ATT&CK® 大亂鬥：天下第一武道會

Carbanak+FIN7 偵測類別的變化

前述的文章中，有詳細說明了 MTIRE ATT&CK 評測的偵測類別，而在這次第三輪的‎Carbanak+FIN7 評測中，針對偵測類別也做了些許調整。

如下圖所示，偵測類別從劣到優依序為遙測 (Telemetry)、一般 (General)、戰術 (Tactic) 及技術 (Technique)。其中，僅有一般以上的三種類別被判定為分析偵測 (Analytic Detection)，而無 (N/A) 則代表廠商並未參加這個步驟的測試，像是今年新增的 Linux 平台與保護(Protection) 測試，都是可自由選擇是否參加的。在今年的評測中，另外還加入了資料來源 (Data Sources) 作為輔助訊息，呈現出廠商是透過何種類型的資料達成該項偵測。

‍

‍

接下來，我們依序來探討幾個與上一輪之間的差異。

‍

移除高度人力介入的項目，如 MSSP、Host Interrogation and Residual Artifacts

透過我們多年觀察 ATT&CK Evaluations 並且實際參與所累積的經驗，可以看出從去年起 MITRE 在評測中加入了 MSSP，應是想要測試 SOC/MDR 服務商的反應。然而，在已知攻擊者做了什麼行為的前提下，人力介入肯定能夠從中找到一些資訊，對於評測本身的意義相當有限，且 MSSP 項目的爭議太多，故本輪中移除了 MSSP。

‍

移除無法統一量化的修飾詞 (Modifiers)，如 Correlated、Innovative、Alerts

在去年發表的部落格文章中，我們有提到過所有廠商呈現告警 (Alerts) 的方式各有不同，而 Correlated 也有著類似的問題，參考去年各家廠商 Alert 比例圖，就可以看出廠商呈現方式的相異。因此，MITRE Engenuity 今年就選擇了較為中立的方式，將這些無法統一量化的修飾詞全都取消。

‍

廠商策略的變化：大量利用設定變更與延遲偵測

今年我們觀察到，參與評測的廠商們，比起以往在考試策略上也大有不同，並開始在評測中大量地進行人為設定變更 (Configuration change) 與延遲偵測 (Delayed detection)。

人為設定變更指的是廠商在測試開始後，曾現場要求更動產品設定，而這個 Modifier 又分為三個種類：

• UX Change：廠商在測試當下認定產品有記錄到攻擊相關資料，對評測小組提出疑義，並調整產品介面相關的設定後，才得以在非標準產品（系統內部）的介面顯示出相關資料給使用者（評測小組）看，就會被加上 Configuration Change (UX)。
• Detection Logic：廠商在測試當下無法偵測，並且在知道攻擊方（也就是 MITRE 評測小組）打了什麼攻擊手法後，要求重新再攻擊一次，而重新測試後結果有了新的 Main Detection (Technique /Tactic/ Telemetry)，無論僅是調整參數或新增產品規則，都會被歸類成 Configuration Change (Detection Logic) 。
• Data Source：廠商在測試當下，認定其產品有辦法偵測到此攻擊，只是由於功能並未全開才沒偵測到，經過修改設定後能夠顯示新的 Data Sources 且成功偵測，就會被加上 Configuration Change (Data Sources)。

延遲偵測則是例如當考題對到第五步時，先前的第一步的偵測經過系統分析等種種原因，才成功地呈現出來，就會被賦予這個修飾詞。

下圖為今年各家廠商在最新一輪中有設定變更與延遲偵測的統計總數，也反映出來廠商們竭盡所能去把所有偵測拉到技術／戰術層級的偵測。然而，人為設定變更和延遲偵測，所影響並帶來的高度可視性或分析偵測覆蓋率 (Analytic detection coverage)，具有多少參考價值、是否能代表使用者買到的產品的真實偵測能力，也需要進一步搭配不同數據和資料來判定。

‍

全新評測？關於保護 (Protection) 類別

‍

‍

在今年的評測中，加入了一個新的考試類別－－保護 (Protection)，從上圖中可以看到，保護測試總共有 3+1 的類別，以下我們快速跟各位介紹一下它們的涵義：

• N/A（無）：沒有參加考試，由於不是每家廠商的產品都有保護模組，且這項是全新的考試方式，所以廠商們可以自由選擇是否參加。
• NONE（沒擋下）：攻擊成功執行完成，但是並沒有任何阻擋訊息。
• Blocked（阻擋）：攻擊被阻擋，導致攻擊無法執行下去。
• USER CONSENT（使用者決定阻擋）：這項比較特殊，部分廠商產品設置有讓使用者決定是否阻擋的功能，如果測試過程中攻擊項目需要這項操作才能阻擋，便會賦予這個註解。

‍

‍

在保護的評測中，將原本的攻擊情境步驟 Step 1 至 20，拆成了 10 個測試案例，而在案例測試時一旦被阻擋下來，後續攻擊就不會繼續執行了。以上圖為例，Test 4 案例之中，當駭客想從 Linux 執行 Pass The Hash 時，由於透過遠端抓取攻擊程式 impacket-psexec 落地而被阻擋，因此 Test 4 案例後續的攻擊步驟就會全部呈現為灰色，代表沒有執行過。

從今年的 ATT&CK 評測項目不難看出，MITRE Engenuity 嘗試將 Technique 阻擋、使用者判斷可疑端點行為等內容加入測驗，進而令保護評測不只是單純的惡意程式練蠱測試。

至於為什麼保護評測要將使用者決定阻擋 (User Consent) 放進去呢？與現今防毒軟體常遇到的一種困境有關，也就是過度主動阻擋有誤判太多的問題、而擋得太少又容易被客戶批評效果不彰。ATT&CK 評測以測試 Technique 為主，而並非所有 Technique 都 100% 具有惡意，那麼問題就來了－－介於灰色地帶的 Technique 是該阻擋還是允許呢？從評測成果來看，有些廠商的做法便是將這些選擇權交還給使用者去下決策。

如果有持續關注 ATT&CK 評測的話，肯定會知道下一輪評測的模擬 APT 組織主題是 Wizard Spider 和 Sandworm，其中，有一項特色就是勒索軟體，而這也正如前面所說的是處在灰色區域，因此我們大膽地猜測，明年的保護評測中可能會有更多的 User Consent 出現。

今年共有 29 家廠商參與 ATT&CK 評測，其中，只有 17 家廠商參加了保護評測，而以這次評測的 Test 3 為例，17 間廠商內有 12 間廠商在 smrs.exe（實際上是 mimikatz）這個惡意程式落地後就刪除了，僅有 4 家廠商未能阻擋到 mimikatz，並在後續的惡意行為才進行阻擋，還有 1 家廠商考試考到電腦壞掉。所以很可惜的是，本次的結果還是接近平常的練蠱比賽，沒有真的考驗到廠商對於灰色行為的阻擋方式。但畢竟這是 ATT&CK Evaluations 第一次舉辦保護相關的評測，或許之後有更多變化也說不定。

‍

Linux 已抵達戰場！

除了保護評測之外，另一項今年納入測驗內容的則是 Linux 平台的 EDR，不過由於不是所有廠商產品都支援 Linux 作業系統，所以 Linux 也同樣是廠商可各自選擇是否參與的測試。

在許多的資安事件中，Linux 平台往往是場域中可視性 (Visibility) 嚴重不足的一員，而在場域中卻又常作為對外伺服器所用的作業系統，正因如此，提升 Linux 的監控能力就顯得格外重要。那麼，在這次的 Linux 測試考了些什麼呢？

1. 基本端點監控能力（例如 Execution history、Process chain）

這是一個 EDR 的基本能力，能夠看到執行過的指令，並且提供時間、端點、指令內容等，在 Linux 測試中不例外地也進行了測試。

‍

‍

2. Linux 保護測試

如同前述所提及，這次評測中有將保護 (Protection) 納入測試，整體結果卻沒有太多亮點，畢竟在多年前防毒廠商們已經將這些考試玩的爐火純青了。

然而值得一提的是，廠商產品能夠支援 Linux 方面 Protection 就是少數，對於要保護 Linux 主機的企業來說是個不容錯過的指標。

‍

3. 跨端點間的互動

在 Linux 評測項目中，跨端點間的互動絕對最為重要的一環，由於大部分參加這場考試的廠商，對於偵測 Linux 上的攻擊都是有備而來，因此單就數據上的成績而論，彼此間成果都十分接近。然而，現今許多真實環境下的困境是源於調查介面的複雜，以及大量的 Raw Data 導致實際調查速度緩慢，許多廠商 Linux、Windows 的 EDR 是分開的操作介面，所以能否將不同端點、平台之間的互動完整呈現出來，便十分考驗廠商們的能力，在企業評估資安產品時也是重點之一。

下圖以取自 CyCraft 與 MicroFocus 在相同攻擊步驟的評測結果截圖來作為對照，便可進一步了解調查介面可用性與跨端點互動的呈現，在實際運用上的差異性。

‍

‍

小結

在本篇文章中，我們細數了 MITRE ATT&CK 評測近年下來的項目變化，以及背後的原因與代表涵義，包含移除 MSSP 項目、新增保護評測和 Linux 評測等，同時也一併舉例說明各廠商參加評測時在策略面的差異，希望能讓各位讀者更深入地瞭解如何解讀 ATT&CK 評測的成果。

此外，如同本文前言中所述，參考各廠商對於自家產品的成果解讀，對於評估產品、認識產品優缺點而言，還是有著一定的價值，因此很鼓勵大家透過各廠商的文稿，以豐富的角度來檢閱本輪 ATT&CK 評測的結果。奧義智慧針對相關內容也有發表一系列的文章，歡迎您點擊下方的連結閱讀：

奧義智慧連續兩年 ATT&CKⓇ 公開評測表現優異，全自動 AI 以 96.15% 信噪比奪冠
第三輪 MITRE ATT&CKⓇ 評測結果出爐，奧義智慧科技再度斬獲佳績

在本文的下篇中，我們會先從數據以外的角度切入，帶大家瞭解還有哪些值得觀察的資訊，並且全面性地對本輪 MITRE ATT&CK 評測成果，分享我們所觀察到各個廠商普遍存在的策略特徵。最後，則是一步一步詳細拆解後，分別對擁有不同資安成熟度的企業，提出如何利用 MITRE ATT&CK 來分析、比較並挑選適合的資安產品的建議。歡迎您按讚追蹤奧義智慧科技的粉絲專頁，以便在下篇發布的第一時間獲得資訊！