人工智慧可能帶來哪些資安危機？

人工智慧是什麼？

人工智慧 (以下簡稱 AI) 泛指以運算裝置提供的進階資料處理能力，使軟體與電腦具備解決問題與做出決策的智慧。人工智慧與人類智慧沒有什麼不同，只是 AI 能執行遠超出人類能力的任務。

AI 能為企業帶來什麼好處？

以 AI 翻轉企業運作是一項龐大，且幾乎無邊無際的預言。雖然 AI 的極限是道未知題，但初試啼聲，就已經能應用於供應鏈、醫療與金融產業，更多功能像是開發點到點產品運送的流程、處理大量健康數據，在診斷時識別異常或特定模式以提供更精準的治療、以更聰明的方式偵測詐欺並即時阻止交易犯罪，確保金融資產的安全等，而這些都還只是冰山一角。

一些常見的 AI 技術

AI 是一個總稱，它涵括此技術的各種變體，而每個分支各自能為企業、社會等帶來不同好處，以下舉幾個人工智慧的分支為例：

機器學習 (ML)：藉由餵養資料給機器，讓機器自行發掘演算法或模型，試圖「學習」並解決問題，它所獲得的資料點越多，潛力就越龐大。在一剛開始，這個學習過程需要人工標記正確的結果，但隨著時間的推移，已經能產出更準確的結果，人工的必要性也因此降低。

大型語言模型 (LLM)：建立在深度學習 (機器學習的子領域) 的基礎之上，LLM 經過預先訓練，並仰賴由上千萬個參數並行處理的巨量資料所組成的神經網路。無論是在自行監督還是半監督學習模式下運行，它的目標不只是獲取知識，更是要以情境方式體現知識，例如語意學，以及與人類切身相關的存在論，例如我們的思維與交流方式。

生成式 AI：從訓練資料學習個中結構，生成如文字和圖像這類的媒體內容，並以文字回應訊息的技術。藉由接收使用者輸入的資料，再透過神經網路處理資料以應用於 ML 技術，AI 將產出可用於多個 App 的媒體內容，例如創作優異的藝術作品、開發可用於軟體設計、撰寫文章、報告等文件的程式碼，還能加註引用文字以及更多。

與 AI 相關的資安風險

全球各機構都在熱烈的討論著 AI 的優勢，實際上，它為各行各業所帶來的風險，也是不容小覷。雖然網路安全事件本身並不是什麼新鮮事，但是 AI 所帶來的影響，甚至是在 AI 逐步被企業採納後，可能衍生出的風險，必定是我們前所未見的。

這並非只是少數人的想法，也不是哪部講述 AI 崛起導致人類滅亡的賣座電影裡的情節。事實上，多數專業網路安全人員普遍都認為，AI 將被武器化，程度遠超出我們今日所理解和認知的規模與速度，更諷刺的是，以 AI 驅動的防禦機制未來將成為機構的必備措施，透過先進的策略來對抗先進的攻擊手法，以毒攻毒，在威脅產生影響之前，就搶先一步辨識和做出回應。

而當機構在確保資料安全時，究竟會面臨哪些 AI 風險呢？

感謝「開放網路軟體安全計畫」(以下簡稱 OWASP) 和他們所發起的 2023 年大型語言模型應用程式十大風險，這份綜合報告旨在教育開發人員、設計師、架構師、主管及組織，在部署和管理大型語言模型 (LLM) 時，可能碰到的潛在資安風險。這份清單列舉了：

• 最可能影響 AI 的幾個關鍵資安弱點
  • 可能帶來龐大影響的弱點
  • 容易遭攻擊程序利用的弱點
  • 普遍存在於現實世界中 App 的弱點

LLM01：提示詞注入

對於熟悉 SQL 注入式攻擊的人來說，AI 的提示詞注入也是類似的攻擊類型。這些精心設計的提示詞，可控制模型執行非計畫中的操作。直接注入可直接覆寫系統回應內容，而間接注入則可對從外部接收到的內容動手腳。

就如 SQL 注入式攻擊一樣，平息這類攻擊的資安策略須對使用者提供的資料實施輸入驗證測試和資料清理。此外，將輸出編碼格式化可有助過濾回應內容，還可以降低提示詞操控發生的機率。

LLM02：未妥善處理輸出內容

攻擊人士經常採用模糊測試，來評斷對軟體進行攻擊最好的方式。藉由審查輸入內容所輸出的回應，來取得曝光關鍵資訊，進而讓威脅人士獲得破壞系統漏洞的線索。如果 LLM 輸出內容未經仔細檢查，則底層系統可能會因伺服器端請求偽造 (SSRF) 而外流。為了最大程度減少前述情形發生，還有減少可繞過存取控制和未經授權存取敏感資料的攻擊程序，輸入驗證測試與資料淨化兩者缺一不可，如此才能有效平息惡意請求發動的攻擊。此外，我們也建議經常查看稽核資料，以確保資源免受 AI 影響。

LLM03：訓練資料下毒攻擊

如果訓練資料是 AI 深度學習過程的命脈，那麼輸入的內容有多好，AI 生成的輸出內容就會呈現對等程度的好。一考量到會引入容易危及資料安全性、完整性和有效性的漏洞時，這一準則就顯得重要。其中相當重要的部分就是，組織須確保只從可信來源取得訓練資料、驗證資料完整性以確保訓練資料沒有被毒害或遭到篡改、沒有引入可能影響 AI 道德行為的偏見。

LLM04：阻斷服務 (DoS) 攻擊

與網路上的 DoS 攻擊不同，LLM 是威脅發起人士重視的目標。資源密集型作業在遭受攻擊時，可能直接阻斷服務和導致成本增加，而使用 AI 工具從事營運一直到網路安全的所有步驟只會跟著一起複雜化。若再配上使用者輸入內容的變異數等級，則變數只會呈指數增長。儘管員工需要的辦公資源都已經按需求派發，但資安人員仍應該實施存取資源上限，避免請求超出量能，否則只會讓資源耗盡。如果結合持續監控資源利用和嚴格的輸入限制條件時，管理人員便可採取主動方法來防止資源耗盡，同時仍為使用者提供存取 AI 工具的權限。

LLM05：供應鏈攻擊

2022 這一年，出現了不止一起重大的供應鏈攻擊事件。這些事件影響的層面十分廣大，就連分析師的指導預測都表示，2023 年威脅人士不會轉移目標，這個大型目標仍有滿滿的魚水可撈，因此供應鏈攻擊將繼續成長和擴散。根據 OWASP 的說法「LLM 的供應鏈漏洞，可能波及整個 App 生命週期」，其中包含資料庫、容器化物件實體、圖片及軟體封包；以及擴及負責託管模型的雲端服務商，甚至是與你的 LLM 互動的服務，如外掛程式 (這項弱點自成一個類別，我們在之後的段落會進一步詳述)。若要保護 AI 模型免受供應鏈攻擊影響，則會需要實施分層式資安計畫。首先，徹底篩選合作廠商，奠定堅實的基礎。解決方案的關鍵在於對來源內容進行定期稽核，確保安全性始終維持在第一位。如果只和受信任的來源內容搭配運作，則最能發揮模型與程式碼簽署的效益。雖然就漏洞偵測、超出範圍的元件在不該被使用時使用，甚至是查找可能對你的 LLM 安全性構成風險的異常情況等方面，主動式監控仍然必不可少。最後，將 MLOps (機器學習與開發暨維運流程) 搭配現有的資產清單，可確保模型以可靠、高效且安全的方式來部署兼管理。

LLM06：機敏資訊外流

資料外洩是另一個常見的網路安全問題，它可能危及資料安全，甚至是帶來難以計量的未知危機。雖然資料外洩事件在資安界並不陌生，但是 AI 風險所造成的後果實在難以量化。與 AI 共用的資訊，可能會在系統回應使用者時意外流出 (過去確實發生過)，比如近期 Samsung 的私有資料就被流出了三次。在向輸入資料學習後，機器學習程式會建立資料庫，並透過這些資料去解決問題，這會導致資料在未經授權下被存取，並因此違反合規與隱私規範，甚至是造成資料外洩。這時很重要的一點，就是得透過教育訓練讓使用者明白意外事件可能帶來的影響，建立相關資安意識，讓他們了解哪些資料可以與不可以和 AI 共享。另外，若能讓教育訓練與機構的政策維持一致，對機構才最有幫助，並落實安全的商業活動。

LLM07：不安全的外掛程式設計

外掛程式被描繪成供應鏈中的漏洞，這是因為它的本質與設計可能會使 AI 存取和生成的資料面臨重大風險。在許多情況下，LLM 都是依靠外掛程式或 API 來直接處理輸入資料和 AI 模型生成的輸出資料。設計不周的外掛程式可能容易受到惡意請求的影響，例如資料外流、底層系統曝光或遠端執行程式碼攻擊 (RCE) 等。這些事件甚至可能越演越糟，讓模型產出已遭駭入的內容，或是將系統機敏資訊公諸於世，最終讓發動攻擊的人得逞。我們建議將所有輸入內容都認定為不安全，並以此作為基本預防措施；這時你會需要一個驗證機制 (包括將輸入要求內容參數化) 與顯式存取控制，一起限縮安全性問題的風險。此外，我們也建議必須完整測試外掛程式並驗證程式碼，以及遵循開發流程中每個階段的最佳安全做法。

LLM08：過多主控權

AI 的行銷和視角，某種程度上預示著個人超級助理概念的到來，它可以為我們處理繁複的工作，這一點與鋼鐵人的助理賈維斯相似，賈維斯除了可以打造個人化播放清單，也能在偵測到未知物體時，多工執行背景動作和科學計算。AI 雖然已被運用在一些獨立主導的場景，如自動駕駛，但不論是模型的主控權限 (直接型)，還是經過 AI 或由外掛程式或工具處理資料後所產生的自動化動作 (間接型)，皆有一個共同特徵：這些動作在執行時，都沒有人類的介入或授權。光是這一點，就突顯了一個令人憂心的問題，仰賴資料的 LLM 或外掛程式因為握有主控權與權限，因此它們可能會執行，或甚至是會預設執行不必要的功能 (即便今天換作是人類，這些功能就不會被執行時)。歐盟《人工智慧法》草案的核心理念「為防止構成傷害，應由人類監督人工智慧的使用，而非讓系統全自動化。」

如何減緩這類型風險？導入以風險為基礎的分級管制方法。與零信任模型相仿，「LLM 須受到人類監管與約束」，對此，我們建議只開放必要權限給外掛程式和相關工具與函數。我們也建議應避免開放式函式，或任何根本無助於限縮攻擊範圍的函式 (後者)，同時實施嚴格的存取控制，限制系統只能與資料互動，或只能執行必要的操作 (前者)。

LLM09：過度依賴

如果過度主控權是一個令人憂心的缺口，那麼過度依賴也是如此，但我們要換個角度來看。許多使用者對生成式 AI (最著名的例子如 ChatGPT) 的接受度高，並且會用 AI 來撰寫文章、捕捉圖像或混搭出各種非常逼真的影片內容。雖然打從一開始，生成媒體內容的能力就資本層面來看，本身就是一大成就，但就如同許多工具一樣，使用者的意圖才是它成或敗的關鍵。這麼說乍聽之下非常戲劇性，但完全依賴 AI 內容並把它視為唯一真理的使用者，可能會帶來難以設想的後果。就拿 AI 的「幻覺」現象作個比方，一份技術文件因為 AI 給出了許多錯誤資訊，進而導致 IT/IS 及醫療產業和幾個主要的行業受到影響。還有只需要擷取一小段錄音，就能夠重新模擬講者講話的聲音，並捏造音訊內容。如果這段錄音被放到網路上散播呢？這些音訊內容，可能足以摧毀某人的名譽，「偽造」的錄音甚至可能被用來犯罪。

簡單來說，過度依賴 AI 的後果，可能遠遠超出我們可以想像的範圍，這裡有些技巧可以幫助你辨別什麼是真的，和什麼是由 LLM 生成的。首先，我們可透過可信任的外部資源對輸出內容進行事實查核，並以此作為額外的驗證機制，以此斷定生成內容的準確性和有效性。與開發外掛程式很像的一點，就是建立並遵守安全的程式碼流程，將有助於將開發環境中出現缺口的風險降至最低。除了驗證機制和交叉資訊驗證外，清晰且簡潔的傳達使用 AI 和 AI 生成內容的風險、已知問題及局限性，是內容創作者之於觀眾，需要肩負的基本創作倫理與公開透明責任——這一點與管理廣告真實性的美國傳播委員會 (FCC) 法規類似。

LLM10：模型盜竊

正如字面上所述，這項弱點指的是威脅人士未經授權存取和洩露資料，而這裡指的就是遭威脅人士攻擊的 LLM。在 AI 尚未興起的好多年前，網路安全世界中常見的資料外洩，就與這項攻擊類似，當時裝置上或網路內的敏感、私人和機敏資料經常成為攻擊目標，並被蓄意移除，目的就是為了洩露資訊、竊取私有詳情，或者本身就是間諜活動的一部分。與所有被竊取的機敏資料一樣，AI 模型盜竊的嚴重程度，從經濟和業務永續性的角度來看各有所不同，這樣的傷害不僅讓他人可以未經授權就使用模型，甚至讓原本作為模型所有者的組織，反倒被使用自家模型的攻擊所害，而有損組織的收益或競爭優勢。為確保你的 LLM 的安全，我們建議採取多層式資安策略，例如更嚴格的存取控制、可限制網路資源存取的網路分區隔離與沙盒機制、主動式資源監測，以及定期對你的 LLM 日誌和活動進行稽核；並在收到可疑行為的提示時，觸發並部署事件應對機制，以緩解偵測到的異常行為。除了存取控制外，若具備快速緩解已知會影響 LLM 的其它漏洞 (如本文中提及的漏洞) 的能力，將有助於避免惡意人士從其它項威脅橫向移動到破壞整個模型。

其它 AI 資安風險

合宜的沙盒機制

將資料送入沙盒，是將敏感流程與系統分割開來的絕佳方法。由於已和底層系統區隔開來，因此可以在安全運行的情況下，更加高效的處理資料，如此便能讓資料遠離外部威脅、並且不會暴露於沙盒外的風險之中。AI 技術相對新穎，因此現在有不少問題都攸關如何設計一個普遍能被接受或監管的沙盒。如今希望能導入 AI 技術的組織，將受益於沙盒測試，並以安全和符合倫理的方式對產品和服務進行測試，以最大程度的降低風險與應對各式挑戰，如缺乏正式的保障措施、未先預料的後果或缺乏對產品的黏著度。

AI 一致性問題

根據維基百科，「AI 一致性」是指「研究宗旨主要專注在引導 AI 系統依照人類預期的目標、偏好或道德原則發展」。若暫時不考量 AI 的能力，如果今天 AI 無法向訂定的目標邁進，則與目標不一致的情形可能會導致 AI 做出不當行為，比如進一步對企業做出造成傷害的行為、故障事件，或甚至是影響到人類的生活。來看看若是使用 AI 來為 Web 服務生成程式碼，會發生什麼事。 雖然開發人員的目標是建立複雜但安全，並可用於開發簡化與電腦相關任務服務的程式碼，但 AI 同時也可以用來生成可能對 Web 服務構成威脅的強大惡意程式碼。 因此，時時掌握 AI 時事脈動，確定哪些作法有效、哪些作法無效，才能確保 AI 模型安全無虞，而與目標維持一致的過程中，其中相當關鍵一點就是實施人工監督。而人工監督不該只是表淺的完成代辦清單，而是必須採取更務實和基於科學的方法，透過記錄問題、舉辦內部教育訓練、審核意見反映、以公開透明的方式對系統進行評估，以上都是一些可以幫助確保維持一致的方法。

總結

• 制定輸入驗證和輸出淨化機制，以減少敏感資料外洩的發生和提示詞注入攻擊
• 徹底篩選供應鏈廠商，以確保遵守安全和道德作法
• 確保訓練集的完整性，以及只使用來自可信來源，且沒有遭到竄改或入侵的資料
• 對所有使用 AI 所需的系統進行稽核
• 對資料共享施加限制，尤其針對私人與機密資訊
• 依據業界最佳作法，實施資料安全與存取控制
• 以最新修補程式、弱點管理工具和新型資安工具 (含 AI 與 ML 工具) 來強化硬體和軟體保護機制
• 以對抗式訓練應對 AI 型威脅，並改善模型的韌性
• 與定期教育訓練內容結合，帶領員工了解如何偵測和避免 AI 生成威脅所帶來的風險
• 組建一支專門應對安全性問題的事件回應團隊，並增強處理 AI 風險的能力