AIのセキュリティリスク

このブログでは、ビジネス運営においてAIが発揮し得るパワーについて、そこに潜むセキュリティリスクに目を光らせながら見ていくと同時に、重要なセキュリティ上のリスクについて深掘りしていきます。

業界最新のバズワードである「AI」について耳にしない日はないと言ってもいいでしょう。しかし、AIはただの流行語ではなく、農業からヘルスケアまで、多くのビジネスに計り知れないメリットを提供する可能性を秘めたテクノロジーです。そして、すべてのテクノロジーがそうであるように、AIにもセキュリティリスクというデメリットがあります。ですが、心配はいりません。このブログでは、特に深刻なセキュリティリスクに触れるとともに、リスクを軽減してAIベースモデルを安全かつ倫理的に使用するための前向きな戦略について考えていきます。

September 6 2023 投稿者

Shadowy figure representing the security risks AI and ML technologies pose.

AIとは?

Artificial Intelligence(人工知能)、略して「AI」は、高度なデータ処理能力を活用して問題解決や意思決定を行うことのできる、ソフトウェアやコンピュータの知能を指します。AIの知能は人間のそれとほとんど変わりませんが、人間を遥かに超えたレベルの機能性を備えています。

AIがビジネスにもたらすメリット

ビジネスの運営に革命をもたらすという点において、AIには無限大の可能性が秘められています。何がどこまで可能なのかは不明ですが、現時点での可能性としては、サプライチェーン、ヘルスケア、金融を含む多くの業界におけるプロセスの開発が考えられ、ここには商品のよりシームレスな流通、患者データの大量処理を通じたパターン特定を活かした診断やより良い治療、さらには不正の高度な検出や不正取引のブロックによる金融資産の保護などが含まれます。

AIの使用例

「AI」は複数のバリエーションから成るテクノロジーの総称であり、それぞれがビジネスや社会などに異なる利益をもたらします。以下はその例です。

機械学習(ML): 解決しようとしている問題に関連するデータを機械に与え、独自のアルゴリズムまたはモデルを特定させるテクノロジーです。学習プロセスの初期においては、正しい結果を識別するために人間が用意したラベルが必要になりますが、時間が経つにつれてより正確な結果が得られるようになり、人間の助けは徐々に不要になります。

大規模言語モデル(LLM): MLのサブセットであるLLMは、ディープラーニングに基いた言語モデルで、事前学習に加え、大量のデータを並列処理するために数千万のパラメータで構成されるニューラルネットワークを使用します。「自己教師あり学習」や「半教師あり学習」など異なるモードこそあれ、LLMの目的は知識を得るだけでなく、構文や意味の解釈や、人間の考え方やコミュニケーションに関わるオントロジーなど、知識の文脈的側面を表現することにあります。

生成AI:トレーニングされ入力されたデータの構造を学習し、リクエストに応じてテキストや画像などのメディアを生成する技術。ユーザから入力データを受け取り、ニューラルネットワークを介してデータを処理し、MLテクノロジーを適用することで、様々なアプリケーションで使用できるメディアをAIで生成することができます。ここには、アート作品の制作やソフトウェデザインに使われるコードの開発、記事やレポートなどのドキュメントの作成、テキストの引用など、数多くのものが含まれます。

AIに関連するセキュリティリスク

AIが世界中の組織にもたらすメリットについてはよく話題に上がりますが、同等に深刻なリスクを各業界に与える可能性があることも忘れてはなりません。サイバーセキュリティのリスク自体は目新しいものではありませんが、AIがそれに与える影響や、AIが新たな方法でビジネスに参入していく中でそれがどのように進化していくかについては多くの注目が集まっています。

これは、一部の特殊な人たちだけが騒いでいるわけでもなければ、「AIの台頭が人類を滅亡に導く」というハリウッド映画の筋書きでもありません。AIは、今日の我々が理解しうるものを遥かに超えた規模とスピードで兵器化されるだけでなく、皮肉にも、このような攻撃の影響が及ぶ前に「それを検出、解釈および対処するための高度な戦術を備えたAIベースの対策」が多くの組織で必要になるというのが、多くのサイバーセキュリティ専門家の間で一致している意見です。

では、業務リソースを保護したいと考える組織が実際に直面しているAIベースのリスクにはどのようなものがあるのでしょうか?

「大規模言語モデル(LLM)を導入および管理するにあたって気をつけるべきセキュリティリスクについて開発者、デザイナー、設計者、管理者、組織を教育する」ことを目的にOWASPが発表したレポート「Top 10 for Large Language Model Applications project for 2023」では、AIに影響を与えるもっとも深刻な脆弱性として以下のリスク要素が挙げられており、どのような潜在的影響があるのか、どのくらい悪用されやすいのか、そして実際の導入においてどのようなリスクが確認されているのかについて説明しています。

LLM01:プロンプトインジェクション

SQLインジェクション攻撃というものがありますが、AIのプロンプトインジェクション攻撃もそれに似たタイプの攻撃と言えます。
この場合、モデルに意図しないアクションを実行させるために特殊な質問が入力されます。ダイレクトインジェクション攻撃はシステムのレスポンスが上書きされるもので、インダイレクトインジェクション攻撃は外部ソースから受け取った入力が細工されます。

そして、SQLインジェクション攻撃と同様に、この脆弱性のリスクを軽減するためのセキュリティ戦略には、ユーザが提供したデータに対する入力バリデーションとデータのサニタイジングの両方が含まれます。さらに、出力エンコーディングを初期化することで、プロンプト操作のリスクをさらに減らしつつ、レスポンスをフィルタリングすることができます。

LLM02:セキュアでない出力処理

攻撃者は、ソフトウェアの最適な攻撃方法を決めるためにファジングを採用することがあります。特別に細工された入力に対する出力応答を調べることで、攻撃者はシステムに侵入するために利用できる脆弱性の手掛かりを含んだ情報を得ようとします。LLMの出力が精査されない場合、サーバサイドリクエストフォージェリ(SSRF)の脆弱性によって、ベースとなるシステムが剥き出しになってしまう場合があります。アクセス制御の効果的なバイパスや機密データへの不正アクセスを可能にするこのような悪用を最小限に抑えるには、入力バリデーションとサニタイジングを組み合わせて、悪意のあるリクエストによってもたらされる脅威を軽減することが大切です。さらに、リソースがAIから保護されている状態を維持するために、監査データを頻繁に見直すことが推奨されます。

LLM03:学習データのポイズニング

学習データがAIのディープラーニングプロセスに不可欠なものである以上、AIによって生成される出力はそもそもの入力の質に大きく左右されます。データのセキュリティや統合性、有効性をあっという間に脅かしてしまう脆弱性が持ち込まれる可能性を考えれば、このことは特に重要になります。そのため、信頼できるソースから学習データを入手することはもちろん、その統合性を検証して、データポイズニングの痕跡がないか、データが改ざんされていないか、もしくは、AIシステムの倫理的行動に影響を与える可能性のあるバイアスが含まれていないかなどを確認することが、組織にとって非常に重要です。

LLM04DoS(サービス妨害)モデル

ネットワークに対するDoS攻撃と同様に、LLMも脅威アクターにとって格好の攻撃ターゲットになります。リソースを大量に必要とする運用は、攻撃された場合、サービスの中断やコスト増につながりかねず、ビジネス運用からサイバーセキュリティまでAIベースのツールに依存することで、さらに事は複雑になります。これにユーザ入力の差異を加えることで、変数の数はさらに膨大になります。セキュリティのプロの仕事は楽ではありませんが、少なくとも、リソースの枯渇を招くような過剰なリクエストを制限するためにリソースの上限を設定することはできます。リソースの使用率を継続的に監視し、厳格な入力制限を適用することで、管理者はリソースの枯渇を防ぐための積極的なアプローチを取ることができ、同時にユーザは問題なくAIツールを使い続けることができます。

LLM05:サプライチェーン

2022年は、複数のサプライチェーンに対する侵害が注目を集めた年でした。これらの攻撃の影響はあまりにも大きく、アナリストたちは2023年も脅威アクターたちが豊富な機会を提供する大型ターゲットを狙い続け、サプライチェーンへの攻撃が拡大および拡散し続けることを予測しています。OWASPは、「LLMに関連するサプライチェーンの脆弱性がアプリケーションのライフサイクル全体に影響を与える可能性」について示唆しており、ここにはライブラリ、コンテナ化されたインスタンス、イメージ、パッケージなどが含まれます。また、モデルをホスティングしていたり、LLMと接触するサービス(プラグインなど)を提供していたりするクラウドサービスプロバイダにも影響が及ぶと考えられます(こういったプロバイダには独自の脆弱性がありますが、それについては後ほど触れます)。サプライチェーンを狙った脅威からAIモデルを守るには、重層的なアプローチを備えたセキュリティ計画が必要になります。まず初めに強固な基盤を築く上でなくてはならないのは、パートナーを徹底的に精査することです。また、ソースを定期的に監査することは、セキュリティを最優先する上で重要な部分となります。モデルとコードの署名に関するベストプラクティスは、信頼できるソースだけを採用することでさらに効果を発揮します。もちろん、脆弱性やスコープを超えて使用されているコンポーネントを検出したり、あるいはLLMのセキュリティに対してリスクをもたらす可能性のある異常を検出するためにも、積極的な監視は必須です。最後に、MLOps(機械学習運用)と連携して使用されているコンポーネントの最新インベントリがあれば、モデルの導入や管理に関して信頼性や効率性、安全性が保たれていることを確認することができます。

LLM06:機密情報の開示

サイバーセキュリティに対して未知かつ重大なリスクとなる可能性のあるもうひとつの問題はデータ漏洩です。これもセキュリティ業界にとっては目新しいことではありませんが、これがAIベースのリスクとなればその影響は計り知れません。ユーザがAIと共有した情報が 意図せず機密データの漏洩に繋がってしまったケースはこれまでも多くあり、最近もSamsungのデータベースが流出してしまったケースが3件ありました。特に機械学習アプリは、すべての入力データから学習してデータベースを構築し、クエリを解決するためにこのデータを利用するため、データへの不正アクセス、コンプライアンスやプライバシー違反、そしてもちろんデータ漏洩につながることがあります。それゆえ、ユーザが自分のアクションがどのような結果を生み出す可能性があるのかを理解するためにも、ユーザトレーニングを実施し、AIと共有すべきでないもの、そしてその理由について認識を得てもらうことが重要です。さらに、ユーザトレーニングと組織のポリシーを合わせることで、セキュアなビジネス運営をさらに支援することができます。

LLM07:安全性に問題のあるプラグイン

サプライチェーンの脆弱性の一部としてすでに触れたプラグインとそのデザインも、AIによってアクセスまたは生成されるデータに重大なリスクをもたらす可能性があります。これは、プラグインの構造上の性質によるものです。多くの場合、LLMはプラグインやAPIを介して入力データやAIモデルが生成した出力データに働きかけます。安全に設計されていないプラグインは悪意のあるリクエストを受けやすく、データ漏洩、システムの露出、リモートコードの実行をはじめとする、数々の問題を引き起こす可能性があります。また、ポイズニングにつながる可能性もあり、欠陥のある出力を生成したり、攻撃者が目的の達成に使用できる機密システム情報を提供したりする原因となります。一般的な予防措置として、すべての入力データを安全でないものとして扱い、セキュリティ上の問題が発生するリスクを軽減するために、明示的なアクセス制御とともに入力バリデーション(パラメータ化された入力要件を含む)を行うことが推奨されます。さらに、プラグインはコードを検証するために徹底的にテストされるべきであり、開発パイプラインの各フェーズで安全なコードを開発するためのベストプラクティスの遵守も重要になります。

LLM08:過剰な主体性

AIは、私たち人間のために面倒なことや大変なことを肩代わりしてくれる存在として見られる、あるいは売り出される傾向にあり、厳選されたプレイリストを作成したり、未知の要素が検出された際に科学計算を瞬時に行ったりできる便利なものとして歓迎されています。AIが自律的なタスク(例:自動運転車)を行うために利用される一方で、AIモデルに付与された主体的なアクション、またはAIが処理しプラグインまたはツールによって実行されたデータに起因する自動アクションには、人間のアクションや許可なしに行われるという共通点があります。そして、このことに起因する懸念があります。LLMやそのデータに依存するプラグインが、人間が望んでいないのにも関わらず、必要でないアクションを実行したり、あるいは主体性または「許可」が付与されたという理由だけで実行したりする可能性があることです。この懸念は、欧州連合(EU)のAI規則案の「AIシステムは、有害な結果を防ぐために、自動化ではなく人間によって監督されるべきである 」という原則にも表れています。

では、このようなリスクを軽減するにはどうすればいいのでしょうか?リスクベースのアプローチを導入することです。ゼロトラストモデルと同様に、「LLMに自己規制や自己責任を任せるべきではな」と考えるのが賢明です。そして、そのためにはプラグインやツールへのアクセスを、それを必要とする機能だけに制限することを検討すべきです。また、さらに砦を守るためにも、制限のない機能や単に不要な機能を避け、プロセスを完了するために必要なデータ使用やアクションのみにアクセスを制限することを推奨します。

LLM09:過剰な依存

過剰な主体性が脆弱性を生み出すなら、過剰な依存もそれに似ていますが、この場合の懸念はさらに大きなものになります。これはどういう意味なのでしょうか?多くのユーザは、ChatGPTなどの生成AIモデルをうまく利用して、記事を書いたり、魅力的な画像を作成したり、リアルな動画コンテンツを作成したりしていますが、これらは全てAIによって生成されたものです。当初は、メディアコンテンツを生成する能力自体が素晴らしい事としてもてはやされましたが、多くのツールと同様に、それが創造を促すものになるのか、それとも破壊をもたらすのになるのかは、ユーザの意図にかかっています。大げさに聞こえるかもしれませんが、ユーザがAIによって生成されたコンテンツを盲目的に信じ過ぎることは、悲惨な結果をもたらす可能性があります。例えば、AIが生み出した幻覚によって生まれた誤った情報が技術論文に掲載され、それがヘルスケアやIT、情報セキュリティなどといった主要な業界にどのような影響や問題を与えるかについて考えてみてください。あるいは、ほんの数秒の音声さえあれば、デジタルで声を再現し、いとも簡単に好きなことを言わせることができてしまうという事実をどう考えますか?さらに、それを録音したものがオンラインで拡散されたとしたら?その内容によっては、誰かの社会的評判を台無しにする可能性もあり、または「フェイク」の音声データが犯罪の一部として利用される可能性もあります。

簡単に言えば、AIに過度に依存することの計り知れない影響がどれほど深刻なものになりうるのか、私たちはまだ知りません。しかし、何が本物で何がLLMによって生成されたものなのかを識別するのに役立つ方法がいくつかあります。まずは、生成されたコンテンツの正確性と有効性を判断するための追加レイヤーとして、信頼できる外部ソースを使用したファクトチェック(事実確認)から始めましょう。プラグインの開発と同様に、コードを書く上でのベストプラクティスを確立し遵守することで、開発環境に脆弱性が持ち込まれるリスクを最小限に抑えることができます。情報の検証と相互検証に加えて、AIやAIで生成されたコンテンツの使用に関連するリスクや既知の問題、および制限について明確かつ簡潔に伝えることは、コンテンツ作成者とコンテンツユーザの間に倫理性や透明性を保つ上で非常に重要です。

LLM10:モデルの盗難

これはもっともわかりやすい脆弱性で、脅威アクターによるデータ(この場合はLLMそのもの)への不正アクセスと流出を指します。これは、AIが登場する何年も前から見られたデータ流出の脅威とそこまで変わらず、機密情報や個人情報をデバイスやネットワークから盗み出して、情報の漏洩やスパイ活動の一環として利用することを目的としています。AIモデルの盗難は、機密データの盗難と同様に、経済的およびビジネス継続性の両方の観点からさまざまな影響を及ぼします。モデルの不正使用に起因する収益や競争優位性の損失はもちろんのこと、組織への攻撃にモデルが使用されるといった事態も考えられます。ここで重要になるのは、多層的なセキュリティ対策を通じてLLMを保護することであり、これには強力なアクセス制御、ネットワーク分離や安全なサンドボックスによるネットワークリソースへのアクセスの制限、リソースのアクティブな監視、LLMに関連したログやアクティビティの定期的な監査などが含まれます。また、疑わしい動作が検出された際に速やかにアラートを出し、インシデント対応を行うことも大切です。アクセス制御に加えて、LLMに影響を与えることが知られている他の脆弱性(この記事に登場するものを含む)に迅速に対処することで、悪意のあるアクターが別の脅威から方向転換または横方向に移動してモデルを侵害するリスクを軽減することができます。

その他のAIベースのセキュリティリスク

不十分なサンドボックス化

データのサンドボックス化は、機密性の高いプロセスをシステムの他の部分から分離するための優れた方法です。これにより、外部の脅威やサンドボックスの外にあるリスクにさらされたりすることなく、全体的なシステムから安全に切り離された状態でデータが効果的に処理されるようにします。AIは比較的新しいテクノロジーであり、 一般的に受け入れられている、または規制されているサンドボックスを設計する上で多くの問題を抱えています。ただし、今日のAIテクノロジーを活用したい組織は、AIモデルやツール、システムをサンドボックス化することで、リスクを最小に抑えながら安全かつ倫理的に製品やサービスを試用し、正式な予防手段の欠如や予期せぬ事態、もしくはソリューションの信頼性の欠如などといった課題に対処することができます。

AIのミスアライメント

ウィキペディアによると、「AIアライメント」という用語は、「AIシステムを人間の意図する目的や嗜好、または倫理原則に合致させることを目的とする研究領域」を意味します。AIが、その能力にも関わらず意図した目標に向かって進むことができない場合、それはアライメントから外れている(「ミスアラインメント」)と見なされ、ビジネスに悪影響を与える、もしくは最悪の場合、人命を危険にさらす可能性のあるアクションや誤作動を含む望ましくない動作につながることがあります。ウェブサービス向けのコードを生成するための AI システムを例にとってみましょう。開発者の目的は、コンピュータ関連のタスクを簡略化するサービスを構築するための複雑でセキュアなコードを作成することですが、悪意を持ってAIを操作し、前述のウェブサービスやその他のサービスに脅威を与えかねない悪意のある強力なコードを作り出すことが可能です。そのため、より安全に使用できるモデルにするためにも、何が機能し何が機能しないかを特定し、AIの状態を常に把握することが重要です。このアライメントプロセスにおいて鍵となるのは、人間による監視です。ただ単に機能したことと機能しなかったことを確認するだけでなく、問題をしっかりと記録し、継続的なトレーニングを行い、フィードバックを確認し、システムの評価を行うなど、実用的かつ科学的、そして透明性を持ったアプローチで取り組むことが重要になります。

まとめ

  • 機密データの漏洩やプロンプトインジェクションの脆弱性を減らすために、入力バリデーションと出力サニタイジングを実践
  • サプライチェーンパートナーを徹底的に精査して、セキュアで倫理的なプラクティスが行われていることを確認
  • 信頼できるソースのみを使用することで、トレーニングセットのデータ整合性が維持され、改ざんや侵害がされていないことを確認
  • AI に使用されるすべてのシステムを監査
  • データ、特に個人情報や機密情報の共有に制限を適用
  • 業界のベストプラクティスに従ってデータセキュリティとアクセス制御を実装
  • 最新のパッチ、脆弱性管理、次世代セキュリティツール(AI/MLベースのツールを含む)でハードウェアとソフトウェアを強化
  • AI ベースの脅威に対抗し、モデルの耐性を向上させるためのトレーニングを提供
  • AIによって生成された脅威に起因するリスクを検出および回避する方法をスタッフが理解できるよう、定期的なトレーニングを実施
  • AI関連のリスクに対応するための専門のインシデント対応チームを構築

Jamfブログの購読

市場トレンドやAppleの最新情報、Jamfのニュースなどをお届けします。

当社がお客様の情報をどのように収集、利用、移転、および保存するかに関しては、プライバシーポリシーをご参照ください。