国家サイバー統括室が署名したガイダンスに学ぶ、AI・MLサプライチェーンの脅威と対策
公開日
人工知能（AI）や機械学習（ML）システムは企業の業務効率化に大きく貢献しますが、同時にサイバーセキュリティ上の新たな脆弱性を生み出します。事前学習済みのモデルや外部のデータセットを利用する際、その複雑なサプライチェーンを狙った攻撃への対策が急務となっています。
本記事では、豪州サイバーセキュリティセンター（ACSC）が策定し、日本の国家サイバー統括室をはじめとする各国の主要機関が共同署名した資料「Artificial intelligence and machine learning: Supply chain risks and mitigations」に基づき、AI特有のセキュリティリスクと実践的な軽減策について解説します。
AIサプライチェーンリスク管理の基本方針とサードパーティ連携
AIおよびMLシステムのサプライチェーンは、学習用データ、モデル、ソフトウェア、ハードウェア、そして外部サービスなど、多様な要素で構成されています。安全なAI活用のためには、既存のセキュリティ戦略を拡張し、AI特有の視点を取り入れる必要があります。
ライフサイクル全体での完全性評価
AIシステムの統合にあたっては、サプライチェーン全体の可視性を確保することが重要です。特に以下の3つの要素を総合的に評価し、脅威モデリングによる潜在的な攻撃ベクトルの把握と、インシデント対応計画の更新が求められます。
- 機密性：AIが扱うデータは膨大であり、システム全体へ広くアクセスするため
- 所有権と制御：データの管理主体が変わることで、パフォーマンスやバイアスに影響が出るため
- 技術的知見：AIシステム特有の新しい攻撃手法（戦術、技術、手順）を理解し管理するため
サードパーティを通じたデータ漏洩リスクと責任共有
リソース要件が厳しいAIシステムでは、クラウド基盤や外部プラットフォームなどのサードパーティサービスへの依存度が高まります。利便性が向上する一方で、深刻な脅威を招くこともあります。
💡 ケーススタディ：サードパーティを通じたAIデータ漏洩 2025年だけでも、サードパーティサービスの侵害によるAI関連のデータ漏洩が多発しています。AIシステムは学習やコンテキスト理解のために大量の個人情報や機密データを集約・保持するため、悪意ある攻撃者にとって非常に魅力的な標的となっています。
このような事態を防ぐため、以下の対策を徹底してください。
- ベンダーのセキュリティ体制に対する 事前のデューデリジェンス（適格性評価） を実行する。
- 契約初期段階で、自社データの学習利用の制限や監査権の付与を明記する。
- クラウドのデータ所在地（レジデンシー）を定義し、責任共有モデルを明確にする。
AIデータにおける脅威：ポイズニングと情報漏洩の対策
AIモデルの精度は、学習に使用されるデータの品質に直結します。外部データセットの取得や大規模なデータの集約には、特有のリスクが伴います。
組織を狙うデータポイズニングと抽出攻撃
データに関する重大なリスクの一つが、学習データに悪意のある変更を加える 「データポイズニング」 です。この攻撃を受けると、モデルのパフォーマンスが低下したり、意図しない動作を引き起こしたりします。さらに、モデルをリバースエンジニアリングして元データを抽出する 「モデル反転」 や 「メンバーシップ推論」 といった攻撃による情報漏洩の懸念も存在します。
💡 ケーススタディ：AIデータポイズニングの被害 2025年の調査において、複数の組織がすでにAIデータポイズニングの被害に遭っていることが確認されました。データセットは巨大で複雑なため、データがソースの段階で侵害されていると、検出が非常に困難になります。
隔離テストとデータ来歴による安全性の確保
データに関するリスクは、事後の検出よりも事前の予防措置が効果的です。外部から取得したデータは、内部システムに統合する前に専用の隔離環境でテストを行い、悪意のあるコンテンツが含まれていないかを確認します。
図表1：AIデータにおける主なリスクと軽減策
| リスク分類 | 具体的な脅威 | 推奨される主な軽減策 |
|---|---|---|
| 品質・偏向 | 低品質なデータによる精度低下やバイアス発生 | 標準化されたデータ収集、ノイズ除去等のデータサニタイズ |
| ポイズニング | データ改ざんによる意図しない挙動の誘発 | 信頼できるソースからの調達、データ来歴（プロベナンス）管理 |
| データ漏洩 | モデル反転や抽出攻撃による学習データの露出 | 差分プライバシーや匿名化によるデータ難読化、機密情報の排除 |
ハッシュ値による完全性チェックや、作成からの変更履歴を追跡する 「データ来歴（データプロベナンス）」 の管理を導入することで、改ざんを早期に発見することが可能になります。
機械学習モデルにおける脅威：マルウェア埋め込みと回避攻撃の対策
機械学習モデルは複雑な構造と大きなファイルサイズを持つため、従来のウイルス対策ソフトでは検知が難しいマルウェアの隠れ蓑として悪用されることがあります。
共有プラットフォームに潜む悪意あるモデルとステゴマルウェア
モデルの保存や共有に用いられる「シリアル化（パッケージ化）」のプロセスにおいて、ファイル内に悪意のあるコードが挿入されるリスクがあります。また、モデルの重みやメタデータの中にマルウェアを潜ませる 「ステゴマルウェア」 の手法にも注意が必要です。
💡 ケーススタディ：悪意あるMLモデルの拡散 2025年の研究では、悪意のあるコンテンツを含むシリアル化されたモデルファイルが、人気のあるAI共有プラットフォームに継続的にアップロードされている事実が報告されています。巧妙な隠蔽手法によりセキュリティチェックをすり抜けるため、未確認モデルの利用は極めて危険です。
入出力モニタリングと敵対的トレーニングの実践
これらのモデル特有のリスクを軽減するためには、取得時および運用時の継続的な検証が不可欠です。
図表2：機械学習モデルにおける主なリスクと軽減策
| リスク分類 | 具体的な脅威 | 推奨される主な軽減策 |
|---|---|---|
| マルウェア埋め込み | シリアル化時のコード挿入、ステゴマルウェア | 非実行可能フォーマット（重みのみ等）の利用、再現可能なビルド |
| ポイズニング | パフォーマンスの低下、標的型バイアス、バックドア | AIBOM等を用いた透明性確認、導入前・運用中のパフォーマンステスト |
| 回避攻撃 | セキュリティ機構をすり抜ける入力データの操作 | 入出力の常時モニタリング、未想定データを用いた敵対的トレーニング |
安全性が高い非実行可能なファイル形式を採用することに加え、入力と出力を常に監視し、異常の兆候を検出する体制を整えます。また、未想定のデータを用いた 「敵対的トレーニング」 を行うことで、モデル自体の堅牢性を高めることも重要です。
ソフトウェアおよびインフラストラクチャにおける脆弱性管理
AIシステムは多くのフレームワーク、ライブラリ、専用ハードウェアといった計算資源に依存しており、これらもサプライチェーンの重要な一部として保護する必要があります。
AIフレームワークの脆弱性と依存関係の確認
AI開発で使用される主要なフレームワークや外部ライブラリは、複雑さを増す一方で深刻なセキュリティリスクを孕んでいます。
💡 ケーススタディ：AIライブラリを通じた侵害 主要なAIフレームワークにおいて、不正なデータ復元を悪用する「デシリアライゼーション攻撃」を可能にする脆弱性が複数発見されています。2024年には公開AIライブラリが侵害され、ユーザーが気付かずに暗号通貨マイニングマルウェアをインストールさせられる事件も発生しました。
【ソフトウェアの主な対策】
- チェックサムやデジタル署名を用いた取得時の改ざん検知
- SBOM（ソフトウェア部品表） の作成・維持による依存関係の把握
- 最小特権の原則に基づくセキュアな展開と、既知の脆弱性への迅速なパッチ適用
特化型ハードウェアの保護とネットワーク分割
AIシステムはGPUや専用のアクセラレータに強く依存しており、これらのデバイスのドライバやファームウェアが新たな攻撃経路となります。
【インフラ・ハードウェアの主な対策】
- 署名されたファームウェアの適用とセキュアブートの有効化
- AIシステムを扱うネットワーク領域の適切なセグメンテーション（分割）
- 専用の認証と監査機能を備えた独立した管理ネットワークの利用
まとめ：多層防御によるAIサプライチェーンのレジリエンス向上
AIと機械学習システムは、データ、モデル、ライブラリ、インフラといった複雑なエコシステムの上に成り立っています。安全なシステムを構築・運用するためには、特定の一箇所だけでなく、サプライチェーンの全方位にわたるセキュリティ対策が必要です。
自社のリスク評価に基づき、データの検証、モデルの監視、セキュアなインフラ構築といったベストプラクティスを組み合わせる 「多層防御」 の戦略を採用してください。これにより、攻撃対象領域を最小化し、AIシステムの全体的なレジリエンス（回復力・抵抗力）を大幅に強化することができます。
Webサービスや社内のセキュリティにお困りですか？ 弊社のサービス は、開発チームが抱える課題を解決し、生産性と幸福度を向上させるための様々なソリューションを提供しています。ぜひお気軽にご相談ください！
参考資料: