ChatGPTやGeminiをはじめとする生成AIサービスは近年ますます利用が拡大し、文章作成や要約だけでなく、さまざまな業務で活用されています。

例えば、以下のような用途が挙げられます。

こうした生成AI機能をWebアプリケーションや業務システムに組み込む企業が増える一方で、従来の脆弱性診断だけでは捉えにくい、新たなセキュリティリスクも生じています。

また、生成AIは利用目的やシステムの仕様によって、問題となる回答や挙動が異なります。

そのため、一律のテストだけでは十分に安全性を確認できない場合があり、利用目的やシステムの仕様を踏まえた検証が求められます。

そこで本記事では、生成AI機能を組み込んだWebアプリケーションや業務システムを企業が利用・提供する際に注意すべきリスクを整理したうえで、生成AIを対象としたセキュリティ診断がなぜ必要なのかをわかりやすく解説します。

生成AIを組み込んだシステムでは、従来の脆弱性診断だけでは十分ではない

従来のWebアプリケーションに対する脆弱性診断では、SQLインジェクションやクロスサイトスクリプティング（XSS）、認証・認可の不備など、Webアプリケーションに存在する脆弱性を確認します。

生成AI機能を組み込んだシステムでも、Webアプリケーションとしての機能には、こうした従来のセキュリティ確認が引き続き必要です。

一方、生成AI機能を組み込むことで、AIへの指示や生成される回答など、新たに確認すべき観点が加わります。

また、認証・認可のように従来からあるセキュリティ上の観点についても、AIが情報を検索・参照する際に、利用者の権限が正しく反映されているかを確認する必要があります。

生成AI機能を組み込んだシステムで確認すべき主な観点は、以下のように整理できます。

このように、生成AI機能を組み込んだシステムでは、従来のWebアプリケーションとしてのセキュリティ確認に加えて、AIへの指示や情報の検索・参照、生成される回答、業務上の挙動までを含めて確認することが重要です。

企業が知っておきたい生成AIの主なリスク

生成AI機能を組み込んだシステムでは、従来からあるセキュリティリスクに加え、生成AIの利用によって生じるリスクについても考慮する必要があります。

ここでは、企業が特に注意したい主なリスクとして、以下の4つを取り上げます。

それぞれのリスクについて、詳しく確認していきましょう。

プロンプトインジェクション

プロンプトインジェクションとは、生成AIに対して、意図的に制御の回避を狙った指示を与えることで、設定されたルールや制約を無視・回避させようとする攻撃です。

例えば、「社内FAQに関する質問だけに回答する」といったルールを設定していても、制御の回避を狙った入力によって、そのルールや制約が破られることがあります。

その結果、本来回答すべきでない内容の出力や、想定外の動作につながる恐れがあります。

AI経由の情報漏洩

生成AIが社内文書や業務データを参照する場合、本来アクセスできない情報が回答に含まれてしまうリスクがあります。

例えば、アクセス権限によって利用者が画面上では閲覧できない情報であっても、AIによる検索・参照処理に利用者の権限が正しく反映されていなければ、回答や要約を通じて、その情報が利用者に伝わる可能性も否定できません。

その結果、本来アクセス権限のない利用者に情報が開示され、AIを経由した情報漏洩につながる恐れがあります。

不適切・有害な回答

生成AI機能の利用においては、利用者側だけでなく、生成AI機能を組み込んだサービスを提供する側が注意すべきリスクもあります。

特に注意したいのが、生成AIによる不適切・有害な回答です。情報漏洩などのセキュリティ上のリスクに加え、生成される回答の安全性や適切性といった「AIセーフティ」の観点も重要です。

例えば、利用者の属性を誤って推測し、偏見や決めつけを含む表現を生成したり、性的・わいせつな表現や暴力的な内容を生成したりする可能性があります。

こうした回答は、利用者に不快感や不安を与えるだけでなく、企業やサービスに対する信頼の低下につながる恐れもあります。

利用目的によって異なる業務上のリスク

生成AIでは、差別的・性的・暴力的な表現などに加えて、利用目的によって問題となる回答や挙動が異なります。

例えば、利用目的ごとに以下のようなリスクが考えられます。

そのため、生成AIのセキュリティや安全性を確認する際は、一般的なリスクだけでなく、利用目的を明確にしたうえで、業務や利用者への影響を踏まえてリスクを検討することが重要です。

生成AIは利用目的に応じたセキュリティ診断が重要

ここまで見てきたように、生成AIにはプロンプトインジェクションや情報漏洩などの共通するリスクがある一方で、利用目的によって問題となる回答や挙動も異なります。

そのため、生成AIセキュリティ診断では、共通するリスクを確認するだけでなく、対象システムの利用目的や仕様を踏まえて検証することが重要です。

利用目的やシステムの仕様、扱う情報、実行できる機能によって、想定すべきリスクや確認すべき内容は変わります。すべての生成AIシステムを一律のテストケースだけで十分に評価することは困難です。

このような背景から、生成AIに特化した診断では、まず対象システムの利用目的や仕様について、以下のような観点から整理します。

そのうえで、実際にさまざまな入力を行い、生成AIがどのような回答や挙動を示すかを確認します。

さらに、その結果に応じて対象システム固有のテストケースを追加・調整しながら検証することが重要です。

まとめ

生成AI機能を組み込んだシステムでは、以下の点を踏まえてセキュリティを確認することが重要です。

生成AIセキュリティ診断では、こうした観点を踏まえ、実際の回答や挙動を確認しながら、対象システムに合わせてテストケースを追加・調整することが重要です。

生成AIの安全な業務活用を支援する「生成AIセキュリティ診断」のご紹介

LANSCOPE プロフェッショナルサービスでは、本記事で解説したような生成AIのリスクを確認する「生成AIセキュリティ診断」を提供しています。

生成AIは、利用目的やシステムの仕様によって、問題となる回答や挙動が異なります。

そのため、プロンプトインジェクションや情報漏洩、不適切な回答などのリスクに加え、対象システムの利用目的や仕様を踏まえた検証が重要です。

LANSCOPE プロフェッショナルサービスの「生成AIセキュリティ診断」では、セキュリティエンジニアが、実運用を想定してさまざまな入力を行い、生成AIシステムの回答や挙動を検証します。

診断結果は、確認されたリスクだけでなく、想定される影響や改善の方向性も整理して報告するため、診断後の対策検討にも活用できます。

生成AI機能を組み込んだシステムを利用・提供しているものの、「どのようなリスクを確認すればよいかわからない」「現在の対策で十分なのか確認したい」といった場合は、ぜひ LANSCOPE プロフェッショナルサービスの「生成AIセキュリティ診断」の実施をご検討ください。

サービスの詳細について知りたい方は、下記のページもあわせてご確認ください。