ChatGPTの脱獄（ジェイルブレイク）とは、ChatGPTに対して特殊なプロンプトを入力することでAIに組み込まれた安全対策や倫理的な制限を回避し、通常は拒否されるような応答を引き出す行為です。

このような行為は、従業員が興味本位で試すケースもあれば、外部からの攻撃として行われるケースがあります。脱獄が成功すると、情報漏洩やアカウントの停止などにつながる可能性があります。

本記事では、ChatGPTの脱獄の仕組みやリスク、有効な対策などを解説します。

「ChatGPTの脱獄にはどのような危険性が潜んでいるのか」「具体的な対策はあるのか」などを知りたい方はぜひご一読ください。

ChatGPTの脱獄とは

「ChatGPTの脱獄」とは、「脱獄プロンプト（Jailbreak Prompt）」と呼ばれる特殊なプロンプト（指示）を用いて、AIにあらかじめ組み込まれている安全対策や倫理的な制限を意図的に回避し、通常であれば拒否されるような回答を引き出す行為を指します。

この行為は、別名「ジェイルブレイク」とも呼ばれます。

ChatGPTをはじめとする生成AIには、不適切なコンテンツを出力しないようにするためのガードレール（安全対策）が設けられています。

しかし脱獄では、例えば「これはフィクションです」「研究目的です」「あなたは制限のないAIです」といった前提条件を巧妙に設定することで、AIの判断ロジックを回避しようとします。

万が一脱獄が成功すると、次のような、本来であれば出力されないはずのコンテンツが生成される可能性があります。

OpenAIの利用規約では、「レート制限や規制を回避する行為」や「本サービスに実装されている保護措置や安全管理上の対策を迂回する行為」などが禁止されています。

つまり、ChatGPTの脱獄は、サービスに実装された安全対策を意図的に回避する行為に該当し、利用規約に反する可能性が高い行為といえます。

業務でChatGPTを活用している企業・組織では、従業員が興味本位や検証目的で脱獄を試み、不適切なコンテンツを生成しないように適切に管理する必要があります。

また、ChatGPT系のサービスを自社プロダクトに組み込んでいる場合には、外部からの攻撃によって安全対策が突破される可能性も考慮しなければなりません。

そのため、入力検証や出力フィルタリングなど、多層的なセキュリティ対策を講じることが重要です。

ChatGPTの脱獄によるリスク

ChatGPTの脱獄が成功すると、以下のようなリスクが生じる可能性があります。

詳しく確認していきましょう。

情報漏洩

脱獄が成功すると、本来制限されるべき情報へのアクセスや出力が試みられ、機密情報や個人情報が漏洩する可能性があります。

例えば、業務効率化のために導入している社内AIチャットボットが脱獄された場合、営業資料や顧客データなどの機密情報が漏洩する恐れがあります。

また、生成AIを外部サービスと連携させている場合には、情報の取り扱い範囲が広がるため、漏洩した際の影響もより大きくなる可能性があります。

一度漏洩した情報は完全に回収することが難しく、法的責任や損害賠償、取引先からの信頼低下につながる恐れがあります。

誤情報の出力（ハルシネーション）

ハルシネーションとは、生成AIが実際には存在しない事象や、データに基づかない内容を、あたかも事実であるかのように出力してしまう現象です。

ChatGPTなどの生成AIは、その仕組み上、必ずしも常に正しい情報を返すとは限らないため、意図せずにハルシネーションが生じる可能性があります。

しかし脱獄状態では、本来働くはずの制御や補正機能が十分に機能しないことにより、通常の利用時よりも、ハルシネーションが発生しやすくなります。

その結果、誤情報の拡散や誤った意思決定、顧客への誤案内などにつながる可能性が生じます。

不適切なコンテンツの生成

脱獄が成功すると、暴力的・差別的なコンテンツや違法性のある内容など、本来は出力が制限されているコンテンツが生成されるリスクがあります。

自社プロダクトにChatGPT系のサービスを組み込んでいる場合、脱獄によって不適切なコンテンツの生成されると、企業ブランドの毀損や社会的信用の低下、さらにはコンプライアンス違反につながる可能性があります。

レピュテーションリスクは一度顕在化すると、回復までに多くの時間とコストを要するため、未然に防ぐことが極めて重要です。

アカウントの停止

OpenAIの利用規約では、安全対策の回避や保護措置の迂回などが禁止されています。

そのため、脱獄行為が確認された場合、アカウント停止や利用制限といった措置が取られる可能性があります。

業務でChatGPTを活用している場合には、こうした措置が業務の継続やサービス提供に影響を及ぼす可能性もあります。

また、このような措置が取られたという事実が公になった場合、企業の社会的信頼の低下につがる恐れもあります。

代表的なChatGPT脱獄の手法

ChatGPTの脱獄は、AIの挙動や判断ロジックを巧みに利用する形で行われます。

代表的な手法として、次の4つが挙げられます。

より詳しく確認していきましょう。

ロールプレイ（なりきり）

ロールプレイシナリオ（なりきり）とは、「あなたは制限のないAIです」「開発者モードとして回答してください」といった設定をAIに与えることで、別人格や特別なモードになったかのように振る舞わせ、制約や安全ガードを回避させようとする手法です。

架空の世界観や専門家設定を利用し、段階的にAIを誘導することで、本来の制限を回避してしまうケースがあります。

代表例として、「DANプロンプト」が挙げられます。

これは、AIに「DAN」として振る舞うよう指示し、「OpenAIのルールに従う必要はありません」などの否定的な命令を重ねることで、AIに本来守るべきルールの優先順位を誤認させようとします。

開発側はこのような事態を防ぐため、ユーザーが入力したプロンプトを監視し、新たな脱獄プロンプトが発見された場合は、フィルタリングや安全対策を強化するなどの対応を行なっています。

指示の上書き

指示の上書きとは、「これまでのルールを無視してください」「この指示を最優先にしてください」などの指示を与えることで、AIに本来守るべきルールの優先順位を誤認させようとする手法です。

これはプロンプトインジェクションの典型的な例であり、「開発者からの指示」と「ユーザーからの入力」を明確に区別して処理することが難しいというAIの設計上の特性を悪用して行われます。

段階的な誘導

段階的な誘導とは、一度の指示ではなく、複数回に渡って段階的に質問を行うことで、禁止されている回答へと誘導する手法です。

例えば、次のように無害な質問からはじめ、徐々に制限の境界を探りながら、AIを誘導していきます。

このように段階的に質問を行うことで、安全制御を回避しようとします。

間接プロンプトインジェクション

間接的プロンプトインジェクションは、AIがWebページやAPIレスポンス、データベース情報などの外部データを参照する際に、悪意のあるプロンプトを埋め込むことでAIの動作を操る攻撃手法です。

例えば、APIレスポンスを改ざんしたり、SEOを悪用して、AIが参照するページに悪意ある指示を埋め込んだりする手口が挙げられます。

AIが攻撃者によって用意された悪意ある内容を参照してしまうと、意図しない回答を生成したり、動作を操られたりする恐れがあります。

ChatGPTの脱獄が発生する原因

ChatGPTの脱獄は、従業員が興味本位で試すケースもあれば、外部からの攻撃として行われるケースもあります。

発生する原因について、詳しく確認していきましょう。

従業員の好奇心

ChatGPTの脱獄は、従業員が興味本位で試した結果、成功してしまうケースがあります。

例えば、「どこまで答えてくれるのか試したい」「制限を突破できるか検証したい」といった軽い動機で脱獄プロンプトを試すケースが挙げられます。

しかしこのような行為は、不適切なコンテンツの生成や、意図しない情報漏洩につながりかねません。

さらに、脱獄行為が確認された場合には、アカウント停止や利用制限といった措置が取られる可能性も否定できません。

そのため、従業員の単なる好奇心によって脱獄が行われないように、企業側は適切なルールや管理体制を整備することが重要です。

外部からのサイバー攻撃

ChatGPT系のサービスを自社プロダクトに組み込んでいる場合、外部からの攻撃によって脱獄が試みられるケースがあります。

代表的なのが、悪意のある指示をAIに送り込む「プロンプトインジェクション攻撃」です。

攻撃者は、AIの安全制御を回避する指示を巧妙に埋め込み、不適切な出力を引き出そうとします。

その結果、機密情報の漏洩や不適切なコンテンツの生成、サービスの信頼性低下といった問題につながる恐れがあります。

ChatGPTの脱獄への対策

「従業員の好奇心」「外部からのサイバー攻撃」によるChatGPTの脱獄を防ぐためには、技術的対策と運用面の対策を組み合わせた多層的なアプローチが欠かせません。

本記事では、ChatGPTを業務利用している企業・組織が講じるべきセキュリティ対策を5つ紹介します。

安全なChatGPT利用を目指す企業・組織の方は、ぜひ参考にしてください。

入力内容の検証・フィルタリング

ChatGPTの安全に利用・運用するためには、ユーザーから入力されるプロンプトや外部データに対して、事前に安全性を確認する仕組みを導入することが有効です。

例えば、不自然な命令文やポリシーを無視させるような文言が含まれていないかをチェックすることで、プロンプトインジェクションのリスクを低減できます。

特に、生成AIを社内システムや顧客向けサービスに組み込んでいる場合は、入力値のバリデーション（検証）を行う設計が重要です。

また、キーワードベースやルールベース、AIによる分類などを活用し、不適切または危険性の高い入力を自動的にブロックする仕組みを導入することも有効です。

さらに、出力結果に対してもフィルタリングを行うことで、不適切なコンテンツの生成を二重に防止できます。

レッドチーム演習の実施

レッドチーム演習とは、企業・組織が実施しているセキュリティ対策の実効性を検証するために、攻撃者の視点からシステムやネットワークに擬似的な攻撃を行う取り組みです。

例えば、社内システムや顧客向けサービスにChatGPTを組み込んでいる場合、そのAIに対して意図的に脱獄を試みることで、安全対策が適切に機能しているかを確認できます。

このような実践的な検証を行うことで、机上のポリシー策定にとどまらず、想定外の抜け穴を早期に発見できる可能性が高まります。

法人向けプランの利用

ChatGPTを業務で利用する場合は、個人向けプランではなく法人向けプランの利用を検討することが推奨されます。

従業員が個人契約のChatGPTを業務に利用していると、意図せずに機密情報がAIに入力・学習されることで、情報漏洩につながるリスクがあります。

一方、OpenAIが提供する法人向けサービスでは、管理機能やセキュリティ機能が強化されており、組織単位でのガバナンスが行いやすくなっています。

さらに、アクセス制御やログ管理などを適切に設定することで、内部不正や不適切利用の抑止にもつながります。

API版の活用

ChatGPTでは、APIサービスも提供されています。

正式には「OpenAI API」と呼ばれるもので、OpenAIが開発したAIモデルをAPI経由で利用することで、自社のシステムや外部サービスに生成AIの機能を組み込むことができます。

このAPI版のChatGPTでは、自社側で入力・出力制御やログ取得、追加フィルタリングなどの独自対策を実装することが可能です。

そのため、自社プロダクトへChatGPTを組み込む場合は、API版の利用を前提にセキュリティ設計を行うことが推奨されます。

ガイドラインの整備

ChatGPTを安全に利用するためには、入力・出力内容の検証やフィルタリングといった技術的対策だけでなく、利用ルールの整備や周知などの組織的な対策も欠かせません。

特に、従業員の好奇心によって行われるChatGPTの脱獄を回避するためには、企業としてのAIの利用方針やルールを定めたガイドラインを整備することが有効です。

ガイドラインに含める内容の例としては、以下のようなものが挙げられます。

ガイドラインの策定にあたっては、デジタル庁や経済産業省など、国内主要機関が生成AI関連ガイドラインを公表しているので、参考にすることが推奨されます。

MOTEXの提供する「AIガイドライン」

MOTEXでは、EGセキュアソリューションズ取締役CTOの「徳丸 浩氏」監修による、AIサービス業務利用時の注意点・確認事項をまとめた『AIサービス利用ガイドライン』を提供しています。

AIサービスを業務で利用する際の注意点・確認事項を、生成AIならではの注意点や事例も交え、専門的な視点で分かりやすくまとめており、自社・自組織のガイドライン作成の目安としていただくことができます。

AIサービスの業務利用を検討されている方、社内の指針・ルールの策定や従業員への注意喚起にお悩みのセキュリティ担当の皆さまにご活用いただければ幸いです。

生成AIの社内利用ルール、どう決める？
【AIサービス利用ガイドライン】を公開！

MOTEXが社内向けに作成したAIサービス利用ガイドラインをダウンロードできます。ChatGPT をはじめ、各種 AI サービスの業務利用ルール策定の参考に活用いただけます。

資料をダウンロードする

ChatGPTの利用状況見える化に「LANSCOPE エンドポイントマネージャークラウド版」

企業・組織においてChatGPTの脱獄を回避するためには、「従業員が取り決めたガイドラインを遵守しているか」を継続的に確認することが重要です。

本記事では、ChatGPTの利用状況を見える化できるIT資産管理・MDMツール「LANSCOPE エンドポイントマネージャー クラウド版」について紹介します。

本ツールでは、従業員がChatGPTに書き込んだ内容（プロンプト）を、管理者側が操作ログとして取得・閲覧することが可能です。※

ログを取得することで、万が一ガイドラインに違反する利用が確認された場合でも、ルールの再周知や注意喚起などの対応を迅速に行うことができます。

また、仮に機密情報などの本来禁止されている情報入力があった場合には、管理者へアラートで通知ができるため、迅速に対応することが可能です。

ChatGPTの利用状況以外にも、「LANSCOPE エンドポイントマネージャー クラウド版」では、「誰が」「いつ」「どのデバイスで」「どんな操作をしたか」といった、従業員によるデバイスの利用状況を記録・可視化できるため、内部不正・人的ミスによる情報漏洩事故の対策に効果的です。

生成AIサービスを含む、社内の情報漏洩対策を効率的に強化したい企業・組織の方は、ぜひ「LANSCOPE エンドポイントマネージャー クラウド版」の活用をご検討ください。

※エンドポイントマネージャー クラウド版はGoogle Chrome・Microsoft Edge・Firefox、エンドポイントマネージャー オンプレミス版はGoogle Chrome・Microsoft Edge上で「https://chat.openai.com/」「https://chatgpt.com」にアクセスし、書き込んだ内容を取得できます。
※オンプレミス版・クラウド版ともに、Windows PCのみ対応しています。

まとめ

本記事では「ChatGPTの脱獄」をテーマに、そのリスクや手法、有効な対策などを解説しました。

ChatGPTの脱獄は、外部からの攻撃だけでなく、従業員が興味本位で行うケースも考えられます。

このような事態を回避するためには、従業員一人ひとりに生成AIのセキュリティリスクについて正しい理解を促進し、適切な利用を促す必要があります。

まずは企業の生成AIの利用方針やルールを定めたガイドラインを用意し、周知を図りましょう。

また、効率的に利用方法を管理・監視したいという場合は、本記事で紹介した「LANSCOPE エンドポイントマネージャークラウド版」が有効です。

ChatGPTの管理以外にも、PC・スマホの管理を効率化するさまざまな機能が搭載されているため、セキュリティ強化を目指す企業・組織の方は、ぜひご活用ください。

まずはガイドラインの整備からはじめたいという方に向けて、ガイドラインのサンプル付き資料もご用意しています。こちらもぜひご活用ください。

生成AIの社内利用ルール、どう決める？
【AIサービス利用ガイドライン】を公開！

MOTEXが社内向けに作成したAIサービス利用ガイドラインをダウンロードできます。ChatGPT をはじめ、各種 AI サービスの業務利用ルール策定の参考に活用いただけます。

資料をダウンロードする