生成AIのセキュリティ事故に注意！原因や実例、防止策をプロが解説

生成AIは使い方を誤ると、情報漏えいや著作権侵害、誤情報の拡散などのセキュリティ事故を招きます。

実際、IPAが公表した情報セキュリティ10大脅威 2026では、AIの利用をめぐるサイバーリスクが組織向けの脅威として初めて選出されました。同資料では、生成AIの発展や普及に伴い、AIに関する知識不足を原因とした情報漏えいや他者の権利侵害が懸念事項として挙げられています。

「なぜ生成AIを活用するとセキュリティ事故が起きるのか」「どのような対策が必要か」など、疑問がある方もいるでしょう。

本記事では、セキュリティ対策や生成AI活用を支援する「TDCソフト」が、生成AIによるセキュリティ事故の主な原因や実例、防止策を解説します。
生成AIを安全に活用するために、導入前・運用中に確認すべきポイントを押さえておきましょう。
社内ネットワーク内で安全に使えるAI環境をお探しの方は「Nenoa」もあわせてご覧ください。

 

 

 

生成AIによるセキュリティ事故リスクが高まっている

近年、生成AIの普及に伴い、情報漏えいリスクが高まっています。

Verizonの調査によると、情報漏えい・侵害の原因として、ソフトウェアの脆弱性を悪用した侵入が、盗まれた認証情報による侵入を過去19年間で初めて上回りました。
その背景には、攻撃者がAIを活用して既知の脆弱性を短時間で悪用できるようになったことが関係しています。

また、従業員が会社の承認を得ずに生成AIツールを利用する「シャドーAI」の拡大も懸念されています。
同調査では、職場でAIツールを利用する従業員の割合が、1年間で15%から45%へ増加したことがわかりました。
管理外のプラットフォームへの機密情報の入力は、情報漏えいにつながるおそれがあります。

この調査からも、企業が生成AIを活用する際は、セキュリティ事故対策が不可欠といえます。

参照：Vulnerability exploitation top breach entry point, 2026 industry-wide DBIR finds｜Verizon

生成AIの活用で起こり得るセキュリティ事故の種類

生成AIのセキュリティ事故は、入力・出力・連携・運用管理の各段階で発生します。
以下では、セキュリティ事故の主な種類を紹介します。

機密情報や個人情報などの情報漏えい

機密情報や個人情報などの漏えいは、ユーザー側の不適切な利用と、生成AIサービス側の脆弱性や設定不備によって発生します。

例えば、従業員が顧客情報や営業秘密を生成AIへ入力すると、社外秘のデータが外部サービスへ送信されます。
その際、データ管理に関する設定が不十分だと、入力した情報が保存される場合や、サービス改善に利用される場合があるため注意が必要です。

また、生成AIサービスのセキュリティ対策が不十分な場合は、サイバー攻撃により入力データやアカウント情報が外部へ流出する可能性もあります。

サプライチェーン全体へのセキュリティリスクの拡大

生成AIのセキュリティ事故は、取引先や委託先などサプライチェーン全体へ影響が広がる可能性があります。

例えば、以下のようなケースが懸念されます。

  • 委託先の担当者が、自社から共有された機密情報を生成AIへ入力

  • 従業員が、取引先の顧客情報や未公開資料を生成AIへアップロード

  • 外部サービスとの連携部分に脆弱性があり、複数の企業へ被害が波及

  • 生成AIが生成した誤った情報をもとに資料やシステムを作成し、取引先の業務に悪影響を及ぼす

サプライチェーン内の一社で情報漏えいやシステム障害が発生すると、関係企業の信用低下や取引停止に発展しかねません。

生成AIを安全に活用するためには、自社内のルール整備だけでなく、委託先や取引先を含めた情報管理体制を確認することが大切です。

著作権や規約違反による法務リスク

生成AIが出力したものを確認せずに利用すると、著作権侵害やサービス規約違反に該当する可能性があります。

特に、以下のような法務リスクに注意が必要です。

  • 既存の文章や画像、動画、デザインと類似した生成物を公開し、著作権や肖像権を侵害

  • 生成された画像に、他社のロゴやキャラクター、商標と類似する要素が含まれる

  • 生成されたプログラムコードに、ライセンス上の問題があるコードが含まれる

  • 商用利用ができない生成AIサービスで作成した生成物を広告や商品へ利用する

生成AIサービスによって、生成物の商用利用の可否や禁止用途、入力データの取り扱いは異なります。
生成物を業務で利用する際は、法務部門や弁護士・弁理士に相談できる体制を設けるなど、法律の専門家が関与できる体制を構築すると安心です。

業務システムへの悪影響

生成AIを業務システムと連携する場合、誤った判断や操作によって、サービスやシステムに悪影響を及ぼす可能性があります。

例えば、以下のようなケースが挙げられます。

  • 生成AIが生成したSQLやスクリプトをそのまま実行し、データの破損や削除が発生する

  • 生成AIの回答をもとにシステム連携を変更し、他システムとのデータ連携に不具合が生じる

  • テストや検証を十分に行わずに生成コードを本番環境へ反映し、サービス停止や障害につながる

特に、生成AIにデータの更新や削除、メール送信などの操作権限を与える場合は注意が必要です。
誤った出力や悪意のある指示によって処理が自動実行されると、被害が短時間で広がります。

生成AIを業務システムと連携する際は、より厳格な情報管理体制やアクセス権限の設定が求められます。

生成AIによるセキュリティ事故の主な原因

以下では、生成AIによるセキュリティ事故の主な原因を解説します。

情報管理が不十分である

生成AI由来の機密情報や個人情報の漏えいは、社内の情報管理不足が主な原因です。

例えば、以下のような管理不足が挙げられます。

  • 生成AIへ入力してよい情報と禁止する情報が明確になっていない

  • 機密情報の分類や取り扱いルールが整備されていない

入力内容が外部へ送信されること自体が、社内規程や取引先との秘密保持契約に抵触する場合もあります。

生成AI導入をきっかけに、情報の分類や管理ルールを見直し、従業員への教育を徹底することが重要です。

従業員のセキュリティリテラシーが不足している

従業員が生成AIの仕組みやリスクを理解していないと、意図せずセキュリティ事故が起きます。

例えば、以下のような傾向が見られる従業員には注意が必要です。

  • 機密情報や個人情報を入力してはいけないという認識が薄い

  • 生成AIの回答を十分に確認しない

  • 利用規約やデータの取り扱い方針を確認しない

  • フィッシングメールや偽の生成AIサービスを見分けられない

人が原因のセキュリティ事故を防ぐためには、研修やマニュアルを通じて、従業員一人ひとりのセキュリティ意識を高めることが重要です。

生成AIサービス側に脆弱性がある

自社で適切なルールを整えていても、生成AIサービス側の脆弱性や設定不備によってセキュリティ事故が発生します。

特に、以下のようなサービスはセキュリティ事故が生じるリスクが高く、注意が必要です。

  • セキュリティ対策や認証取得状況が公開されていない

  • データの保存場所や入力データの利用目的が不明確

  • 運用元のサポート体制や実績が不十分

  • 脆弱性への対応方針やアップデート情報が確認できない

生成AIサービスを選定する際は、信頼できる事業者のサービスを利用することが大切です。

プロンプトインジェクション攻撃などのサイバー攻撃を受ける

プロンプトインジェクション攻撃とは、悪意のある指示を生成AIへ読み込ませ、本来のルールとは異なる出力や処理を行わせる攻撃です。
攻撃者が直接指示を入力するケースだけでなく、Webサイトや外部ファイル、RAGの参照データに指示を埋め込む「間接プロンプトインジェクション」もあります。

近年増加しているサイバー攻撃の一種であり、実際に以下のような脆弱性や攻撃事例が報告されています。

  • Bing Chatに細工した指示を入力し、開発段階のコードネームを出力させる脆弱性が判明した

  • Microsoft 365 Copilotで、細工されたメールを読み込ませることで、機密情報を外部へ流出させる可能性のある脆弱性が判明した

  • arXivに掲載された論文に、AIによる査読で好意的な評価を出力させる隠し命令文が埋め込まれていた

  • LLMを活用したセキュリティツールにマルウェアを良性と誤認させようとする攻撃が確認された

生成AIが攻撃を受けると、機密情報の流出や不適切な回答の表示、アクセス権限のない情報の出力を招きます。

特に、生成AIが外部情報を参照する場合や、自動で処理を実行する場合は、プロンプトインジェクション対策が不可欠です。

参考：プロンプトインジェクションの事例｜総務省

生成AIに過剰な権限を与えている

生成AIに必要以上の権限を与えると、誤った出力や悪意のある指示によって、情報漏えいやデータ改ざん、業務システム障害が発生するおそれがあります。

例えば、以下のような権限付与が挙げられます。

  • 顧客情報や従業員情報を含むデータベースへの広範なアクセス権限を付与している

  • 承認プロセスを経ずにメール送信やデータ更新を実行できるようにしている

  • データの削除や上書きを自動で実行できるようにしている

  • 外部サービスやAPIを制限なく呼び出せるようにしている

生成AIを業務に適用する際は、自動化の範囲を広げすぎず、事故が発生した場合の影響を考慮して段階的に運用することが重要です。

シャドーAIによって管理外のサービスが利用されている

シャドーAIとは、以下のように会社が承認していない生成AIツールを従業員が業務で利用している状態を指します。

  • 無料のAIチャットツールに顧客情報を入力する

  • 個人アカウントで社内資料を要約する

  • 会社の許可を得ずに生成AIで契約書や提案書を作成する

  • 業務データを外部の生成AIサービスへアップロードして分析する

管理外のサービスでは、入力データの保存期間や学習への利用有無、アクセス権限を管理部門が把握できません。
情報漏えいが発生しても、原因の特定や影響範囲の調査が遅れるリスクが高まります。

シャドーAIを防ぐためにも、生成AI申請・承認フローを整備し、従業員が安全に利用できる環境を構築することが重要です。

生成AIに関連するセキュリティ事故事例

以下では、生成AIに関連するセキュリティ事故事例を紹介します。

不具合により機密情報・チャット履歴の漏えい｜ChatGPT

2023年3月、ChatGPTで一部のユーザーに別のユーザーのチャット履歴の一部が表示される不具合が発生しました。
一部のChatGPTユーザーについては、氏名やメールアドレス、請求先住所などの個人情報が別のユーザーに表示された可能性も報告されています。

OpenAIは、不具合の確認後にChatGPTを一時停止し、バグの修正や再発防止策を実施しました。

参考：March 20 ChatGPT outage: Here’s what happened｜ChatGPT

社員が機密情報をChatGPTに入力｜サムソン

2023年、Samsung Electronicsでは、従業員が業務でChatGPTを利用し、社内の機密情報を入力した事例が報じられました。

具体的には、半導体関連のソースコードを入力して修正方法を尋ねたり、社内会議の内容を入力して議事録を作成したりするケースが確認されています。

同社は、情報漏えいを防ぐために、会社所有の端末や社内ネットワークにおける生成AIツールの利用を制限しました。

参考：Incident 768: ChatGPT Reportedly Implicated in Samsung Data Leak of Source Code and Meeting Notes ｜AI Incident Database

チャットボットの誤回答により補償が発生｜Air Canada

2024年、Air CanadaのWebサイト上のチャットボットが、忌引運賃の申請方法について誤った情報を案内していたことが問題となりました。

利用者は、搭乗後でも申請できるというチャットボットの回答を信じて航空券を購入しました。
しかし、実際には搭乗後の申請は認められておらず、割引の適用を受けられませんでした。

同社は正しい情報が別のWebページに掲載されていたと主張しましたが、カナダの審判機関は、チャットボットも同社Webサイトの一部であり、企業は回答内容の正確性に責任を負うと判断しました。
その結果、同社には利用者への補償が命じられました。

参考：Canada – Moffatt v. Air Canada｜Knowledge Centre Data & Society

生成AIのセキュリティ事故を防ぐために講じるべき対策

以下では、生成AIによる情報漏えいや著作権侵害などのセキュリティ事故を防ぐために講じるべき対策を紹介します。

生成AI利用ガイドラインの策定

生成AIの利用ルールが曖昧だと、機密情報の入力や生成物の無断公開などが発生し、セキュリティ事故を招きます。

そのため、生成AIを導入する際は、従業員が自己判断で利用しないように、以下の項目をガイドラインで定めましょう。

  • 利用可能な生成AIサービス：法人契約したサービスのみ利用し、個人アカウントの使用を禁止

  • 利用できる業務の範囲：一般的な文章の下書きには利用できるが、未公開情報を扱う業務では利用しない

  • 入力を禁止する情報：顧客情報や従業員の個人情報、営業秘密、社外秘資料、ソースコードを入力しない

  • 生成物の確認方法：事実関係や著作権侵害の有無、不適切な表現がないかを確認

  • 外部公開時のルール：公開前に担当者と責任者が確認し、必要に応じて法務部門へ相談

  • インシデント発生時の対応：利用停止や管理部門への報告、ログ確認を行う

ガイドラインは策定するだけでなく、社員研修や社内ポータルなどを通じて周知することが大切です。

参考：テキスト生成AIの導入・運用ガイドライン｜独立行政法人情報処理推進機構 産業サイバーセキュリティセンター

人間による確認体制の構築

生成AIは、事実と異なる情報を自然な文章で出力する場合があります。

そのため、生成AIの出力内容を業務で利用する際は、以下のような確認体制を構築しましょう。

  • 顧客へ送付するメールや資料の作成：担当者または責任者が、顧客へ送付する前に、事実関係や数値、表現に誤りがないかを確認

  • Webサイトや広告へ掲載する文章・画像の作成：担当者、広報部門または法務部門が、外部公開前に、著作権や商標権を侵害していないか、不適切な表現が含まれていないかを確認

  • 契約書や社内規程の作成：法務担当者または専門家が、正式に使用する前に、法令や自社の運用に適合しているか、重要な条項に誤りがないかを確認

  • プログラムコードの生成：エンジニアまたはセキュリティ担当者が、本番環境へ反映する前に、脆弱性や不具合が含まれていないか、既存システムへ悪影響を及ぼさないかを確認する

  • データの削除や外部送信を伴う処理：担当者および責任者が、処理実行前に、対象データや送信先、処理内容が適切かを確認

すべての出力内容を一律に扱うのではなく、顧客への影響や法務リスク、システム障害の可能性を踏まえて、確認レベルを分けると効率的です。特に、外部公開や契約締結、データの削除など重大な影響につながる業務では、複数人による確認や責任者の承認を必須にしましょう。

社員への継続的なリテラシー教育の実施

生成AIのサービス内容や利用規約、攻撃手法は変化します。
また、基本的なルールを設けていても、従業員がリスクを理解していなければ、個人情報の入力やシャドーAIの利用を防ぐことは困難です。

そのため、生成AIを活用する場合は、以下のようなリテラシー教育を定期的に実施することが大切です。

  • 入力禁止情報：顧客情報や個人情報、営業秘密、未公開情報など、生成AIへ入力してはいけないデータを周知

  • シャドーAIのリスク：管理外のサービスを利用すると、入力データの保存場所や利用目的を把握できず、情報漏えいにつながることを伝える

  • 生成物の確認方法：AIの回答には誤情報や不適切な表現が含まれることがあるため、事実関係や出典を確認するよう促す

  • 著作権や商用利用の注意点：生成した文章や画像を広告やWebサイト、社外資料に利用する場合は、既存の著作物との類似性や利用規約を確認することを伝える

  • プロンプトインジェクション攻撃：外部ファイルやWebサイトなどに埋め込まれた不正な指示を生成AIが読み取るリスクを周知

定期的に研修内容を見直し、最新のリスクや事故事例を反映することで、従業員のセキュリティ意識を常に高めましょう。

プロンプトインジェクション対策の実施

生成AIを業務システムやRAG、外部サービスと連携させる場合は、以下のようなプロンプトインジェクション攻撃を想定した対策が不可欠です。

  • AIへの入力時：不審な文字列や命令を検知する、禁止ワードを設定する、ガードレールを導入する

  • 外部情報の参照時：Webサイトやファイル、RAGの参照データに不正な指示が含まれていないか検証

  • システム内部：生成AIに与える権限を必要最小限に制限する、防御用のプロンプトを設定する

  • AIの出力時：機密情報や不適切な表現が含まれていないか検証する、外部送信前にフィルタリングする

  • 運用管理：入力・出力ログを保存する、不審な挙動を検知する、定期的に設定を見直す

プロンプトインジェクション対策は、入力チェックや権限管理、出力確認を組み合わせて、多層的に実施することが重要です。

参考：プロンプトインジェクションの対策｜総務省

セキュリティ機能を備えた法人向け生成AIの活用

法人向け生成AIでは、入力データをAIの学習に利用しない設定や入出力ログの保存、利用者の一元管理など、企業利用を想定した機能が用意されています。
無料ツールや個人向けプランと比較し、管理部門が利用状況を適切に把握でき、情報漏えいや管理外サービスの利用などのリスクを抑えられます。

そのため、生成AIを実務で利用する場合は、以下のようなセキュリティ機能が搭載された法人向け生成AIを選びましょう。

  • 利用者ごとに閲覧・編集権限を設定できるアクセス制御機能

  • シングルサインオンや多要素認証に対応した認証機能

  • 不審な操作や異常なアクセスを検知できる監視機能

  • 入力内容や生成結果、利用日時などを記録できるログ管理機能

  • 入力データの入力・出力を制限できるフィルタリング機能

法人向け生成AIを導入する際は、機能の充実度だけで判断せず、自社が取り扱う情報や活用範囲に適したサービスを選ぶことがポイントです。

生成AIのセキュリティに詳しい専門家に相談する

生成AIに関するリスクは多岐にわたり、新たなサービスや攻撃手法も登場しています。
社内で自社に必要な対策を判断し、継続的に運用することが難しい場合は、生成AIのセキュリティに詳しい専門家へ相談しましょう。

専門家へ相談すると、以下のような支援を受けられます。

  • 自社の業務内容や保有データに応じたリスクアセスメント

  • 生成AI利用ガイドラインや社内ルールの策定

  • セキュリティ要件を満たす法人向け生成AIサービスの選定

  • 利用者ごとのアクセス権限やログ管理の設計

  • 社員向け研修やインシデント発生時の対応フローの整備

  • 導入後の定期的な監査やルールの見直し

専門家の支援を受けながら、自社の活用方法に適したルールと運用体制を整えることで、生成AIを安全かつ柔軟に活用できます。

「Nenoa」なら社内ネットワーク完結で安全なAI活用を実現

生成AIのセキュリティ事故を防ぐにはガイドラインの策定や社員教育が重要ですが、それだけで従業員のシャドーAI利用や意図せぬ情報漏えいを100%防ぐのは困難です。ヒューマンエラーやサイバー攻撃のリスクを「仕組みのレベル」で根本から解決するソリューションが、社内ネットワーク完結型のAI専用端末「Nenoa（ネノア）」です。

  • 情報漏えいリスクを物理的に遮断： データが社外のネットワークへ一切出ない閉域網設計のため、機密情報や個人情報の外部流出、プロンプトインジェクションによる被害を構造上防ぎます。

  • シャドーAI対策と一元管理： 電源と社内ネットワークを接続するだけで、誰でも安全に使える社内専用のAI環境を構築できます。従業員が管理外の無料ツールへ流れるのを防ぎ、適切な運用管理が可能です。

  • 手軽な導入と安心の月額固定： デスクに置ける小型端末のため大がかりな設備は不要です。サブスクリプション型のため初期費用を抑えられ、利用量によるコスト変動や制限もありません。

「自社の厳しいセキュリティ要件をクリアし、事故リスクを最小限に抑えてAIを活用したい」という企業様に最適です。

まとめ：セキュリティ対策を強化し、生成AIを安全に活用しよう

生成AIは、使い方を誤ると、情報漏えいや著作権侵害、業務停止など重大なセキュリティ事故を招きます。
安全に活用するためには、生成AI利用ガイドラインの策定や確認体制の構築、社員へのリテラシー教育など複数の対策を組み合わせることが重要です。

自社だけで必要な対策を判断し、運用体制を構築することが難しい場合は、生成AIのセキュリティに詳しい専門企業に相談することもひとつの方法です。

TDCソフトの閉域網で利用できる社内AI「Nenoa」は、社内ネットワーク内で安全に生成AIを活用したい企業向けのソリューションです。自社のセキュリティ要件に合ったAI活用環境をお探しの方は、Nenoaの詳細をご確認ください。

お問い合わせ