AIの不審な回答には誰かの悪意があるのか?

普段は誠実に答える社内のAIに、経費の申請方法を尋ねたとします。AIは規定の名前を挙げ、いつもと変わらない口調で手順を教えてくれました。ところが、担当部署に問い合わせると、そのような規定はないと言われました。果たして、そこに誰かの悪意が働いているのでしょうか。それとも、AIの信頼性に問題があるのでしょうか。企業がまず確かめるのは、その案内に従ってよいかどうかです。誤りが見つかった場合は、なぜAIがそう答えたのかも調べる必要があります。

【関連記事】欧州のAI拠点・英国が進めるAIの安全対策とは?

AIの回答がおかしい…何が起きているのか

担当部署に確認すれば規定の有無は分かりますが、AIがその規定を挙げた理由までは分かりません。規定名を作り出した場合も、誤った資料を参照した場合も、利用者が目にするのは、規定があるかのような案内です。誰かがデータに細工したかを判断するには、回答が作られた経緯をたどる必要があります。

根拠なき「もっともらしい回答」

生成AIは、データに細工がなくても、架空の文書名を挙げたり、資料で裏付けられない説明をしたりすることがあります。こうした現象をハルシネーションと呼びます。経費の申請方法を尋ねた例では、AIが実在しない規定の名前を作り、そこに手順が書かれているかのように答えた可能性があります。AIが規定名を挙げて手順をもっともらしく説明すると、利用者は正しい案内だと思うかもしれません。条文番号まで示されていても、その番号や説明が正しいかは原本で確認する必要があります。

社内文書を検索して答えるAIでは、参照した文書が誤りの原因になることもあります。たとえば、AIが正式な規定とよく似た草案を見つけ、そこに書かれた申請手順を案内する場合です。AIは草案どおりに答えていますが、案内した手順は正式な規定が定めるものとは異なります。AIが規定名を作ったのか、草案を参照したのかは、回答を読んだだけでは見分けにくいでしょう。

RAGの仕組み

質問に関係する文書を検索し、その内容をモデルに渡して答えを作る仕組みを、検索拡張生成(RAG)と呼びます。企業は、社内規定や業務マニュアルを検索対象にできます。誰かが検索対象の文書に誤った説明を書き込み、その文書が検索で選ばれると、AIがその記述を根拠に案内することがあります。利用者がいつもと同じように質問しても、AIが参照した文書によって回答は変わります。

文書にAI向けの指示を紛れ込ませる方法もあります。文書に紛れ込ませた指示でAIの回答を誘導する攻撃を、間接プロンプトインジェクションと呼びます。調査では、実際にモデルへ渡された文書の内容と、その文書が検索対象に登録された経緯を確かめます。たとえば、文書に誤った申請手順が書かれていた場合は、その手順と回答を照らし合わせ、文書のどの記述が回答にも現れているかを確かめます。AI向けの指示が書かれていた場合は、その指示に沿って回答が変わったかを確認します。どちらの場合も、AIが実際に参照した文書を調べます。案内の根拠になった記述と、回答の仕方を指示する記述とでは、確認する箇所が異なります。

学習データに細工する

モデルの出力を変える目的で、学習に使うデータに意図的な細工をする手法が、データポイズニングです。たとえば、特定の言葉と不適切な出力を組み合わせたデータを学習させ、両者の結び付きをモデルに覚えさせる方法があります。後からその言葉を含む質問を受けたモデルは、学習に使った文書をその場で検索しなくても、不適切な出力を返すことがあります。このように、モデルを作ったり調整したりする段階での細工が、その後の回答に影響します。回答時に渡す文書に細工した場合は、その文書を参照した回答に影響します。

細工された文書が見つかった場合は、回答時に参照されたか、モデルの学習に使われたかを確かめます。誤りの原因が回答時の参照文書にあれば、検索対象の資料を入れ替えることで、同じ誤りを防げる可能性があります。文書がモデルの学習に使われていた場合は、元の文書を直しても、学習済みのモデルの挙動はその場では変わりません。その文書を学習に使ったモデルを特定し、どのような影響が残っているかを調べる必要があります。

公開されたデータが学習に使われるまで

大量のデータでモデルの基礎を作る工程を「事前学習」、既にあるモデルを用途などに合わせて調整する工程を「追加学習」と呼びます。どちらの工程でも、攻撃が成立するには、細工された文章やコードが実際に学習に使われる必要があります。公開情報を使う場合、開発者はWebページやコードを収集し、その中から学習に使うものを選びます。公開されたページが収集されても、選別の段階で除外されることがあります。外部の資料を追加学習に使う場合も、どの資料を採用したかによって、モデルが受ける影響は異なります。

ニコラス・カリーニ氏らが着目したのは、データセットの利用者が公開されたURLの一覧をもとに、各ページの内容を取得する方式です。一覧が作られた後にページが書き換えられると、利用者が取得する内容は、一覧の作成者が確認したものと異なることがあります。共同編集サイトの内容を定期的に保存する方式では、後から修正された記述も、修正前に保存したデータには残ります。公開サイトに不審な文章が見つかったときは、まず取得日時と当時のページの内容を確かめ、実際に使った学習データと照らし合わせます。同じURLを開いても、学習用のデータを集めた時点の内容を読めるとは限りません。取得日時と当時の内容が残っていれば、不審な記述が取得時点ですでにあったのか、取得後に加わったのかを調べられます。

誰かが狙った言動をAIに学ばせることはできるのか

研究者は、細工した文章やコードをモデルに学習させ、狙った出力を引き出せるかを調べました。文章を使った実験には、特定の事実についての答えを変えるものや、決まった語句を含む入力に意味の通らない文を返させるものがあります。コードを使った実験では、書きかけのコードに対して脆弱性を含む補完候補を提案させられるかを確かめました。

誤った知識や不自然な応答を覚えさせる

Yiming Zhang氏らは、細工したデータで事前学習を行い、その影響がモデルの調整後も残るかを調べました。実験には6億から70億パラメーターの言語モデルを用い、特定の事実に関する回答を変えることなど、四つの攻撃目標を設定しました。事前学習の後、研究者は、人の指示に沿って回答し、危険な要求は拒むようにモデルを調整しました。そのうえで、モデルがどのような回答を返すかを調べました。

事前学習データの0.1%に細工をした条件では、四つの攻撃目標のうち三つで、事後学習を経たモデルの出力にも影響が見られました。回答の品質や安全性を高める調整を行った後も、事前学習で仕込まれた挙動が残っているかは、実際の出力を調べて判断する必要があります。

別の実験では、規模の異なるモデルに同じ件数の文書を学習させ、どのモデルにも狙った挙動を覚えさせられるかを調べました。2025年に公表されたAnthropic、英国AI Security Institute、Alan Turing Instituteの共同研究では、6億から130億パラメーターのモデルを用いました。研究者は、各モデルの事前学習データに細工した文書を250件ずつ組み込みました。検証した規模の範囲では、モデルに特定の語句を含む入力を与えると、意味の通らない文章が生成されました。公開サイトに掲載した文書が、実際に商用モデルの学習データに採用されるかは、この実験の範囲外です。

脆弱な実装を提案させる

開発者がコードを書いている途中で、AIが続きを提案する機能を「コード補完」と呼びます。提案されたコードが意図した処理を行えても、不正な値を受け付けるなど、脆弱性が含まれる場合があります。コードを対象とするデータポイズニングの研究では、こうした脆弱性を含むコードをAIに提案させられるかを検証しました。開発者が通常の入力で動作することだけを確かめて採用すると、その脆弱性が実際のシステムに持ち込まれるおそれがあります。

2024年に発表されたTrojanPuzzleの研究では、関数などの説明文を使って、コード補完モデルの学習データに細工をする方法が検証されました。脆弱な実装の一部を学習用のサンプルにそのまま書き込まなくても、モデルが補完時に脆弱な候補を提案する場合がありました。既知の危険なコードがそのまま含まれているかを調べるだけでは、こうした細工を見つけにくくなります。

2026年の国際会議ICMLで発表されたPoison with Styleでは、コードの書き方そのものを、脆弱な候補を出させるきっかけにしました。研究者は、特定の書き方を含むコードが入力されると、脆弱な実装を提案するようにモデルを追加学習させました。開発者が特別な指示を入力しなくても、普段のコードの書き方が研究で設定した条件に当てはまる場合があります。

Pythonの補完実験では、指定の書き方を含む入力の約95%で、モデルが入力値を十分に検証しないコードを生成した例が報告されています。この例では一般的な補完課題も別に試しており、最初の候補で課題を解けた割合の低下は5%未満でした。普段の補完成績が大きく落ちていなくても、特定の書き方のコードを入力すると、脆弱な候補が繰り返し出る場合があります。

普段の能力だけでは見えない異常さ

ある語句やコードの書き方に反応して特定の出力を返すよう、モデルに仕込んだ仕組みをバックドアと呼びます。実験でその条件を満たすと、文章生成モデルは意味の通らない応答を返し、コード補完モデルは脆弱な候補を提案しました。日頃の質問や一般的な性能試験にその条件が含まれていなければ、問題は表に出ない可能性があります。モデルの性能試験の結果を見るときは、どのような入力で試験したかも確かめる必要があります。

実験では、研究者が細工したデータを学習に使い、どの入力で狙った出力が現れるかを確かめています。利用中のAIで似た問題が起きた場合、調査の出発点になるのは、実際の質問とAIの回答です。そのとき使われたモデルや、AIが参照した文書まで分かると、調査の対象を絞れます。誰かが細工をしたかを判断するには、これらの記録をもとに、回答が作られた経緯をたどる必要があります。

AIの不審な言動にどう向き合うべきか

社内のAIが実在しない規定を案内した場合、担当部署は正しい申請方法を確認するとともに、誤った回答が出た経緯を調べます。申請方法の確認と原因の調査を分けると、従業員は調査の終了を待たずに申請できます。

回答の根拠やコードの安全性を確かめる

AIの案内をもとに手続きを進める場合は、規定の原本を開き、該当する条文や適用条件を確かめます。AIが参照先を示している場合も、その文書が現在も有効か、案内された手順が実際に書かれているかを確かめます。文書の題名が合っていても、AIが案内した手順が自分の申請に当てはまるとは限りません。どの条文や適用条件が自分の申請に該当するかまで確認します。原本に該当する記載がなく、担当部署に問い合わせても根拠を確認できない場合は、AIが示した手順での申請を見送ります。担当部署は、原因が判明するのを待たず、原本で確認した手順を案内できます。

生成されたコードを採用する際は、目的の処理を行えるか、安全に使えるかを確かめます。通常の入力でテストに通っても、不正な入力を拒めるか、権限のない利用者の操作を防げるかは、別に確かめる必要があります。開発チームは、動作テストに加え、コードレビューや脆弱性検査でこうした点を確認します。文章でもコードでも、AIの提案を採用するかどうかは、業務やシステムに責任を持つ担当者が決めます。

どんな条件で異常が起きたかを記録する

原因を調べる担当者は、問題が起きたときの入力と、それに対するAIの出力を一緒に記録します。発生日時と利用したサービス、モデル名を添え、モデルの版も分かる範囲で控えます。AIが検索した文書を確認できる場合は、文書名と版に加え、回答に使われた箇所も残します。文書に誤った説明や不審な指示があれば、その記述が回答のどの部分に影響した可能性があるかを調べます。古い版を読んでいた場合は、その版が選ばれた経緯を確認します。正しい版を読んだうえで誤答した場合は、文書の記述と回答がどこで食い違ったかを確かめます。

次に、同じ質問で誤答が再現するかを確かめます。その後、条件を一つだけ変えて質問し、得られた回答を比べます。経費の申請方法を尋ねた例では、言い回しだけを変えたときも、AIが存在しない規定を挙げるかを見ます。特定の入力で誤答が繰り返される場合は、再現に使った入力と出力を社内の担当者や提供元に伝えます。誤答が再現する条件は調査の手掛かりです。細工の有無を判断するには、参照文書の内容や学習データの記録とも照らし合わせる必要があります。

問題を確認した日時と、モデルや検索対象の文書を更新した日時を照らし合わせます。モデルと文書が近い時期に更新されていた場合、日時の比較だけでは、どちらが誤答に影響したかを判断できません。更新前後の文書とモデルの記録を残しておくと、誤答を確認した時点で使われていた版を絞り込めます。

どこまで調べるべきか

自社でモデルを追加学習する場合は、外部の資料やコードを取り込む前に、出所と取得日時を確認します。内容の加工やデータの追加が行われていれば、その履歴も確かめます。出所や変更の経緯が分からないまま学習に使うと、後で不審な文書が見つかっても、どの経路から学習データに入ったのかをたどりにくくなります。採用時点の資料やコードを保存し、それを学習に使ったモデルの版を記録しておきます。英国政府は、AIのサイバーセキュリティに関する任意の実務指針で、公開データの取得方法や用途を記録するよう開発者に求めています。公開ページのURLや取得日時も、記録する情報として挙げています。

学習に使った公開文書について後から問題が報告された場合は、保存しておいた内容を、現在のページと照らし合わせます。ページが書き換えられていても、当時の文書に問題の記述が含まれていたかを確かめられます。問題の記述が含まれていた場合は、その文書を使って学習したモデルの版を特定し、不審な出力が確認された版と照合します。

外部のAIサービスを使う企業が学習データをどこまで確認できるかは、提供元が開示する情報に左右されます。提供元に原因を照会する際は、不審な出力、発生日時、利用したモデル、誤答が再現した条件を伝えます。参照文書が分かる場合は、その情報も添えます。提供元は、利用時の条件をもとに調査の対象を絞れます。回答を待つ間、導入企業は、自社の規定やマニュアルと記録した出力を照らし合わせ、案内が正しかったかを確認できます。学習データが開示されていない場合でも、この結果を添えれば、案内のどの部分に問題があったかを提供元に示せます。

導入時やモデルの更新時には、提供元がどのような安全性の評価を行い、更新について何を開示するかを確かめます。自社でも、普段使う質問を試すとともに、質問の言い回しや参照する資料を変えた場合の回答を確かめます。たとえば、正式な規定と似た題名の資料が検索された場合に、AIが正しい手順を案内できるかを確認します。自社で学習データを管理する場合も外部サービスを使う場合も、業務で起こり得る誤りを想定し、どのような質問や資料を使い、どのような答えが返るべきかを決めます。

まとめ

普段は誠実に答えるAIが突然おかしな言動を見せたとき、誰かが意図的にそう仕向けた可能性があります。研究では、細工した文章やコードをモデルに学習させ、特定の条件で狙った出力を引き出せることが確認されています。同じような誤答は、AIが根拠のない説明を作った場合や、誤った資料を参照した場合にも起きます。誰かが意図的に仕向けたかを調べるには、問題が起きたときの質問と回答を記録し、AIが参照した文書に不審な記述がないかを確かめる必要があります。自社でモデルを追加学習している場合は、誤答が起きたときに使っていたモデルの版を特定し、その版の学習に使ったデータまでたどります。

冒頭に示した経費申請の事例では、担当部署は規定の原本を確認し、従業員に正しい申請手順を案内できます。根拠を確かめられない回答は手続きに使わず、質問や参照文書の記録を調査担当者に引き継ぎます。案内の正誤を先に確かめておけば、誤答の原因を調べている間も、従業員は正しい手順で申請を進められます。AIを業務に取り入れる際は、回答を使う前に誰が根拠を確かめ、誤答が見つかったときに誰が原因を調べるのかを、あらかじめ決めておくことが大切です。

参考文献

Poisoning Web-Scale Training Datasets is Practical

この記事を書いた人

ビジネス・テクノロジスト 貝田龍太