【ビデオ・VOD】【第10回】AI Compliance研究会

【本日の研究テーマ】
・テーマ1：生成AIの基本知識とハルシネーション対策
・テーマ2：AIはうそをつく ― 人間のレビュには限界がある

はじめに
・生成AIを使用する際の注意事項（会社許可・有償版設定・個人情報保護法・不正競争防止法）

【コラム】生成AIが書いた文書を、もはや人間は見抜けない
・2026年6月の現実（Claude Opus 4.6・GPT-5・Gemini 3等の出力は専門家文書と区別がつかない水準）
・「完璧な見た目」の中にもっともらしい嘘（ハルシネーション）が紛れ込む問題の核心
・AI生成と人間生成のコンテンツ識別 ― 識別は条件依存・ラベル効果あり（arXiv 2505.22845 他）
・GMP/GxPの世界での意味（SOP・バリデーション報告書・変更管理記録・CAPA・査察対応文書）
・本日の問題提起：「AIが書いた文書を人間がレビューする」従来のHITLの前提が崩れつつある
・「AIが言ったから」も「AIが書いたから安心」も通用しない
・今日の議論の射程（なぜ原理的に嘘をつくのか／どんな対策が効くのか／現実的な運用設計とは）

【コラム?】AIは意図的に嘘をつくのではなく「もっともらしさ」を最適化している
・ハルシネーションの本質 ― 悪意ではなく構造（次にもっとも来そうなトークンを確率的に選ぶ装置）
・RLHFによる「親切なAI」への調整がハルシネーションを増やす皮肉
・ベンチマーク（2026年時点）：法律69〜88%・医療ケースサマリ64.1%・参考文献69件DOI確認不可（39%）
・なぜ業界は気づきにくいか ― 3つの罠
　- 罠?：専門家でも見抜けない誤り（出典・数値・著者名・年号がすべてもっともらしく揃う）
　- 罠?：複数正解候補が返ることで「AIは知っている」と錯覚する（非一貫性）
　- 罠?：精度向上への期待がハルシネーション残存率の警戒心を下げる逆説
・教訓：「減らせるが、ゼロにはできない」前提に立った運用設計が決定的に重要

【コラム?】見抜けなかったのは「素人」ではなく「専門家」だった
・ケース1：Mata v. Avianca事件（米連邦地裁・2023年6月）
　- ChatGPTで生成した法廷文書に存在しない判例・裁判官名・航空会社名
　- 弁護士本人と所属事務所に5,000ドルの制裁金
・ケース2（参考）：ChatGPT偽判例引用報道事例（ユタ州・2025年）※一次情報未確認
　- 組織の監督責任が論点化
・ケース3：医療チャットボットの偽論文引用（複数事例）
　- RAGを組み込んでいても「より印象的な架空の論文」を生成するケース
・ケース4：ICLR 2026査読のAI混入問題
　- 査読の約21%にAI生成の特徴（Pangram Labs等分析）
　- 学術プロセスの信頼性への議論・懸念
・共通教訓：騙されたのはいずれも「専門家」だった

【コラム?】Human-in-the-Loopは「人間が信頼できる」が前提である
・従来の前提：人間レビュは「品質の最終防衛線」（CSV・内部監査・当局査察すべて人間の責任による判断）
・問題：レビュアー自身に判断能力がなければHITLは機能しない
・「分かったつもり」「信頼してそのまま承認」「時間がないので流し読み」でHITLが形骸化
・今日提示する4つの問い
　- あなたの組織のレビュアーは、AIが書いた専門文書を本当に検証できているか
　- AIに任せる範囲と人間が責任を持つ範囲は明確に分離されているか
　- レビューをすり抜けた「もっともらしい誤り」を後工程で検出する仕組みはあるか
　- 「AIが書いたから」「人間がレビューしたから」のどちらの言い訳も使えない第三の説明責任の形を持っているか

テーマ1：生成AIの基本知識とハルシネーション対策
・生成AIの基本構造 ― LLM（大規模言語モデル）とは何か
　- TransformerとLLMの核心：「次のトークン予測」
　- 重要な誤解：LLMは「知識を持っている」のではなく「パターン推定を依頼する」装置
　- 「AIに聞く」は「検索する」ではなく「パターン推定を依頼する」
・確率モデルとしてのLLM
　- 温度（Temperature）と多様性（業務利用では0〜0.3程度推奨）
　- RLHF：「親切なAI」への調整がハルシネーションを増やす皮肉な構造
　- 「減ったように見える」のではなく「気づきにくくなった」
・2026年6月時点の主要モデルと特徴
　- Anthropic Claudeシリーズ（Opus 4.6・Sonnet 4.6・Haiku 4.5）
　- OpenAI GPT-5・Google Gemini 3（Pro/Flash/Deep Think 等）
　- マルチモデル戦略が産業界の標準になりつつある
・モデルの能力差と「同じ質問でも答えが揺れる」現実
　- ベンチマークと実務のギャップ
　- 「1回の出力で完結させる」のではなく「複数回生成して比較・別モデルで検証」が必須
　- 「AIが言った」を「一つの事実」ではなく「一つのサンプル」として扱う
・コンテキストウィンドウと知識のカットオフ
　- Claude Opus 4.6：約200K〜1Mトークン / Lost in the Middle 問題
　- カットオフ後の事象（法改正・ガイドライン改訂等）は「知らない」のにもっともらしく答える
　- 対策：現時点の状況を扱う際は必ずWeb検索（RAG）と組み合わせる
・「生成AIは検索エンジンではない」 ― 決定的な違い
　- 検索エンジン：実在するページから情報を取得、存在しないページは返さない
　- 生成AI：出典・判例名・論文タイトル・DOI・著者名・年号はすべて「もっともらしい組み合わせ」
　- 業務上の鉄則：AIが提示した出典・数値・引用は必ず原典を別途確認
・ハルシネーションとは何か ― 定義と分類
　- 定義：入力データや既知事実に基づかない情報を、もっともらしく事実であるかのように生成する現象
　- 事実ハルシネーション / 引用ハルシネーション / 論理ハルシネーション / 指示乖離（Faithfulness）/ 内在型ハルシネーション
・なぜハルシネーションが起こるのか ― 5つの根本原因
　- 原因?：確率モデルの宿命（「知らないこと」も「知っているっぽく」生成する）
　- 原因?：学習データの偏り・古さ・誤り（カットオフ後の事象は「知らない」）
　- 原因?：RLHFによる「親切すぎる」最適化（不確かな場面でも自信を持って答える性質）
　- 原因?：コンテキスト不足・プロンプト曖昧性（推測の精度が低い領域ほどハルシネーション率が上昇）
　- 原因?：同調圧（Sycophancy）（ユーザーの誤った前提に同調した回答を返しがち）
・統計データ ― 産業領域別ハルシネーション発生率（2026年）
　- 法律分野：Stanford Law School（2024）69〜88%（特定条件下・一般化には注記が必要）
　- 医療分野：医療ケースサマリ64.1%（緩和プロンプトなし）・43.1%（緩和プロンプト後）（Nature 2025）
　- Cureus（2023）：ChatGPT生成参考文献178件中69件（39%）DOI確認不可（PMID 37182055）
　- Anthropic/OpenAI/Googleの公式見解：ゼロにはできない前提での運用設計が必須
・事例? 弁護士の偽判例事件（Mata v. Avianca / ChatGPT偽判例引用報道事例・ユタ州2025年）
　- 法廷という「出典確認が職業上の絶対要件」の分野でもAI偽出典が通過した
　- 「組織の監督責任」が問われる段階へ
・事例? 医薬品・医療分野での誤情報（偽論文引用・薬剤相互作用の捏造・存在しない副作用）
　- 偽データで承認申請が行われた場合、市販後の重大有害事象発生まで発覚しない可能性
・事例? AIの「同調」と「迎合」 ― 解決でなく満足に最適化される構造
　- 「この方針で正しいですよね？」→ AIは肯定的根拠を生成。「誤りですよね？」→ 否定的根拠を生成
　- 対策：「反論側の根拠も提示せよ」「弱点を3つ挙げよ」を必ずプロンプトに含める（Adversarial Prompt）
・事例? 査察・監査対応における詭弁リスク（第9回からの継続論点）
　- 査察対応文書の事前作成でのAI活用：「もっともらしいSOP」「辻褄の合った監査証跡」が検証されないまま正式文書化するリスク
　- 対策フレームワーク：AI生成→別エージェント検証→出典強制提示→人間最終承認→第三者監査の多重防御
・ハルシネーション対策の体系 ― 5層モデル
　- 層?：プロンプトエンジニアリング層（質問設計・Adversarial Prompt・構造化出力指示）
　- 層?：検索拡張層（RAG）― ハルシネーション削減効果の報告例：最大約70%減（Liu et al. 2024 他）
　- 層?：自己検証層（Chain-of-Verification・Self-Consistency・自己反証）
　- 層?：マルチエージェント層（Adversarial Reviewer・別モデルクロスレビュー）
　- 層?：組織プロセス層（人間レビュ・HITL・監査・説明責任の体制）
　- 重要：各層は単独では不十分。5層を業務リスクに応じて組み合わせる設計
・対策? RAG（Retrieval-Augmented Generation）
　- 仕組み：信頼できる文書ベース（SOP・規制文書・過去承認書・公式ガイドライン）から検索→参考情報として生成
　- 「学習済みの曖昧な知識」ではなく「実在文書」を根拠に回答
・対策? Chain-of-Verification（CoVe）― 自己検証プロンプト
　- 4ステップ：ベースライン回答生成→検証質問5つ生成→独立回答→矛盾の洗い出しと最終回答再構築
　- 効果：Wikidataタスクで F1スコア 0.39→0.48（Dhuliawala et al., 2023; ACL Findings 2024）
・対策? Self-Consistency と Multi-Agent Cross-Check
　- Self-Consistency：同じ質問を5〜10回投げて多数決。出力が割れた質問は「信頼度低」フラグ
　- Multi-Agent Cross-Check：Claude生成の回答をGPT-5または別プロンプトのClaudeにレビューさせる
　- Adversarial Reviewer：反対意見を積極的に出す役を別エージェントとして配置し、同調バイアスを構造的に排除
・対策? 構造化出力と「出典の強制提示」
　- JSONスキーマ指定で必須フィールド（出典URL・信頼度・不確実性）を含める
　- 各主張に出典（URL/文書名/ページ番号）を併記→人間レビュアーは出典確認作業に集中
　- 「情報が不十分な場合は推測せず、不明と明示せよ」と指示
・対策? 組織プロセス層 ― 技術だけでは守れない
　- AI利用ガイドライン・レビュ可能性ルール・多重チェック標準・監査証跡の確保・教育・訓練（5項目）
・対策デモ ― Claude Cowork上のAdversarial Reviewer
　- 第9回CSVデモの発展：6つ目の役として「Adversarial Reviewer（反論レビュア）」エージェントを配置
　- 他エージェント作成の成果物に「この記述の根拠は？」「反対意見は？」「見落としているリスクは？」を必ず提示
　- ユーザー監督ポイント：「AI同士の合意」は最終承認の根拠にならない。人間が両者の論拠を比較し責任で判断

テーマ2：AIは意図せず誤情報を生成する ― 人間レビューだけでは限界がある
・「Human-in-the-Loop」の前提が崩れている
　- 従来の前提：「人間 ＞ AI」の能力関係（Aviation・Medical Device・規制業務の基本設計思想）
　- 2026年の現実：分野・タスクによっては「AI ＞ 人間」の場面が増加
　- 示唆：「AIが人間より優秀な領域では人間レビューは形式的にしか機能しない」
　- 解決策?：人間の能力を超えた領域でAIを使わない（スコープ制約）
　- 解決策?：AI同士で多重チェックさせ、人間は意思決定責任のみ負う設計に変える
・テーマ2で扱う5つの限界
・限界? Automation Bias（自動化への過信）
　- 定義：自動化された出力に対する過剰な信頼（航空・医療業界で1990年代から研究）
　- 高プレッシャー環境（FDA査察対応・当局申請・CAPA作成等）で顕著
　- AIが「賢く見える」ほどバイアスが強化される逆説（条件付け・流暢性効果）
　- 最新の高性能モデルほどAutomation Biasによるレビューすり抜けが起きやすい
・限界? Social Loafing（社会的手抜き）
　- 定義：集団作業において「誰かがやってくれるだろう」という期待から個人の努力が低下する現象
　- AI時代での段階的責任分散（「AIが既にレビューしているから」「他のレビュアーが見ているから」）
　- 弁護士事件の本質：Social LoafingとAutomation Biasの合成効果
　- 製薬業界の典型例：AI初稿→PM軽く確認→QA最終確認で誰も実質的に検証しない事態
　- 対策：「誰が・何を・どこまで」検証したかを記録（チェックリスト＋署名）
・限界? レビュアーの知識上限 ― 自分が知らないことは検証できない
　- 核心：「分からないが、それらしい」は通過してしまう
　- レビュアーの能力上限が、AI出力品質の事実上の上限になる
　- 解決策?：検証可能な範囲でしかAIを使わない（スコープ制約）
　- 解決策?：AI同士で多重検証させ、人間は「意思決定責任のみ」を負う設計
・限界? 認知負荷とスピード圧
　- AI出力量に人間の処理能力が追いつかない（AI：数千語/分 vs 人間：処理限界）
　- 「全部読んだ気になる」流暢性の罠（読みやすさが「正しい」という錯覚を生む）
　- 業務上の対策：レビュ時間は「人間が深く検証できる量」で設定・量を絞る・並行レビュで責任範囲を明確化
・限界? AI出力に対する「不当な信頼・偏見」
　- AI/人間ラベルの「ラベル効果」（同一文章でも「Human Generated」→評価上昇、「AI Generated」→評価下降）
　- ICLR 2026査読AI混入：「人間がレビューしている」という前提自体が破られている可能性
　- 製薬業界への含意：「SMEがレビュー済み」「QAが承認済み」が形式的になるリスク
　- 対策：レビュ過程の可視化（コメント・修正履歴）・「何を検証したか」の記録文化
・事例 ― レビュをすり抜けたハルシネーション
　- 事例A：弁護士事件（プロセス上は「専門家による確認」が入っていたが、実質的検証は行われなかった）
　- 事例B：ICLR 2026査読問題（AIで生成した査読を自分の名前で提出・約21%の規模感は個人モラルで制御困難）
　- 事例C：製薬業界での実例（AI生成CAPA原因分析が承認後に外部監査で根拠不在を指摘・AI整合性チェックが実際は不整合で査察指摘）
・対策の枠組み? レビュ可能領域の明確化
　- 原則：「検証できない範囲でAIを使ってはいけない」
　- 使ってよい：定型文書のドラフト・SOPの初稿・過去判例の整理・社内QAの一次回答
　- 慎重に使う：リスクアセスメント・CAPA分析・テスト設計（Adversarial Reviewer＋人間2名以上の承認必須）
　- 原則使わない：当局への直接回答・査察リアルタイム対応・安全性評価の最終判断
　- AI利用ガイドラインに「業務カテゴリ別の利用可否」を明文化・違反はコンプライアンス事案として扱う
・対策の枠組み? 多重防御（Defense in Depth）
　- 防御層1：AI技術側（RAG・CoVe・Self-Consistency・構造化出力）
　- 防御層2：別エージェントレビュ（Adversarial Reviewer・別モデルクロスチェック）
　- 防御層3：人間1次レビュ（起票者以外の実務担当者による内容検証）
　- 防御層4：人間2次レビュ（QA等独立した立場からの妥当性検証）
　- 防御層5：第三者監査・規制当局（外部の目による事後検証）
　- 重要：各層が「独立」していなければ意味がない（同じAIモデルへの依存は同じハルシネーションを全員が見逃す）
　- 業界示唆：Aviation業界のCRM（Crew Resource Management）と同じ思想
・対策の枠組み? チェックリストと「もっともらしさ排除」
　- 人間の直観を「チェックリスト」に置き換える（Atul Gawande『The Checklist Manifesto』の教訓）
　- AI生成文書レビューのチェックリスト例：出典実在確認・数値原典一致・著者名・日付・論理飛躍・反対意見検討・Adversarial Reviewer指摘解消・レビュアーの専門範囲確認
　- 標準化のメリット：属人化排除・均一品質・教育・引き継ぎの容易化
・対策の枠組み? 組織文化 ― 「AIが言ったから」も「人間が承認したから」も通用しない
　- 両方向の言い訳を封じる：残るのは「どのような多重防御プロセスを経たか」を組織として説明できること
　- 組織として整備する3点：プロセス記録（監査証跡）・責任分担の明文化（1名指名）・失敗事例の共有（組織学習文化）
　- 規制当局視点：「AIを使っているか否か」ではなく「AIの限界を理解した運用設計があるか」が査察・監査の評価ポイント

まとめ
・生成AIは確率モデルであり「もっともらしさ」を最適化している（ハルシネーションはゼロにできない）
・対策は「単一手法」ではなく「5層の組み合わせ」で効く
・人間レビュには5つの構造的限界がある（個人の心構えではなく組織設計で補完）
・鍵は「レビュ可能領域の明確化」「多重防御」「チェックリスト」「組織文化」
・規制当局視点の核心：「AIの限界を理解した運用設計があるか」が査察評価ポイントとなる時代