AI幻覚が米軍を作戦寸前まで動かした|不動産AI書類の事故を防ぐ3遮断策

AIチャットボットの幻覚が米軍の作戦を寸前まで動かした事例を解説。AI幻覚が公式文書の体裁を得て流通する構造と、不動産のAI書類事故を防ぐ3つの遮断策を整理します。

会議テーブルを囲む経営メンバー

AIチャットボットが捏造した情報が、米軍の武力作戦を寸前まで動かしました。

航空機はすでに飛び立っていました。中国籍船舶への武装作戦の根拠になっていた情報が、AIチャットボットの幻覚(実在しない内容をもっともらしく生成する現象)だったと判明したのは、そのあとのことです。作戦は土壇場で中止されました。この一件が不動産業に突きつけているのは、AIの精度が足りないという話ではありません。誤った出力が「公式文書の体裁」を得た瞬間に、組織の誰も止められなくなるという業務フローの話です。本記事は、宅建業免許(東京都知事(1)第113520号)を保有し、AI導入コンサル100社超の実績を持つ株式会社オルセル(不動産のチカラ運営)が解説します。

何が起きたか、事実関係から押さえる

結論から言えば、誤りはAIの一度目の出力で生まれ、二度目の出力で権威を獲得しました。CNNが2026年9月18日に報じたところによると、米軍は今年の春、中東で中国籍船舶への乗り込みを計画しましたが、航空機が発進したあとの土壇場で中止しました。根拠になっていた情報報告が、AIチャットボットの幻覚だったと判明したためです。

報告書は、この船舶が核兵器プログラムの部品を運んでいるとしていました。TechCrunchの整理によれば、誤情報の出どころは特殊作戦軍のアナリストで、公開情報と機密の信号情報をまとめさせる目的でAIチャットボットに問い合わせたところ、チャットボットが船舶の積荷目録を取り違えました。問題はここからです。アナリストは同じツールをもう一度使い、その誤った内容を公式文書らしい要約の形式に整えました。そして整形済みの報告が、指揮系統のチャンネルに乗って流通しました。

この二段構えが、事故の本質だと考えます。最初の誤りは単なる誤読で、誰かが原本に当たれば潰せるものでした。しかし二度目のAI利用で書式が整った瞬間に、その文書は「アナリストが作った正式な報告」に見えるようになり、読み手の検証意欲を奪いました。CNNの取材に応じた関係者の一人は、この幻覚が孤立した事例ではなく米軍内の傾向の一部だと述べています。米国防総省は独自のChatGPT相当・Grok相当の環境を整備している段階にあり、導入速度が検証体制を追い越している構図が見えます。GovAIの研究者で元米陸軍将校のJake Stecklerは、TechCrunchへの回答で「兵士がLLMに内在する不確実性を理解することが重要だ」と述べたうえで、これはAIを避ける理由ではなく安全装置を足す理由だとしています。

不動産業務に写すと、同じ事故はどこで起きるか

不動産で同じ構造になりやすいのは、AIが下書きした内容を、AIがそのまま社内書式に整えて回覧してしまう工程です。宅地建物取引業法では、35条の重要事項説明と37条書面に宅地建物取引士が責任を負いますが、事故が起きるのはその手前、社内で回っている段階です。書式が整った文書は、原本照合を飛ばして次の工程へ進みます。

具体的には五つの場面が挙げられます。第一に、AI査定のコメント生成です。近隣の成約事例を取り違えたまま「周辺相場に照らして妥当」という一文が生成され、それが査定書の体裁に整えられると、根拠のない価格が社外に出ます。第二に、募集図面や物件概要書の転記です。面積、築年月、接道状況、管理費といった数値は、AIが読み違えても文章としては自然に通ります。第三に、重要事項説明のための調査です。2020年8月の宅地建物取引業法施行規則の改正で、水防法に基づく水害ハザードマップにおける物件所在地の説明が義務づけられましたが、この種の行政情報はAIが古い版を参照しても出力は同じ調子で返ってきます。

第四に、入居審査のサマリーです。申込書と収入資料をAIに要約させると、勤続年数や年収が丸められたり、別の書類の数字が混ざったりします。そのサマリーだけを見て可否を決める運用にしていると、原本に戻る経路が消えます。第五に、投資判断や稟議のレポートです。利回りや修繕費の前提がひとつずれただけで結論が反転しますが、整った書式のレポートは疑われにくくなります。いずれも、AIの精度より「誰も原本に戻らなくなる導線」のほうが直接の原因です。エビデンスの残し方についてはAI書類審査で証跡を残す3つの論点もあわせてご覧ください。

明日から引ける3つの遮断線

引くべき線は三本で、いずれも今週中に運用へ落とせます。順番に、出典、整形、確認点です。

一本目は、出典欄のない書面を社内で回覧させないことです。AIに文章を作らせるときは、参照した原本のファイル名と取得日を本文の末尾に書かせる運用に統一します。査定なら参照した成約事例の出典と年月、重説の下調べなら参照した自治体資料の名称と確認日です。出典が書けない出力は、AIが根拠を持っていない出力だと判断できます。運用としては、出典欄が空の書面には「下書き」の表示を外させない、というルールが分かりやすいでしょう。

二本目は、生成と整形を同じAIで連鎖させないことです。今回の米軍の事例で誤りが止まらなかったのは、誤った内容を同じツールに清書させたからでした。不動産に置き換えるなら、AIが作った査定コメントをAIに整形させて査定書にしない、AIが要約した審査メモをAIにレポート化させない、ということです。清書の工程を人が担うだけで、内容を一度は読む人間が発生します。手間に見えますが、ここで止まらなかった誤りは社外に出ます。AIに与える権限と能力の切り分け方はAIの権限と能力を分離する3原則で整理しています。

三本目は、差し戻せる確認点を一か所だけ置くことです。確認点を何か所も置くと形骸化しますので、書面が社外に出る直前の一点に絞ります。そこで見るのは三項目、所在地、数量(面積や戸数や金額)、日付です。この三つを原本と突き合わせるだけで、AI起因の事故の多くは手前で止まります。あわせて、誰がいつ照合したかを記録に残す運用にしておくと、後日の説明にも耐えます。宅建士の記名が必要な書面については、この確認点を宅建士が担うのが自然です。

まとめ

AIの幻覚は、単独では小さな誤読で終わります。危険になるのは、その誤読が公式文書の体裁を得て、検証されないまま組織の上流へ流れたときです。不動産事業者にとっての対策は、高度な技術ではなく、出典を書かせること、清書を人が担うこと、社外に出る直前に一か所だけ確認点を置くことの三つです。AIを使わない理由ではなく、使い続けるための安全装置として設計するのが妥当と考えます。

参考文献

※不動産のチカラでは、生成AIの導入支援から運用最適化まで、貴社の不動産事業に合わせたカスタマイズ提案を行っています。無料相談(30分)も実施中ですので、お気軽にお問い合わせください。
https://fudosannochikara.jp/contact/

引用元: TechCrunch


【監修】齋藤竹紘(株式会社オルセル代表 / EC支援19年5,000社超・AIコンサル100社超 / 宅建業免許 東京都知事(1)第113520号)