AIの権限は、モデルが賢くなっても自動では広げないのが実務の原則です。
運用資産およそ380億ドル、約2,000人を抱える米投資会社バリアズニー・アセット・マネジメント（BAM）が、新しいAIモデルをどう評価し、どう統制しているかを公開しました。本記事は、宅建業免許（東京都知事(1)第113520号）を保有し、AI導入コンサル100社超の実績を持つ株式会社オルセル（不動産のチカラ運営）が、不動産事業者のAIガバナンス設計という観点から読み解きます。業種は違いますが、扱うのは顧客の資産情報と重い説明責任という点で、不動産業と構造がよく似ています。
何が起きたか、評価スコア89.4%と「モデルの外側」の統制
BAMは自社の実務タスクでAIモデルを採点し、そのスコアで採否を決めています。Claude by Anthropicに掲載された同社チーフAIオフィサーのチャーリー・フラナガンへのインタビューによると、株式・マクロ・コモディティにまたがる数千件の実タスクで検証した結果、新モデルは該当サブセットで89.4%、それまでの本番モデルは86.1%でした。一般的なベンチマークや単発のデモには頼らない、という姿勢が徹底されています。
評価の対象はモデル単体だけではありません。利用者が実際に使うのと同じツール、同じファイル、同じ要件を与えたエージェント環境の中でも試しています。作業を計画できるか、適切なツールを選んで使えるか、根拠を見つけて分析できるか、エラーから復帰できるか、途中結果を自己点検できるか。そして数値誤り、カバレッジの抜け、根拠のない結論、検索の失敗という具体的な失敗モードを名指しで探しています。
合併アービトラージ分析では、従来3日から5日かかっていた初期パッケージ作成が1日未満に短縮され、エージェントの稼働時間はおよそ30分とされています。ただし記事では、重要な成果物が使われる前には人のレビューが入ると明記されています。同社チーフエコノミストの中央銀行分析も、およそ2日から30分程度に短縮されたと説明されていますが、判断とレビューはエコノミスト側に残されています。
もっとも示唆的なのは安全性の考え方です。同社は統制をモデルの内側ではなく外側に置いています。承認済みのデータ境界、最小権限アクセス、ツール単位の権限設定、ログと追跡可能性、重要な出力への人によるレビュー、例外時のエスカレーション経路。そして、より高性能なモデルだからといって権限が自動的に広がることはなく、モデルが自分で権限を増やすこともできない、と述べられています。
不動産事業者にとっての3原則、能力と権限を切り離す
ここからは日本の不動産実務に引き付けた筆者の見解です。BAMの運用から取り出せる原則は3つあります。
第1に、評価は自社の実タスクで行うことです。一般公開されたベンチマークのスコアや、ベンダーのデモ動画は、自社の業務で使えるかどうかをほとんど説明しません。不動産業で置き換えるなら、レインズの成約データを読ませて相場コメントを書かせる、重要事項説明書の下書きを作らせる、退去立会いの報告を要約させる、といった実際の仕事を20件から30件ほど用意し、正解を人が用意したうえで採点する形になります。BAMがやっているのはスケールの違う同じことです。導入の順番については、AI導入の順番とデータ基盤の3前提でも整理しています。
第2に、能力と権限を切り離すことです。宅建業法の枠組みでは、重要事項説明は宅地建物取引士が記名し、説明する行為として組み立てられています。AIの精度がどれだけ上がっても、この責任の所在は動きません。したがって、モデルが賢くなったからという理由でAIに読み書きさせる範囲を広げるのは、順序が逆です。権限を広げるかどうかは、統制側の準備が整ったかどうかで決めるべき論点になります。
第3に、個人情報の境界を先に引くことです。個人情報保護委員会は生成AIサービスの利用に関する注意喚起で、個人情報を含むプロンプトを入力する際は、特定した利用目的の達成に必要な範囲内かを確認する必要があると示しています。入居希望者の氏名、勤務先、年収、緊急連絡先といった審査データは、まさにこの論点の中心にあります。どのデータをどのツールに入れてよいかを先に決めておかないと、現場が良かれと思って使うほどリスクが積み上がります。関連する設定の考え方はAIの記憶機能と個人情報の3設定にまとめています。
今週からの初動、統制を先に作る
まず、社内でAIに投入してよいデータと投入してはいけないデータの線引きを1枚の文書にします。入居審査の個人データ、オーナーの資産情報、取引の価格交渉経緯あたりが線引きの対象になります。
次に、自社の実タスクを20件から30件集めて評価セットを作ります。AIに任せたい作業を書き出し、人が作った正解を添えるだけで十分です。ツールを乗り換えるたびに同じセットを流せば、感覚ではなく数字で比較できるようになります。
そのうえで、AIの出力が社外に出る直前に人のレビューを置きます。物件紹介文、重要事項説明書の下書き、オーナー向け報告書、入居者への回答文。これらは第三者の判断や権利に影響するため、レビューを外す対象にはなりにくい領域です。
最後に、ログを残す仕組みを用意します。誰が、いつ、どのデータを使って、何を出力させたか。BAMが挙げた統制項目のうち、中小規模の事業者でも比較的すぐに着手できるのがログと追跡可能性です。トラブルが起きたときに経緯を再現できるかどうかが、説明責任を果たせるかどうかを分けます。実証から本番運用への移行判断についてはAI実証から本番化への3決断も参考になります。
まとめ
BAMの事例が示しているのは、AIの性能評価とAIの権限設計は別々に管理すべきだという考え方です。自社の実タスクで採点し、統制はモデルの外側に置き、能力が上がっても権限は自動で広げない。この3点は、宅建業法と個人情報保護法の下で動く不動産事業者にとって、そのまま使える設計指針になります。まずは評価セットとデータ境界の文書化から着手するのが現実的です。
参考文献
- Claude by Anthropic: Working at the frontier: How Balyasny Asset Management evaluates and governs Claude Fable 5
- 個人情報保護委員会: 生成AIサービスの利用に関する注意喚起等について
- 経済産業省・総務省: AI事業者ガイドライン
※不動産のチカラでは、生成AIの導入支援から運用最適化まで、貴社の不動産事業に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://fudosannochikara.jp/contact/
引用元: Claude by Anthropic
【監修】齋藤竹紘（株式会社オルセル代表 / EC支援19年5,000社超・AIコンサル100社超 / 宅建業免許 東京都知事(1)第113520号）