AI選定基準が変わる、自社データで4モデルを採点する不動産の3手順

Artificial Analysisが自社データでAIモデルを採点できるOptimaを公開。スコア差10点でコストは9倍。不動産業務のモデル選定3手順を宅建業免許保有のオルセルが解説します。

会議テーブルを囲む経営メンバー

Artificial Analysis が、自社データからAIモデルの独自ベンチマークを作れる「Optima」を公開しました。

汎用ベンチマークの点数が高いモデルが、自社の重要事項説明の下書きや契約書レビューで最も使えるとは限りません。Artificial Analysis が公開した Optima は、自社の業務データやタスクをそのまま採点用のベンチマークに変換し、複数のAIモデルを品質・コスト・処理時間の3軸で並べて比較する仕組みです。AIモデル選定を「他社の順位表を眺める」から「自社データで採点する」へ移す動きとして、不動産業務のモデル選定にも直結します。本記事は、宅建業免許（東京都知事(1)第113520号）を保有し、AI導入コンサル100社超の実績を持つ株式会社オルセル（不動産のチカラ運営）が解説します。

Artificial Analysis が公開した独自ベンチマーク構築サービスOptimaの紹介イメージ

何が起きたか、Optimaで自社ベンチマークを作る仕組み

Optima とは、自社のタスクとデータから独自のAIベンチマークを作り、複数モデルを同一条件で走らせて採点するサービスのことです。公式サイトは「標準化されたベンチマークはモデルの一般的な能力を測るものであり、自社のユースケースにどのモデルが適しているかは示せない」と説明しています。汎用スコアと実務適性のズレを、自社データで埋めるという設計思想です。

入力の方法は3通り用意されています。ユースケースを文章で説明する、過去の良い成果物をサンプルとして添付する、Arize や Braintrust などに蓄積したエージェントの実行ログを取り込む、のいずれかです。添付した例をもとに、構築用のエージェントが評価タスクと採点ルーブリックの草案を作ります。評価形式は、正解が決まっている質問応答、アップロードした書類への質問応答、ツールを使って成果物を作らせるエージェント型の3種類が現在利用でき、対話シミュレーション型は近日提供と案内されています。

料金は従量制です。ベンチマークの作成と実行は使用したモデルの生のトークン費用のみで上乗せがなく、採点部分がルーブリック採点で1基準・1モデルあたり0.125ドル、モデル同士を突き合わせるペアワイズ採点で1マッチあたり0.375ドルと明記されています。自社で開発したエージェントを、HTTP経由で同じベンチマークに参加させて既存モデルと並べることもできます。

公式サイトには例として「Contract Review Benchmark（契約書レビュー用ベンチマーク）」の結果画面が掲載されており、24タスクを4モデルで走らせた場合の数値が示されています。スコアと1タスクあたりのコストは、Claude Fable 5 が60点で0.18ドル、GPT-5.6 Sol が59点で0.11ドル、Kimi K3 が57点で0.04ドル、Gemini 3.6 Flash が50点で0.02ドルという並びです。これは実測の公開結果ではなくサービス説明上の例示ですが、スコア差が10点の範囲に収まる一方でコストは9倍開くという構図は、モデル選定の考え方を示しています。

不動産業務にとっての論点、契約書レビューはスコアだけでは決まらない

不動産事業者にとって重要なのは、例示に使われたテーマがまさに契約書レビューだったという点です。供給業者との契約からリスク条項を洗い出し、条件を抽出するというタスクは、賃貸管理会社が扱う管理受託契約や、売買仲介が扱う売買契約書のレビューと構造がほぼ同じです。汎用ベンチマークで上位のモデルが、日本語の不動産契約書の条項抽出でも同じ順位になるかは検証しないと分かりません。

もう一つの論点はコストです。1タスクあたり0.02ドルと0.18ドルでは9倍の差があります。月に500件の物件情報を整形する業務なら、前者は約10ドル、後者は約90ドルという計算になります。スコア差が10点なら安いモデルで足りる業務と、10点の差が説明責任に直結するため高いモデルを使うべき業務は分かれます。重要事項説明の下書きや契約書のリスク条項抽出は後者、物件写真のキャプション生成や追客メールの文案作成は前者に寄ります。この線引きを感覚ではなく採点結果で持てるかどうかが、AI利用料を変動費として管理する話にもつながります。

処理時間が並記されている点も実務的です。例示では1タスク29秒から74秒まで開きがあります。反響対応のように数分以内の返信速度が成果を左右する業務では、スコアが数点低くても速いモデルのほうが結果として有利になる場面があります。モデルの価格改定が短い周期で起きている状況は、Gemini 3.7 Flash の値下げを扱った記事でも触れたとおりで、一度決めた選定を固定しない姿勢が求められます。

不動産会社の初動、自社データでモデルを採点する3手順

第一に、評価用のタスクセットを自社で20件前後そろえることです。過去に人が対応した重要事項説明の下書き、管理受託契約のリスク条項抽出、反響メールへの一次返信など、業務ごとに実例を集めます。このとき「良い成果物」の実物も一緒に残してください。何が正解かを示す実例がないと、どのモデルを選んでも採点の軸が定まりません。Optima を使う場合も、この素材づくりは自社側の作業になります。

第二に、個人情報を外した検証用データを作る運用を先に決めることです。入居申込書や契約書には氏名、住所、勤務先、収入といった個人情報が含まれます。検証目的であっても、本人の同意なくそのまま外部サービスへ投入する運用は個人情報保護法の観点から避けるべきです。氏名を「A様」に、住所を「東京都◯◯区」に置き換えたマスキング済みの検証セットを用意しておけば、モデルを乗り換えるたびに同じ素材で採点し直せます。ここはAI導入時の業務課題としても最初につまずきやすい箇所です。

第三に、業務を「安いモデルで足りる領域」と「高いモデルを使う領域」に仕分けることです。採点結果とコスト、処理時間の3つが並んで初めて、この仕分けは数字で説明できるようになります。ただし宅建業法上の責任が伴う業務では、どのモデルを選んでもAIの出力は下書きの位置づけにとどめ、宅地建物取引士による検証を残す運用を維持してください。AI査定や重要事項説明の記載内容は参考値であり、最終的な判断と説明責任は人が負うという前提は、モデルの点数が上がっても変わりません。

なお、外部サービスを使わずに同種の比較を行うことも可能です。自社で20件のタスクを用意し、3つのモデルに同じ指示を投げて、担当者2名がブラインドで採点するだけでも、汎用ベンチマークの順位よりは実務に近い判断材料が得られます。Optima のようなサービスは、この作業を再現可能な形に整えて新モデルが出るたびに走らせ直せる点に価値があります。

まとめ

Optima の公開は、AIモデル選定の判断材料が「公開ランキング」から「自社データでの採点結果」へ移りつつあることを示しています。公式サイトの例示では、スコア差10点に対してコストは9倍、処理時間は2.5倍の開きがありました。不動産事業者としては、評価用タスクを自社でそろえ、個人情報をマスキングした検証セットを用意し、業務ごとに使うモデルを仕分ける。この3手順を踏んでおけば、新しいモデルが出るたびに毎回ゼロから検討し直す必要がなくなります。宅建業法上の責任が伴う判断に人の検証を残す前提は、そのうえで維持してください。

参考文献

※不動産のチカラでは、生成AIの導入支援から運用最適化まで、貴社の不動産事業に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://fudosannochikara.jp/contact/

引用元: The Decoder

【監修】齋藤竹紘（株式会社オルセル代表 / EC支援19年5,000社超・AIコンサル100社超 / 宅建業免許 東京都知事(1)第113520号）