AIが出した答えは本当に正しいのか――。そんな問いに対し、引用したウェブページを再取得して一つひとつの主張を裏どりする新しい評価手法「WANDR」が登場しました。時間とともに変化する最新情報にも対応できる仕組みとして、AI評価の常識を変える可能性があります。
WANDRとは何か：AI評価の新しいアプローチ
ゴールド解答ではなく「証拠ページ」で評価
従来、AIの回答精度は「ゴールド解答」と呼ばれる正解データとの照合で評価されてきました。これに対しWANDRは、AIが回答の根拠として示したウェブページを再取得し、そのページの内容と回答内容が一致しているかをチェックします。つまり、「正解と同じか」ではなく「引用した一次情報に忠実か」を評価軸とする発想です。
引用元を再取得してクレーム単位で検証
WANDRの特徴は、回答に含まれる主張（クレーム）を分解し、それぞれを対応する引用元ページと照合する点にあります。AIが「X社の売上は前年比20％増」と答えた場合、その根拠として提示されたリンク先を再度取得し、実際にその数字が記載されているかどうかを自動的に確認します。これにより、引用元を示しながら誤った解釈をしてしまう「もっともらしい誤り」も検出しやすくなります。
時間とともに変わる情報への対応力
「時間変化する事実」を含むタスクを評価可能に
ニュース記事や統計データ、サービス仕様など、ウェブ上の情報は日々更新されます。従来型の評価では、固定されたゴールド解答を用いるため、時間とともに古びてしまうという問題がありました。WANDRは、評価時点で引用ページを取り直し、最新状態と照合するため、「時間変化する事実」を含むタスクでも現時点での正しさを評価できます。
現実世界との「ずれ」を早期に検知
AIが過去の情報に基づいて答えてしまうと、ユーザーは気づかないまま古い情報を信じてしまうリスクがあります。WANDRのように、評価段階で常に最新の引用ページと突き合わせることで、「回答はもっともらしいが、すでに現実とずれている」といったケースを早期に発見しやすくなります。これは、金融、医療、政策など、最新情報が重要な領域で特に価値があります。
AI開発とユーザーにとってのメリット
開発者にとっての評価精度向上とデバッグ効率化
AI開発者にとって、WANDRのような手法は、モデルの弱点をより具体的に把握する助けになります。どの種類の主張で、どのような引用ミスや解釈ミスが起きやすいのかを、クレームごとに分析できるため、プロンプト設計やモデル改善の打ち手を立てやすくなります。また、タスクごとにゴールド解答を大量に作るコストを減らせる可能性もあります。
ユーザー視点：引用に「本当に」忠実なAIへ
ユーザー側から見ると、「引用リンクがついているから安心」という時代は終わりつつあります。リンクがあっても、解釈や要約の段階で誤りが入り込むことがあるためです。WANDRの考え方が広がれば、「引用元と内容がどこまで一致しているか」を客観的に評価できるようになり、引用付き回答の信頼性が一段と高まることが期待されます。
一次情報・参考リンク
まとめ
WANDRは、「正解データとの一致」ではなく「引用元との整合性」でAIを評価するアプローチにより、時間とともに変化する情報を扱うタスクでも現実世界に即した評価を可能にします。AIが社会インフラとして根付くなかで、引用元に本当に忠実かどうかを自動で確かめる技術は、信頼性向上の鍵の一つとなりそうです。
