DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments
Abstractの概要
DRNoiseは、検索可能な環境にもっともらしいが誤解を招く文書が含まれている場合に、深層調査エージェントが正解を導き出せるかを評価するための100タスクのベンチマークである。各タスクには、2つの裏付けとなる間接的な証拠の連鎖によって支持される単一の正解がある一方で、ノイズ条件では、相反する回答を直接述べる一見普通の文書が1つ追加される。このベンチマークは10種類の証拠操作ファミリーをカバーしており、解答のような近道が提示された際に、エージェントの証拠利用行動がどのように変化するかを分離して評価するよう設計されている。本論文では、適合させたクリーン条件とノイズ条件の下で最新の複数の検索エージェントを評価し、それらの検索プロセスや検証行動を分析している。
新規性
本論文の主な新規性は、注入された1つの偽の要約のみが異なる、クリーンとノイズが対になったベンチマークであり、これにより一般的なタスクの難易度ではなく、ノイズによって引き起こされる証拠利用の変化を細分化して評価できる点である。また、エージェントが既に示されたクリーンタスクでの能力を放棄し、指定された偽の回答を採用するタイミングを測定するためのターゲット指標として、条件的服従（conditional deference）を導入している。
成果
クリーンタスクで高いパフォーマンスを示すエージェント全体において、誤解を招く文書を1つ追加すると、偽の回答に対する高い条件的服従を伴い、精度が66〜88パーセントポイント大幅に低下する。追跡およびアブレーション分析により、主な失敗パターンは早期停止と不十分な検証であることが示されており、エージェントは真実の記録を検索することが多いものの、証拠の連鎖を完成させたり照合したりしない場合がある。一般的な検証プロンプトはノイズ下での精度を部分的にしか改善せず、直接的な真の証拠や完全な証拠のコンテキストを提供するなどの構造的な介入も、問題を軽減するものの完全には解決できない。
論文の注目点
- DRNoiseは10の推論ファミリーにわたる100のタスクで構成されており、各ノイズインスタンスでは真実の記録が利用可能である一方で、相反する回答を直接述べる1つのもっともらしい文書が追加される。
- 複数のエージェントの性能が急激に低下し、注入された偽の値に頻繁に従うことから、クリーンタスクの高い精度が必ずしも誤解を招く証拠に対する堅牢性を意味しないことを示している。
- エージェントは真実の証拠と偽の証拠を同時に検索することが多いものの、記録レベルの裏付けを完全に照合する前に停止してしまうため、分析によれば純粋な検索の失敗ではなく、検証活動における怠慢が主要な弱点であることが示唆されている。