Agents Are Systems, Not Models: Rethinking Agentic Evaluation
Abstractの概要
本論文は、エージェントの評価においてエージェントを固定されたモデルではなく構成可能なシステムとして扱うべきであると主張しています。天体物理学およびゲノミクス分野の4つの科学タスクからなる新しいベンチマークを用い、著者らはタスク情報、推論、自己検証、時間予算、バックボーンモデルという5つの構成軸を体系的に変化させました。これらのタスクでは、コーディングエージェントが制御された条件下で公開された専門モデルを特定して操作することが求められ、タスクスコア、完了率、一貫性、コスト、実行時間、キャリブレーションが測定されます。実験全体を通じて、著者らは実行ごとの大きなばらつき、構成選択間の強い相互作用、そしてエージェントに提供される情報が果たす極めて重要な役割を明らかにしました。再現性と行動分析のため、ベンチマークとともに18,000件以上のエージェントの軌跡データが公開されています。
新規性
本論文は、成果を主にバックボーンモデルに帰属させるのではなく、5つの構成軸に沿ってエージェントの性能を体系的に分解することで、エージェント評価をシステムの問題として再定義しています。専門モデルの操作に焦点を当てた制御されたAI-for-Scienceベンチマークを導入し、大規模な軌跡データの公開と自動生成された軌跡ベースの行動分類法を組み合わせています。
成果
実質的な試行において、結果の分散の約54%は構成の変更ではなく同一構成内での実行ごとのノイズに起因していました。提供されたタスク情報は性能に対して最も大きな効果を示し、モデルの能力や予算を上回る影響を与えつつ、コストの削減、実行時間の短縮、キャリブレーションの改善を同時に達成しました。プロンプトによる自己検証は行動や性能への影響が最小限にとどまった一方、システムレベルの検証ツールをエージェントに備えることで、コストと実行時間が増加する代わりにタスクスコアとキャリブレーションが大幅に向上しました。
論文の注目点
- ベンチマークは、制御され再現可能な条件下で専門モデルの発見と実行を必要とする4つの科学タスクにわたってエージェントを評価します。
- タスク情報は最も影響力のある構成軸であり、トレードオフなしに実行時間とコストを削減し、キャリブレーションを改善しながらスコアを向上させます。
- 構成軸間には強い相互作用が存在し、時間予算の増加は十分なタスク情報や十分に有能なモデルと組み合わされた場合にのみ主に効果を発揮し、検証行動はユーザープロンプトよりもシステムツールによってはるかに効果的に促進されます。