論文の概要: Agent Evaluation Reliability: More Tasks Won't (Always) Fix An Agent Leaderboard

• arxiv url: http://arxiv.org/abs/2610.00651v1
• Date: Wed, 30 Sep 2026 19:52:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.736815
• Title: Agent Evaluation Reliability: More Tasks Won't (Always) Fix An Agent Leaderboard
• Title（参考訳）: エージェント評価の信頼性: エージェントのリーダーボードを(常に)修正しないタスクを増やす
• Abstract要約: 信頼性クレーム依存: デプロイされたシステムを確実にランク付けする評価は、基礎となるモデルを確実にランク付けできない。 疎小かつ不均衡なエージェントリーダーボードのためのベイズ分散分解フレームワークを開発した。 1)信頼性は測定目標によって異なり、固定モデルスキャフォールドシステムは確実にランク付けされ(0.935-0.994)、基礎モデル信頼性はかなり低い(0.148-0.841)。
• 参考スコア（独自算出の注目度）: 22.553905500778853
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent evaluations are increasingly used to compare LLMs and inform deployment decisions, yet ranks can reflect not only the model but also the effects of the evaluation conditions such as the scaffolds or tasks. This makes reliability claim-dependent: an evaluation that reliably ranks deployed systems may not reliably rank underlying models. We ask which conclusions current agent evaluations reliably support and what additional evaluation would improve them. We develop a Bayesian variance-decomposition framework for sparse, imbalanced agent leaderboards and apply it to 22 benchmarks from the Holistic Agent Leaderboard and Harbor Index. The framework separates signal, performance differences relevant to the intended claim, from noise, irrelevant variation that can still change rankings. We find: (1) Reliability depends on the measurement goal. Fixed model-scaffold systems are ranked reliably (0.935-0.994), while underlying-model reliability is substantially lower (0.148-0.841). (2) Scaffold choice can change conclusions. Inter-scaffold reliability measures whether scaffolds preserve model rankings, showing that scaffold effects vary substantially across evaluations. (3) More tasks cannot resolve all uncertainty. Even infinitely many similarly constructed tasks improve model-ranking reliability of a benchmark by at most 0.097 when uncertainty is dominated by limited scaffold coverage. (4) Pooling diverse benchmarks can improve cross-task rankings at lower cost. For rankings across diverse agentic tasks, pooling benchmarks raises projected reliability from 0.44 to 0.75 at the same task budget and can reduce projected cost by up to 83\%. Evaluation design should follow the intended claim: identify what a score or ranking should mean, diagnose what limits its reliability, and spend evaluation budget on the sources of uncertainty that matter.
• Abstract（参考訳）: エージェント評価は、LSMを比較し、デプロイメントの決定を知らせるために使われることが多いが、ランクはモデルだけでなく、足場やタスクなどの評価条件の影響も反映できる。 デプロイされたシステムを確実にランク付けする評価は、基礎となるモデルを確実にランク付けできない。 我々は、現在のエージェント評価が確実に支持する結論と、それを改善するための追加評価を問う。 我々は,疎小かつ不均衡なエージェントリーダボードのためのベイズ分散分解フレームワークを開発し,これをホリスティックエージェントリーダボードとハーバーインデックスのベンチマーク22に応用する。 このフレームワークは、意図されたクレームに関連する信号、パフォーマンスの違いをノイズから分離する。 1)信頼性は測定目標に依存する。 固定モデルスキャフォールドシステムは確実にランク付けされ(0.935-0.994)、基礎モデルの信頼性はかなり低い(0.148-0.841)。 2) 選択選択は結論を変えることができる。 足場間の信頼性は、足場がモデルランキングを保存するかどうかを測定し、足場効果が評価によって大きく異なることを示す。 (3)不確実性をすべて解決できないタスクが増える。 同様に構築されたタスクが無限に多くても、不確実性が限定的な足場カバレッジによって支配される場合、ベンチマークのモデルレベルの信頼性は少なくとも0.097向上する。 (4) 多様なベンチマークをポーリングすることで、低コストでクロスタスクランキングを改善することができる。 多様なエージェントタスクにまたがるランキングでは、プールベンチマークは、同じタスク予算で、予測された信頼性を 0.44 から 0.75 に引き上げ、予測されたコストを 83 % まで削減できる。 評価設計は、スコアやランキングが何を意味するべきかを特定し、その信頼性を何に制限するかを診断し、重要な不確実性の原因について評価予算を費やす、という意図された主張に従うべきである。

関連論文リスト

• The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean [2.822987192839875]
  エージェントベンチマークは、大規模言語モデル(LLM)の比較やデプロイメント決定のガイドにますます使用されている。 実行クリティカルな決定はモデルの代わりに固定された足場によって行われ、スコアラはタスクの正しさを反映しない基準を用いて出力を評価する。 ベンチマークスコアをモデル能力の証拠として解釈できる場合に特徴付ける測定理論の枠組みでこれらの問題を統一する。
  論文  参考訳（メタデータ） (2026-09-06T21:23:11Z)
• AI Cartography: Mapping the Latent Landscape of AI Benchmark Ecosystems [20.174278188532096]
  AIベンチマークエコシステムの潜伏状況を測定するためのフレームワークを紹介します。 The Open LLM Leaderboardから4000以上のモデルに確認因子分析(CFA)と一般化可能性理論を適用して、ランキング分散の源泉を分解する。 ベンチマークランキングをどのように信頼するか、ベンチマーク設計をどのように改善できるかを判断するために、実行可能な診断を提供する。
  論文  参考訳（メタデータ） (2026-05-24T21:59:08Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• Efficient Benchmarking of AI Agents [0.0]
  小型タスクサブセットがエージェントランキングを極めて低コストで維持できるかどうかを検討する。 絶対スコア予測は足場駆動の分布シフトで低下することがわかった。 本稿では,中間的履歴パス率を持つタスクに対してのみ,新しいエージェントを評価できる最適化フリープロトコルを提案する。
  論文  参考訳（メタデータ） (2026-03-24T22:17:11Z)
• Stochasticity in Agentic Evaluations: Quantifying Inconsistency with Intraclass Correlation [0.7418138958218443]
  クラス内相関係数(ICC)は、測定科学から分散を特徴づける指標である。 ICCは観測されたばらつきを、問合せ間分散(タスク困難)と問合せ内分散(エージェント不整合)に分解する 我々は、ICCが構造化タスクのn=8-16と複雑な推論のn>=32で収束し、実践者がエビデンスベースの再サンプリング予算を設定することを実証した。
  論文  参考訳（メタデータ） (2025-12-07T07:58:13Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
  AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。 AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。 さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
  論文  参考訳（メタデータ） (2025-05-28T20:22:43Z)
• PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
  大きな言語モデル(LLM)は予測不能に失敗することが多い。 これは、安全なデプロイメントを保証する上で、大きな課題となる。 PredictaBoardは,新しいベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T10:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。