論文の概要: Beyond Outcomes: Dual-View Relational Learning for Efficient Agent Benchmarking

• arxiv url: http://arxiv.org/abs/2609.18909v1
• Date: Wed, 16 Sep 2026 16:49:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.897765
• Title: Beyond Outcomes: Dual-View Relational Learning for Efficient Agent Benchmarking
• Title（参考訳）: Beyond Outcomes: 効率的なエージェントベンチマークのためのデュアルビューリレーショナルラーニング
• Abstract要約: 結果とプロセスの関係を利用して、精度の高いミニセットを学習し、全ベンチマークスコアを予測する、エージェントベンチマーク圧縮手法であるDualViewEvalを提案する。 わずか20のタスクで、APEX-AgentsとBFCLの圧縮は24時間$-40ドル、平均絶対誤差(MAE)は14.5%$--28.2%$である。
• 参考スコア（独自算出の注目度）: 22.850097223628534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agent benchmarks are substantially more costly to evaluate than conventional LLM benchmarks. Benchmark compression is therefore a natural solution, yet existing methods primarily model redundancy in task--model final-score distributions, which is important in agentic evaluation. To address this limitation, we analyze large-scale trajectories and identify six complementary process signals that are systematically associated with final agent performance. To disentangle agent performance redundancy from a complete perspective, we propose DualViewEval, an agent benchmark compression method that jointly exploits outcome and process relations to learn an exact-size miniset and predict the full-benchmark scores. Across five agent benchmarks and five representative baselines, DualViewEval achieves the best results in all datasets. With only 20 tasks, it achieves $24\times$--$40\times$ compression on APEX-Agents and BFCL, reducing mean absolute error (MAE) by $14.5\%$--$28.2\%$ over the strongest competitors while improving Kendall's $τ$ by up to $7.2\%$ relative to EssenceBench on SWE-bench Verified. The selected minisets further reveal capability differences among different agents, providing compact and diagnostic feedback for efficient agentic model development.
• Abstract（参考訳）: エージェントベンチマークは従来のLLMベンチマークよりも大幅に費用がかかる。 したがってベンチマーク圧縮は自然な解であるが、既存の手法は主にエージェント評価において重要なタスクモデルファイナルスコア分布の冗長性をモデル化する。 この制限に対処するため,我々は大規模軌跡を解析し,最終エージェントの性能と体系的に関連付けられた6つの相補的プロセス信号を特定する。 完全視点からエージェント性能の冗長性を抑えるために,結果とプロセスの関係を協調的に活用し,精度の高いミニセットの学習と全ベンチマークスコアの予測を行うエージェントベンチマーク圧縮手法であるDualViewEvalを提案する。 5つのエージェントベンチマークと5つの代表ベースラインにまたがって、DualViewEvalはすべてのデータセットで最高の結果を達成する。 わずか20のタスクで、APEX-AgentsとBFCLの圧縮$24\times$--$40\times$を達成し、平均絶対誤差(MAE)を14.5\%$--28.2\%で削減し、Kendallの$τ$をSWE-bench VerifiedのEssenceBenchと比較して最大7.2\%改善した。 選択されたミニセットは、異なるエージェント間の能力差をさらに明らかにし、効率的なエージェントモデル開発のためのコンパクトで診断的なフィードバックを提供する。

関連論文リスト

• PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
  PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。 14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
  論文  参考訳（メタデータ） (2026-07-02T10:59:03Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• AgencyBench: Benchmarking the Frontiers of Autonomous Agents in 1M-Token Real-World Contexts [35.52607495764441]
  大規模言語モデル(LLM)に基づく自律エージェントは、経済的生産に大きく貢献する多面的能力を示す。 我々は、毎日のAI使用から派生したベンチマークであるAgentBenchを紹介し、32の現実シナリオにわたる6つのコアエージェント能力を評価した。 これらのシナリオでは、平均90のツールコール、100万のトークン、解決に必要な実行時間が必要です。
  論文  参考訳（メタデータ） (2026-01-16T07:22:20Z)
• Towards Efficient Agents: A Co-Design of Inference Architecture and System [66.59916327634639]
  本稿では,エージェントアクセラレーションのための統合フレームワークであるAgentInferを提案する。 問題をAgentCollab、AgentSched、AgentSAM、AgentCompressの4つの相乗的コンポーネントに分解する。 BrowseComp-zhとDeepDiverベンチマークの実験では、これらの手法の相乗的コラボレーションを通じて、AgentInferは非効率なトークン消費を50%以上削減することを示した。
  論文  参考訳（メタデータ） (2025-12-20T12:06:13Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Ensemble Value Functions for Efficient Exploration in Multi-Agent Reinforcement Learning [18.762198598488066]
  マルチエージェント強化学習(MARL)は、エージェントが広い共同行動空間内で探索する必要がある。 EMAXは価値ベースのMARLアルゴリズムをシームレスに拡張するフレームワークである。
  論文  参考訳（メタデータ） (2023-02-07T12:51:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。