論文の概要: Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution
- arxiv url: http://arxiv.org/abs/2610.32285v1
- Date: Fri, 23 Oct 2026 07:43:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.423587
- Title: Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution
- Title（参考訳）: トレースによる試行 - AIエージェントのHarnesssによる信頼性と障害属性のベンチマーク
- Abstract要約: TraceTrial-Benchは、信頼性をコンテキスト、実行、ガバナンス、ライフサイクル、可観測性、ツール、検証の7つのコンポーネントにまとめます。
95のエキスパートレベル、メカニズム指向タスクを実行可能あるいは状態ベースで構築し、意味論的に等価な比較をサポートする。
4つのハーネス、9つのモデル、95のタスクにまたがって、3,420回のランニングでは、59.8%から72.0%までのマクロ平均ハーネススコアが得られ、31.1%のランニングは少なくとも1つのハーネス基準を満たさずにタスク成功を達成している。
- 参考スコア（独自算出の注目度）: 12.689002752389735
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: LLM agents are increasingly used to solve real-world problems, and their effectiveness depends on both the underlying models and the harnesses that support their operation. However, most existing benchmarks focus on model capabilities and overall agent performance, with limited attention to the evaluation of agent harnesses. To address this gap, we introduce TraceTrial-Bench, which organizes harness reliability into seven components covering context, execution, governance, lifecycle, observability, tools, and verification. We construct 95 expert-level, mechanism-oriented tasks with executable or state-based ground truth to support semantically equivalent comparisons while preserving the native behavior of each harness. We design a Trajectory Tracing (TT) module to capture agent execution traces and introduce a two-layer evaluation framework that separately assesses agent performance and harness reliability. In addition, we design a Multi-source Evidence Acquisition (MEA) module to provide evidence from the agent context, harness, and execution environment for LLM-based evaluation, and develop a Failure Attribution (FA) module that uses explicit mechanism chains to support attribution at the run level. Across 4 harnesses, 9 models, and 95 tasks, our evaluation of 3,420 runs yields macro-averaged harness scores ranging from 59.8% to 72.0%, while 31.1% of runs achieve task success despite failing at least one harness criterion. TraceTrial-Bench provides an auditable and reproducible foundation for comparing agent harnesses, diagnosing their failures, and studying how harness design interacts with model behavior.
- Abstract（参考訳）: LLMエージェントは現実世界の問題を解決するためにますます使われており、それらの効果は基礎となるモデルとそれらの操作をサポートするハーネスの両方に依存する。
しかし、既存のベンチマークのほとんどはモデル機能と全体的なエージェント性能に重点を置いており、エージェントハーネスの評価に限定している。
このギャップに対処するために、TraceTrial-Benchを紹介します。これは、信頼性をコンテキスト、実行、ガバナンス、ライフサイクル、可観測性、ツール、検証を含む7つのコンポーネントにまとめます。
我々は,各ハーネスのネイティブな振る舞いを保ちつつ,意味論的に等価な比較をサポートするために,実行可能あるいは状態ベース基底真理を用いた95のエキスパートレベル・メカニズム指向タスクを構築した。
我々は,エージェント実行トレースをキャプチャするT Trajectory Tracing (TT) モジュールを設計し,エージェントの性能と信頼性を個別に評価する2層評価フレームワークを導入する。
さらに,マルチソース・エビデンス・アクセシション(MEA)モジュールを設計し,エージェントのコンテキスト,利用状況,実行環境からLCM評価の証拠を提供するとともに,明示的な機構チェーンを用いて実行時の属性をサポートするFAモジュールを開発する。
4つのハーネス、9つのモデル、95のタスクにまたがって、3,420回のランニングでは、59.8%から72.0%までのマクロ平均ハーネススコアが得られ、31.1%のランニングは少なくとも1つのハーネス基準を満たさずにタスク成功を達成している。
TraceTrial-Benchは、エージェントハーネスの比較、障害の診断、モデル動作と設計がどのように相互作用するかを研究するための、監査可能な再現可能な基盤を提供する。
関連論文リスト
- When Agents Fail: Model or Harness--Who's to Blame? [23.478579559973777]
LLMエージェントはモデルと実行ハーネスを組み合わせるため、エージェントベンチマークのパフォーマンスはその共同動作を反映する。
i)検証完了率(VCR)、正常にエージェントが正常に完了し、タスクの正しさに関わらず評価可能な結果を提供する方法、(ii)モデル・ハーネス・フィット、(ii)モデル・ハーネス・フィット、(iii)モデル・フィット、評価モデル間のハーネスの全体的な適合性、(iv)インタラクション・リシダル、ペアリング固有の実行強度と弱点をコンポーネントレベルの要約で隠蔽する手法、(v)トークン・ロード。
論文 参考訳（メタデータ） (2026-10-23T10:57:54Z) - AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。
5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。
ハーネスは推論の精度を常に改善しないことがわかった。
論文 参考訳（メタデータ） (2026-10-14T14:04:48Z) - From Question Answering to Task Completion: A Survey on Agent System and Harness Design [67.8241530947325]
本研究はモデルハーネスレンズを用いてLCMをベースとしたエージェントについて検討する。
まず, LLMをベースとしたエージェントを基礎モデルと実行ハーネスとして, エージェントの機能的定義と実装の視点を明らかにする。
次に、モデル中心のスケーリングの限界を分析し、エージェントエンジニアリングの4つのパラダイムをトレースし、実行ハーネスを6つの結合ランタイム責任に分解する。
論文 参考訳（メタデータ） (2026-06-14T05:40:16Z) - Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows [18.6534256358905]
本稿では,リアルエージェントシステムにおける構成レベルのハーネス効果を評価するための診断ベンチマークであるHarness-Benchを紹介する。
ベンチマークには、実用的なエージェント使用パターンから構築された106のサンドボックス化されたオフラインタスクが含まれている。
5,194個の実行軌道にまたがって、完了、プロセス品質、効率、障害挙動のかなりの変化を観察する。
論文 参考訳（メタデータ） (2026-05-27T03:47:35Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳（メタデータ） (2026-05-11T00:04:19Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - AgencyBench: Benchmarking the Frontiers of Autonomous Agents in 1M-Token Real-World Contexts [35.52607495764441]
大規模言語モデル(LLM)に基づく自律エージェントは、経済的生産に大きく貢献する多面的能力を示す。
我々は、毎日のAI使用から派生したベンチマークであるAgentBenchを紹介し、32の現実シナリオにわたる6つのコアエージェント能力を評価した。
これらのシナリオでは、平均90のツールコール、100万のトークン、解決に必要な実行時間が必要です。
論文 参考訳（メタデータ） (2026-01-16T07:22:20Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。