論文の概要: When Agents Fail: Model or Harness--Who's to Blame?
- arxiv url: http://arxiv.org/abs/2610.32483v1
- Date: Fri, 23 Oct 2026 10:57:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.501112
- Title: When Agents Fail: Model or Harness--Who's to Blame?
- Title（参考訳）: エージェントが失敗したとき:モデルかハーネスか-
- Abstract要約: LLMエージェントはモデルと実行ハーネスを組み合わせるため、エージェントベンチマークのパフォーマンスはその共同動作を反映する。
i)検証完了率(VCR)、正常にエージェントが正常に完了し、タスクの正しさに関わらず評価可能な結果を提供する方法、(ii)モデル・ハーネス・フィット、(ii)モデル・ハーネス・フィット、(iii)モデル・フィット、評価モデル間のハーネスの全体的な適合性、(iv)インタラクション・リシダル、ペアリング固有の実行強度と弱点をコンポーネントレベルの要約で隠蔽する手法、(v)トークン・ロード。
- 参考スコア（独自算出の注目度）: 23.478579559973777
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents combine models with execution harnesses, so agentic benchmark performance reflects their joint behavior. We argue that harnesses should therefore be evaluated through their interactions with underlying models. We develop a framework combining five complementary measures: (i) Valid Completion Rate (VCR), how reliably agents finish normally and deliver evaluable results, irrespective of task correctness; (ii) Model-Harness Fit, how well a harness supports task achievement through valid completion for a given model; (iii) Cross-Model Fit, a harness's overall suitability across evaluated models; (iv) Interaction Residuals, pairing-specific execution strengths and weaknesses hidden by component-level summaries; and (v) Token Load, the token demands of agent execution, including failed attempts. We evaluate four general-purpose harnesses (OpenCode, Codex CLI, Pi CLI, and DeepAgents) with four core models, plus two fixed native model-harness systems, on six benchmarks covering context management, tool use, long-context planning, multimodal interaction, and artifact handoff. Including native references and stress conditions, 111 evaluation settings yield 52,168 trajectories. Harness rankings vary across models and benchmarks; task performance and valid completion can favor different pairings, and similar task scores can accompany distinct execution profiles. OpenCode ranks first in cross-model performance, while DeepSeek V4 Flash Preview maintains consistently high Mean VCR across harnesses on the shared four-benchmark panel. These findings support evaluating model-harness interactions, training transferable harness-use capabilities in models, and harness designs adapted to the model and task.
- Abstract（参考訳）: LLMエージェントはモデルと実行ハーネスを組み合わせるため、エージェントベンチマークのパフォーマンスはその共同動作を反映する。
したがって、ハーネスは基礎となるモデルとの相互作用を通じて評価されるべきである。
我々は5つの補完措置を組み合わせた枠組みを開発する。
一 検証完了率(VCR) タスクの正確性にかかわらず、正常に完了し、評価可能な結果が得られること。
二 モデルハーネスフィット、与えられたモデルの有効完了により、ハーネスがタスク達成をいかにうまくサポートしているか
三 クロスモデルフィット、評価モデルにおけるハーネスの全体的な適合性
4 相互作用残余、ペアリング固有の実行強度及びコンポーネントレベルの要約で隠された弱点
(v)トークンロード(Token Load) - エージェントの実行のトークン要求。
OpenCode、Codex CLI、Pi CLI、DeepAgentsの4つの汎用ハーネスを4つのコアモデルと2つの固定されたネイティブモデルハーネスシステムで評価し、コンテキスト管理、ツール使用、長期計画、マルチモーダルインタラクション、アーティファクトハンドオフを含む6つのベンチマークを行った。
ネイティブ参照とストレス条件を含め、評価設定111は52,168の軌道を生成する。
ハーネスランキングはモデルやベンチマークによって異なり、タスクのパフォーマンスと有効な完了は異なるペアリングを好ましく、同様のタスクスコアは異なる実行プロファイルに付随する。
OpenCodeはクロスモデルパフォーマンスで最初にランクインし、DeepSeek V4 Flash Previewは、共有された4つのベンチマークパネル上のハーネス間で一貫して高い平均VCRを維持している。
これらの知見は、モデルハーネス相互作用の評価、モデルにおける伝達可能なハーネス利用能力の訓練、モデルとタスクに適応したハーネス設計を支援する。
関連論文リスト
- Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution [12.689002752389735]
TraceTrial-Benchは、信頼性をコンテキスト、実行、ガバナンス、ライフサイクル、可観測性、ツール、検証の7つのコンポーネントにまとめます。
95のエキスパートレベル、メカニズム指向タスクを実行可能あるいは状態ベースで構築し、意味論的に等価な比較をサポートする。
4つのハーネス、9つのモデル、95のタスクにまたがって、3,420回のランニングでは、59.8%から72.0%までのマクロ平均ハーネススコアが得られ、31.1%のランニングは少なくとも1つのハーネス基準を満たさずにタスク成功を達成している。
論文 参考訳（メタデータ） (2026-10-23T07:43:26Z) - Pairing Matters: Performance, Failures, and Efficiency in Lightweight Coding Agents [9.713706982318447]
自己ホスト型コーディングエージェントは、プロプライエタリなコードと開発トレースを制御されたインフラストラクチャ内に保持しなければならないソフトウェアエンジニアリングチームにとって、しばしば必要である。
軽量でオープンなモデルは、ハードウェア要件を減らすことで、そのようなデプロイメントをより実現可能にする。
我々は,100のSWE-bench検証タスクを対象とした6つのオープンソースハーネスと3つの軽量コーディングモデルのフルファクター評価により,ハーネス-モデル相互作用を評価する。
論文 参考訳（メタデータ） (2026-10-23T03:57:58Z) - Harness Self-Evolution for Long-Horizon Terminal Agents [44.784419917476214]
RiseHarnessは、モデルウェイトを固定したエージェントハーネスを改善するためのフレームワークである。
成功と失敗の両方を同じ構成下で実行することでタスクを切り替えることに重点を置いている。
論文 参考訳（メタデータ） (2026-10-20T00:36:49Z) - Toward Collective Model Intelligence: Characterizing and Coordinating Models [77.86801416999481]
独立して開発されたAIモデルは多様かつ相補的な能力を蓄積するが、増大するコレクションは自動的に集合型AIを実現するわけではない。
本稿では,3つの接続されたコンポーネントを通して集合モデルインテリジェンスを追求する体系的アプローチを提案する。
Mio 1.0 Liteは、比較した手法の中で平均点数と平均点数の平均点数が最も高く、リクエスト毎のコストは、ベストスコアの代替品よりも73.7-97.5%低い。
論文 参考訳（メタデータ） (2026-10-17T15:10:55Z) - Cowork-Gym: Synthesizing Interactive Work Environments at Scale [79.11567848319275]
ワークエージェントは、ツールやファイル間の依存関係をナビゲートし、ユーザ要求の変更や共有ワークスペースへの編集に適応する。
Cowork-Gymは、ビルド・実行・修正ループを通じてCowork環境を合成するフレームワークです。
現実的なコワークダイナミクスをキャプチャするために、ステートフルユーザシミュレータは対話を通じてエージェントのアクションに応答し、共有ワークスペースに直接編集する。
論文 参考訳（メタデータ） (2026-10-13T03:56:58Z) - HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。
Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。
Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
論文 参考訳（メタデータ） (2026-09-01T15:45:33Z) - Dissecting model behavior through agent trajectories [15.811597127775812]
私たちはインテント・エグゼクティブのギャップを形式化し、モデルが意図するものと、ハーネスが実行しているものとのミスマッチと、その逆です。
このハーネスモデルアライメントの効果を説明するために,SSA(Simple Strands Agent)と呼ばれるシンプルでカスタマイズ可能なハーネスを開発した。
i) 一般的なエージェントベンチマークにおいて,多種多様なモデルプロジェクタファミリーが報告したpass@1のパフォーマンスを再現または改善し, (ii) SSAが生成した128k軌道の解析に基づいて構築する。
論文 参考訳（メタデータ） (2026-06-16T03:17:03Z) - From Question Answering to Task Completion: A Survey on Agent System and Harness Design [67.8241530947325]
本研究はモデルハーネスレンズを用いてLCMをベースとしたエージェントについて検討する。
まず, LLMをベースとしたエージェントを基礎モデルと実行ハーネスとして, エージェントの機能的定義と実装の視点を明らかにする。
次に、モデル中心のスケーリングの限界を分析し、エージェントエンジニアリングの4つのパラダイムをトレースし、実行ハーネスを6つの結合ランタイム責任に分解する。
論文 参考訳（メタデータ） (2026-06-14T05:40:16Z) - The FACTS Leaderboard: A Comprehensive Benchmark for Large Language Model Factuality [70.45240108873001]
FACTS Leaderboardは、実際に正確なテキストを生成する言語モデルの能力を総合的に評価するオンラインのリーダーボードスイートである。
このスイートは、4つの異なるサブリーダーボード上でのモデルのパフォーマンスを集約することで、事実性の総合的な尺度を提供する。
論文 参考訳（メタデータ） (2025-12-11T16:35:14Z) - One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。
一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。
これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
論文 参考訳（メタデータ） (2025-10-30T06:08:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。