論文の概要: Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures
- arxiv url: http://arxiv.org/abs/2607.28802v1
- Date: Thu, 30 Jul 2026 19:55:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.473561
- Title: Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures
- Title（参考訳）: モデルかハーネスか : エージェント障害の局在化のための相互作用中心分類法
- Authors: Harsh Raj, Vipul Gupta, Anas Mahmoud, Razvan-Gabriel Dumitru, Darvin Yi, Aakash Sabharwal, Yunzhong He,
- Abstract要約: 既存の評価は、エージェントの障害をシステムレベルの結果に還元し、どの障害がどこから発生し、どの介入がエージェントシステムを改善するのかを無視する。
同じ可視的障害は、トレーニング後のモデル、ハーネスエンジニアリング、環境再設計、あるいはそのソースによるベンチマーク修復を要求する可能性がある。
ほとんどの失敗は、ベンチマークに特有で共有構造がないため、この問題を解決するのにほとんど役立ちません。
そこで本研究では,障害を発生源とする相互作用に局所化し,責任成分を同定する相互作用中心の分類法を提案する。
- 参考スコア（独自算出の注目度）: 5.14587904921075
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing evaluations often reduce agent failures to system-level outcomes, obscuring where the fault originated and which intervention would improve the agent system. This creates a repair-assignment problem: the same visible failure may call for model post-training, harness engineering, environment redesign, or benchmark repair depending on its source. Because agent behavior emerges from interactions among models, harnesses, users, tools, memory, and environments, outcome-level labels are often insufficient for improvement. Most failure taxonomies do little to resolve this problem because they are benchmark-specific and lack a shared structure. We introduce an interaction-centric taxonomy that localizes failures to the interactions in which they originate and identifies the responsible component. It organizes 41 failure modes by assigning each to an edge between two components and a fault side indicating where the repair belongs. This makes the taxonomy actionable: model-side failures identify targets for post-training, harness-side failures point to scaffolding and tool-integration fixes, and environment or grader failures reveal evaluation conditions requiring redesign. The schema applies across agent architectures, from coding assistants to long-horizon personal assistants and multi-agent systems. We ground the taxonomy in worked examples from public benchmarks, model system cards, published reports, and logged agent trajectories, and evaluate its reproducibility using independent reasoning agents as judges. Across four frontier models, the strongest judge reaches Cohen's $κ=0.76$ against human category labels, suggesting that the categories capture shared structure rather than annotator-specific preferences.
- Abstract（参考訳）: 既存の評価は、エージェントの障害をシステムレベルの結果に還元し、どの障害がどこから発生し、どの介入がエージェントシステムを改善するのかを無視する。
同じ可視的障害は、トレーニング後のモデル、ハーネスエンジニアリング、環境再設計、あるいはそのソースによるベンチマーク修復を要求する可能性がある。
エージェントの振る舞いはモデル、ハーネス、ユーザ、ツール、メモリ、環境間の相互作用から生じるため、結果レベルのラベルは改善には不十分であることが多い。
ほとんどの失敗分類体系は、ベンチマークに特有で共有構造がないため、この問題を解決するのにほとんど役立ちません。
そこで本研究では,障害を発生源とする相互作用に局所化し,責任成分を同定する相互作用中心の分類法を提案する。
2つのコンポーネント間のエッジと、修理がどこにあるかを示す障害側とにそれぞれを割り当てることにより、41の障害モードを編成する。
モデルサイドの失敗は、トレーニング後のターゲットを特定し、ハーネス側の失敗は、足場やツール統合の修正を指し、環境やグレーダの失敗は再設計を必要とする評価条件を明らかにします。
このスキーマは、コーディングアシスタントから長距離パーソナルアシスタントやマルチエージェントシステムまで、エージェントアーキテクチャにまたがって適用される。
我々は,公的なベンチマーク,モデルシステムカード,公開報告,ログ化されたエージェントトラジェクトリから分類例を抽出し,独立した推論エージェントを審査員として再現性を評価する。
4つのフロンティアモデル全体で、最強判事はコーエンの$κ=0.76$に到達し、アノテータ固有の選好よりも共有構造を捉えていることを示唆している。
関連論文リスト
- Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - A Topology-Aware, Memory-Centric Architecture that Separates Root-Cause Derivation from Root-Cause Explanation [0.0]
自律的な操作において欠落する要素は、より良い異常検出やより大きな言語モデルではなく、運用メモリである、と我々は主張する。
OPS C ORTEXは、動作中のマルチエージェントプロトタイプで、このメモリを4層に整理し、フィールドが通常混在している2つのタスクを分離する。
論文 参考訳（メタデータ） (2026-06-18T09:20:20Z) - ClayBuddy: A Framework, Evaluation, & Mitigation of Coding Agent Failures [1.0742675209112622]
障害モードは、不特定性、能力エラー、エージェントハーネスエラーの3つのメカニズムから派生したものとして研究する。
我々はClayBuddyを提案する。ClayBuddyはユーザの好みを形作るハーネスで、モデルのインセッションで修正してこれらのエラーを軽減できる。
論文 参考訳（メタデータ） (2026-06-13T18:29:53Z) - AgentAtlas: Beyond Outcome Leaderboards for LLM Agents [0.025718125188898048]
AgentAtlasは、診断語彙および監査プロトコルとしてのエージェント評価を再設定する。
i)6状態制御-決定分類(Act / Ask / Refuse / Stop / Confirm / Recover)、(ii)一次誤差源と下流衝撃を持つ軌道障害語彙、(iv)8つのモデルで評価された合成1,342-itemに関する実証的プロトコル研究。
論文 参考訳（メタデータ） (2026-05-19T22:05:12Z) - VerifyMAS: Hypothesis Verification for Failure Attribution in LLM Multi-Agent Systems [79.51005192758262]
大規模言語モデル駆動型マルチエージェントシステムは複雑なタスクで優れている。
しかし、信頼性の低いエージェントは、システムレベルの信頼性にとって重要なボトルネックである。
本稿では,エージェント故障の帰属に関する仮説検証フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-17T14:09:35Z) - How to Interpret Agent Behavior [56.59836196946289]
本稿では,エージェントの動作を実行時に記述・解析するための分類法であるACT*ONOMYを紹介する。
共用語彙を提供することで、ACT*ONOMYは研究者、エージェントデザイナー、エンドユーザーがエージェントの振る舞いをより一貫して解釈するのに役立つ。
論文 参考訳（メタデータ） (2026-05-13T14:52:40Z) - Coordination as an Architectural Layer for LLM-Based Multi-Agent Systems [0.0]
マルチエージェントLLMシステムは41%から87%の速度で生産に失敗する。
コーディネーションは、エージェントロジックと情報アクセスから分離可能なアーキテクチャ層として扱われるべきである、と我々は主張する。
我々はこれを予測市場における情報制御設計でインスタンス化する。
論文 参考訳（メタデータ） (2026-05-05T02:56:44Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。
本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。
標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
論文 参考訳（メタデータ） (2026-01-21T15:22:21Z) - Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。
我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
論文 参考訳（メタデータ） (2025-10-16T05:35:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。