論文の概要: Attributing Agent Failures to Their History Needs an Executed Counterfactual: Toward a Reporting Standard
- arxiv url: http://arxiv.org/abs/2611.05650v1
- Date: Tue, 03 Nov 2026 21:33:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.854947
- Title: Attributing Agent Failures to Their History Needs an Executed Counterfactual: Toward a Reporting Standard
- Title（参考訳）: エージェントの履歴への帰属は、エクスカレートされたカウンターファクチャリティーを必要とする:報告基準に向けて
- Abstract要約: 我々は、エージェントの行動にその歴史に寄与する主張は、例えば、または検証された推定器を介して介入検証された証拠を運ぶべきであると論じる。
名前のついた4つの操作クラスには前例があり、いくつかのメソッドはすでにチェックポイント、再実行されたプレフィックス、記録された会話状態からの介入を実行しています。
基準を適用しない2つの注意的測定は以下の通りである:「集中」がベンチマーク構築から切り離せないキャリア分類。
- 参考スコア（独自算出の注目度）: 4.008486665405814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Published explanations of why long-horizon agents fail are commonly taxonomies labeled over completed trajectories: a judge reads a transcript and names the failure. We argue that a claim attributing an agent's behavior to its history should carry intervention-verified evidence, per instance or via a validated estimator: freeze an executable mid-trajectory state, alter only the history the agent sees, and continue - executed rather than inferred from the transcript, at a state whose restoration has been measured, with a replay certificate matched to the estimand. Each of the four manipulation classes we name has a precedent, and several methods already execute interventions from checkpoints, re-executed prefixes or recorded conversation states (for example DoVer, REFLECT, Min et al., Who&When Pro, Causal Agent Replay), but none reports a measured replay certificate. Two cautionary measurements, neither applying the standard, follow: a carrier taxonomy whose "concentration" could not be separated from benchmark construction (adjusted odds ratio 1.15, interval crossing 1), and hash-identical snapshots that, restored into identically seeded processes, agreed with one another in 24 of 24 states while differing from the live continuation in 9 and 20 of 24. Restoring the captured position of a random stream made all 24 agree with the live run.
- Abstract（参考訳）: ロングホライゾンのエージェントが失敗した理由を公表された説明は、一般に、完了した軌跡の上にラベル付けされた分類学である。
我々は,エージェントの行動に起因する主張は,例えば,あるいは検証された推定器を介して,介入検証された証拠を提出すべきであると主張する: 実行可能中軌道状態の凍結,エージェントが記録から推測されるのではなく,そのエージェントが見た履歴の変更,継続する - 復元が測定された状態において,その推定値と一致するリプレイ証明書を用いて。
例えば、DoVer、REFLECT、Min et al 、 Who&When Pro、Causal Agent Replay などです。
基準を適用しない2つの注意尺度は、"集中"がベンチマーク構築から切り離せないキャリア分類(調整オッズ比1.15、インターバルクロス1)と、同一のシードプロセスに復元されたハッシュIDスナップショットが24州24州20州24州24州で一致し、ライブ継続とは24州20州20州で異なる。
捕獲されたストリームの位置を復元することで、24人全員がライブランに同意した。
関連論文リスト
- Soei: Structured Observability of Evidence and Intent for Multi-Agent AI Software Engineering [0.0]
開発者がその仕事に戻るとき、便利な質問はモデルが何と言ったのかではなく、実際に何をしたのか、誰がそれを完了したのかである。
我々は、エージェントをコーディングするためのオープンソースのローカルオブザーバビリティツールであるAgentrailを、e4ba2daコミット時のソースに対して検証する。
私たちは45の実際のコーディングエージェントセッションでシステムのプロトタイプを実行しています。
論文 参考訳（メタデータ） (2026-10-29T06:40:12Z) - Knowing When to Stop: The Evidence-Action Gap in Coding Agents [76.92446812179517]
コーディングエージェントはタスクを完了させるために訓練され、環境が完了を不可能にしている場合でも試し続けます。
ImpasseBenchを導入し、12の環境ブロッカーを他の方法で解決可能な修理タスクに注入する。
外部に必要なほぼすべての実行が十分な証拠を集めているのに、3分の1は予算を使い果たしている。
論文 参考訳（メタデータ） (2026-10-22T20:45:47Z) - Cross-Provider Review as a Runtime Contract for Coding Agents: A Controlled Pilot and Fault-Injection Study [17.521700896129115]
コーディングエージェントは、個別のプロバイダとサブスクリプション料を引き合いにながら、ワークステーションを共有している。
第2のエージェントは、完了した回答を検査できるが、呼び出しは別のプールに費やし、実質的な発見を提供しない可能性がある。
異なるリソースプール、バウンダリ実行、制限されたレビュア機能、完全なインプット配信、使用可能なセマンティックアウトプット、明示的な障害状態、永続的なアタプティブエビデンスといった、アドバイザ間レビュー契約について説明する。
論文 参考訳（メタデータ） (2026-10-07T22:28:22Z) - Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳（メタデータ） (2026-10-07T17:37:19Z) - TwinCheck: Evidence-Grounded Negative-Twin Verification for Stateful Tool Agents [1.1279808969568255]
TwinCheckは、トレースがトレースローカル障害仮説に結びついている証拠条件を満たす場合にのみ、置換を検討するポリシーである。
ペア評価の場合、正確なリプレイはエージェントのパースされた応答とアクションを保持し、最初の置換が受け入れられるまで固定される。
論文 参考訳（メタデータ） (2026-09-22T18:09:40Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳（メタデータ） (2026-09-16T04:00:54Z) - When Agent Metrics Measure Different Things: An Evidence-Grounded Audit of the Praxa AI Pipeline [0.0]
本稿では,選択したPraxa AI実装ファイル,過去の評価アーティファクト,運用記録の振り返り評価を行う。
139ケースのオフラインルーティングレポートには、112回のパスと27回の障害が含まれている。
記録された99番目のパーセンタイルは2,147,483,647 msであり、サーバが保存したコールのうち38,118.31 msである。
論文 参考訳（メタデータ） (2026-09-10T07:55:12Z) - VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳（メタデータ） (2026-09-02T20:36:45Z) - Labels Are Not Endpoints: Treatment Leakage and Construct Validity in MCP Agent Security Evaluation [0.0]
10,200行の実行行を180のモデルバウンドリクエスト,45のセマンティックリクエスト,15の観測可能な刺激にトレースすることで,保存されたキャンペーンを監査する。
我々は、7リンクの積分チェインと、スコープ境界の終端積分linterをコントリビュートする。
論文 参考訳（メタデータ） (2026-08-13T06:44:40Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳（メタデータ） (2026-08-01T18:25:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。