論文の概要: Structural Baselines Matter for Agent Failure Detection and Attribution

• arxiv url: http://arxiv.org/abs/2610.16661v1
• Date: Mon, 12 Oct 2026 12:13:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.36986
• Title: Structural Baselines Matter for Agent Failure Detection and Attribution
• Title（参考訳）: エージェント故障検出・帰属のための構造ベースライン事項
• Abstract要約: 2種類のモニターがこれに対処し、1つは実行が失敗したかどうかを判断し、もう1つは障害が避けられないステップを命名した。 常に最後のステップを名付けているルールは、実行を全く読まないまま、ここで67%$から96%$に修正されている。 検出のために、エージェントの内部状態は、エージェントベンチマークで書き起こしの長さとテキスト類似性を破り、テキストベースラインがそうでない場所で保持する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An LLM agent using tools can fail silently. It stops before the task is done, raises no error, and answers fluently. Two kinds of monitor address this, one deciding whether a run failed and the other naming the step where failure became unavoidable. Much of the reported performance on both tasks comes from regularities that need no model. Failing runs are longer, and the step labelled decisive is usually the last. A rule that always names the last step is correct $67\%$ to $96\%$ of the time here, without reading the run at all. That ceiling reflects how the labels were written, not how agents break. On failures whose decisive step replay can confirm, it falls to near chance. Reporting gain over that rule therefore changes what a score means. Under that correction, methods tested here gain nothing on give-up failures, while several published systems keep a clear advantage on other splits. For detection, the agent's internal states beat transcript length and text similarity on the agent benchmark, and hold up where the text baseline does not. Precision stays low when failures are rare, so such a monitor should rank runs for review, not replace it.
• Abstract（参考訳）: ツールを用いたLDMエージェントは、静かに失敗することがある。 タスクが完了する前に停止し、エラーを起こさず、流動的に答えます。 2種類のモニターがこれに対処し、1つは実行が失敗したかどうかを判断し、もう1つは障害が避けられないステップを命名した。 両方のタスクで報告されたパフォーマンスの多くは、モデルを必要としない正規性から来ています。 失敗走は長く、ラベル付けされた決定的なステップは、通常、最後である。 常に最後のステップを名付けるルールは、実行を全く読まずに、ここでは6,7\%$から9,6\%$に修正される。 この天井は、ラベルの書き方を反映している。 決定的なステップのリプレイが確実な障害の場合、それはほぼ偶然に失敗する。 したがって、そのルールの利得はスコアの意味を変える。 この修正の下で、ここでテストされたメソッドは、ギプスアップの失敗には何の役にも立たないが、いくつかの発行されたシステムは、他の分割に対して明確な優位性を持っている。 検出のために、エージェントの内部状態は、エージェントベンチマークで書き起こしの長さとテキスト類似性を破り、テキストベースラインがそうでない場所で保持する。 失敗が稀な場合、精度は低いままなので、そのようなモニターはレビューのためにランク付けし、置き換えるべきではない。

関連論文リスト

• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• Loud Failures, Quiet Failures: Fault Detection and Recovery in Tool-Using Language Model Agents [0.0]
  我々は、ツールが明示的なエラーを返す場合の91.3%の試験において、エージェントが障害を問題として扱うことを示したが、その58.8%の試験では、それが妥当な間違った値を返す。 兄弟姉妹に対してペアを組むと(-9.3点、p .001)、変更計画がさらに(+10.4点、p .001)、回復は変化しない(p =.512)。 障害後、エージェントは同じツールに最大22.2%の試験で3回以上連続して戻るが、正確に同じ繰り返しはまれである。
  論文  参考訳（メタデータ） (2026-10-07T13:29:59Z)
• TimeEvo: Failure-Driven Self-Evolution of a Time Series Agent [58.343983191487276]
  時系列エージェントは、外部ツールを呼び出すことで分析的な質問に答える。 Human-Agent Tool Misalignment: 21のエキスパートキュレートされたツールのライブラリは、いくつかのタスクを支援し、他の人を傷つけます。 TimeEvoは、エージェントの診断された障害を能力ギャップに集約し、それぞれの測定を計画し、ペアの入場ゲートを通してのみ候補ライブラリを許可する。
  論文  参考訳（メタデータ） (2026-09-23T03:08:12Z)
• Locating Hidden Failures Makes Long-Horizon Agents More Reliable [43.9204372121053]
  ソフトウェア工学、コンピュータ・ユース、科学にまたがるエージェント・トラジェクトリを2518ドルで研究している。 6967ドルのミスを78ドルの失敗タイプに分類します。 ロングホライゾンエージェントは、通過する結果に向かう途中で本当の害を与えることができる。
  論文  参考訳（メタデータ） (2026-09-15T23:40:42Z)
• Feedback That Backfires: Why Small Language Model Agents Repeat the Call They Just Watched Fail [0.0]
  障害レコードの修正的なゲインを、失敗するアクションを再発光するログ確率の変化として定義すると、そのゲインは、命令チューニングされたモデル毎に負であることが分かります。 問題は、モデルのエラーメッセージの把握ではなく、ハーネスにある。
  論文  参考訳（メタデータ） (2026-08-24T10:19:17Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Early Diagnosis of Wasted Computation in Multi-Agent LLM Systems via Failure-Aware Observability [8.036549927091286]
  本稿では,マルチエージェントLSMトレースにおける無駄な計算を診断するための,故障を考慮した可観測性フレームワークを提案する。 このフレームワークを3エージェントの質問応答システムでインスタンス化し、165のGAIA検証トレース上で同一の実行上限で評価する。
  論文  参考訳（メタデータ） (2026-05-31T17:50:11Z)
• Can Agent Benchmarks Support Their Scores? Evidence-Supported Bounds for Interactive-Agent Evaluation [8.049844623361725]
  インタラクティブエージェントベンチマークは、結果チェックを通じてエージェントの実行をバイナリ結果にマッピングする。 これらのチェックは、表面レベル信号に依存するか、エージェントの実際のアクションパスをキャプチャできない。 既存のベンチマークに対して、結果エビデンスレポート層を導入します。
  論文  参考訳（メタデータ） (2026-05-11T12:20:15Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。