論文の概要: Same Winners, Different Success Rates: Evaluating How LLM Agents Recover from Failures

• arxiv url: http://arxiv.org/abs/2609.34215v1
• Date: Mon, 28 Sep 2026 03:22:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:55:16.795668
• Title: Same Winners, Different Success Rates: Evaluating How LLM Agents Recover from Failures
• Title（参考訳）: 成功率と成功率の差 - LLMエージェントが障害からどのように回復するかを評価する
• Abstract要約: 既存のチェックポイントベースのベンチマークは、独立した実行毎にどのアクションがベストに選択されているかを比較することで、リカバリを測定する。 すべてのアクションが失敗すると、報酬がゼロとなり、独立ランニングは高い確率で同じ結びついた集合を生成する。 等コストベルヌーイ作用に対して、成功確率は各サンプルサイズで同一のベストアクションセット分布が得られることを証明した。
• 参考スコア（独自算出の注目度）: 16.745093090677475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating how LLM agents recover from mid-task failures is central to deploying reliable agentic systems. Existing checkpoint-based benchmarks measure recovery by comparing which action is selected as best across independent runs, a quantity known as set agreement. However, set agreement is a purely ordinal measure that records which action wins without reflecting the absolute level of performance. When all actions fail, they tie at zero reward, and independent runs produce the same tied set with high probability, creating an illusion of stability that masks near-zero recovery success. We formalize this limitation through a set-path symmetry result, proving that for equal-cost Bernoulli actions the success probabilities (0.9, 0.8) and (0.2, 0.1) yield identical best-action-set distributions at every sample size. No procedure based solely on which action wins can distinguish these two regimes. We further prove that certifying exact population ties is impossible in finite time, and that the assignment of outcomes to checkpoints carries information beyond marginal outcome distributions. The pooled success probability is the missing scalar that resolves the ordinal ambiguity. Experiments on 864 frozen RecoveryBench episodes and two planning cohorts totaling 3,456 responses confirm the theoretical predictions. Agreement and held-out quality can move in opposite directions, and permuting checkpoint-to-action bindings changes 8 to 13 percent of cell-level conclusions. Based on these findings, we propose reporting four diagnostic quantities (agreement, all-zero fraction, held-out success, and pooled success) that expose this failure mode with no additional data collection.
• Abstract（参考訳）: LLMエージェントがタスク中の障害からどのように回復するかを評価することは、信頼できるエージェントシステムのデプロイの中心である。 既存のチェックポイントベースのベンチマークは、どのアクションが独立した実行でベストに選択されているかを比較することで、リカバリを測定する。 しかし、セット合意は、絶対的なパフォーマンスのレベルを反映することなく、どのアクションが勝つかを記録する純粋に規則的な尺度である。 全ての動作が失敗すると、報酬はゼロとなり、独立ランは高い確率で同じ結びついたセットを生成し、ほぼゼロの回復の成功を隠蔽する安定性の錯覚を生み出す。 我々は、この制限をセットパス対称性の結果を通じて形式化し、等コストベルヌーイ作用に対して、成功確率 (0.9, 0.8) と (0.2, 0.1) が、各サンプルサイズで同一のベストアクションセット分布を生成することを証明した。 どの行動が勝つかのみに基づく手続きは、これらの2つの体制を区別できない。 さらに、正確な集団関係の証明が有限時間で不可能であること、およびチェックポイントに対する結果の割り当てが、限界的な結果分布を超えた情報をもたらすことを証明している。 プールされた成功確率は、順序の曖昧さを解消する欠落したスカラーである。 864回のフリーズ・リカバリベンチのエピソードと2回の計画コホートの実験では、合計3,456の回答が理論的予測を裏付けている。 コンセンサスとホールドアウトの品質は反対方向に動くことができ、チェックポイントとアクションの結合がセルレベルの結論の8～13%に変化する。 これらの結果に基づき, 追加データ収集を伴わずにこの障害モードを公開する4つの診断量(アグリメント, 全ゼロ分数, ホールドアウト成功, プールド成功)を報告する。

関連論文リスト

• Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute [0.4310167974376404]
  オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。 我々は,実行前の基準下での両使用量を評価した。 検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
  論文  参考訳（メタデータ） (2026-09-17T09:17:00Z)
• Beyond Single-Axis Testing: Paired Evaluation of Compound Robustness in Vision-Language-Action Policies [4.55011976634859]
  単軸評価から複合ロバスト性を推定できるかどうかを問う。 LIBERO-CTRLは6軸ベンチマークで、各初期状態を1軸条件でペアリングする。 1つのトランジションは複合的な成功を減少させ、もう1つのトランジションはそれを増大させるため、それらはキャンセルすることができ、集合的なパフォーマンスは単軸測定と一致しているように見える。
  論文  参考訳（メタデータ） (2026-09-14T17:44:54Z)
• Confident at the moment of action: belief miscalibration in LLM play under hidden information [0.0]
  エージェントシステムは、モデル自身の主張する信頼に対するアクションをますますゲートし、信頼は行動の瞬間の正確性を追跡すると仮定する。 我々はこれを秘密裏に、王族の地位を秘密裏に、断片間で繰り返し移動できる秘密情報チェス変種でテストする。 このパターンを示すモデルは、その信念が持つゲームにまだ勝てる可能性があるため、結果のみの評価がそれを検出できない。
  論文  参考訳（メタデータ） (2026-08-25T15:18:18Z)
• Credit Without Ground Truth: Auditing Step-Level Credit Assignment in LLM Agents Against Executed Replay [0.6768558752130311]
  単一エージェント環境において,実行されたリプレイからポリシー条件の真偽を検査する。 段階的な信用シグナルは、限界整合シャッフル制御以上の信頼度の高いインクリメンタル忠実度を示すものではない。 信頼のみのルータは、チャンスレベルにおいて重要なステップを回復するが、1ターンあたりの審査コストを13.1%削減する。
  論文  参考訳（メタデータ） (2026-08-20T08:04:00Z)
• Semantic Consistency Policy Optimization for Reinforcement Learning of LLM Agents [45.62262776712415]
  グループベース強化学習は、軌道上の結果からステップレベルクレジットを導出することにより、長期的・疎逆的タスクの訓練後エージェントを効果的に活用する。 この矛盾は、競合する勾配を同様のアクションに送信し、失敗するロールアウト内の部分的に正しい進捗を無駄にする。 本稿では,この矛盾を緩和する価値のない報酬形成手法であるセマンティック一貫性ポリシー最適化(SCPO)を提案する。 SCPOは、失敗した各ステップを、成功した兄弟姉妹に対してスコアし、その兄弟姉妹に沿った新しい進歩に対してプラスのステップレベルクレジットを追加する。
  論文  参考訳（メタデータ） (2026-06-24T14:02:13Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Beyond Mode Collapse: Distribution Matching for Diverse Reasoning [69.88237286885065]
  GRPOのようなオンライン強化学習手法はモード崩壊に悩まされる。 このことは、逆KL最小化のモード探索行動に由来することを示す。 KL最小化の原理的近似によりモード崩壊を防止するDMPOを提案する。
  論文  参考訳（メタデータ） (2026-05-19T07:13:00Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Auditing Fairness under Unobserved Confounding [56.61738581796362]
  意外なことに、リスクの高い人に対する治療率の有意義な限界を計算できることが示されています。 現実の多くの環境では、リスクの偏りのない見積を導き出すために、アロケーションの前にデータを持っているという事実を使用します。
  論文  参考訳（メタデータ） (2024-03-18T21:09:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。