論文の概要: Can an Agent Learn to Predict Its Own Failure? Outcome-Grounded Confidence Calibration in LLM Agents

• arxiv url: http://arxiv.org/abs/2610.18614v1
• Date: Tue, 13 Oct 2026 16:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.67191
• Title: Can an Agent Learn to Predict Its Own Failure? Outcome-Grounded Confidence Calibration in LLM Agents
• Title（参考訳）: エージェントは自身の失敗を予測することができるか? : LLMエージェントのアウトカムグラウンド信頼度校正
• Abstract要約: マルチステップエピソードの最終的な結果に対するエージェントの信頼度を調整する手法を提案する。 オフラインRLでは、エピソード結果に対するステップ信頼のAUROCは0.68-0.85に近づき、エージェントの上位10%は4.3倍の成功に最も自信を持つ。 ライブALFWorldエージェント上のオンラインRLでは、4つのキャリブレーション報酬がアーリーステップのAUROCを改善し、期待キャリブレーションエラーは0.42から0.12以下となり、未訓練エージェントとフォーマットのみのRLコントロールの両方に対して選択的実行が改善される。
• 参考スコア（独自算出の注目度）: 0.2538209532048867
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Controlling an acting LLM agent means deciding, at each step of a long-horizon task, whether to trust its next action, abstain, or hand off to a human. That decision needs a per-step confidence signal predicting whether the current rollout will eventually succeed. The agent's own self-reported verbalized confidence is the natural candidate, but existing reinforcement learning methods calibrate it against the correctness of a decision at the current step. We propose a method to calibrate it against the eventual outcome of a multi-step episode: under GRPO, the group of rollouts for a task supplies success labels, and a proper scoring rule scores each step's confidence against the realized outcome. In offline RL on recorded trajectories of a Qwen2.5-7B agent in ALFWorld, TextWorld, and WebShop environments, the AUROC of step confidence against episode outcome rises from near chance to 0.68-0.85, and the top-10% of steps the agent is most confident about succeed ~4.3x more often than average. In online RL on the live ALFWorld agent, four calibration rewards improve early-step AUROC, expected calibration error goes from 0.42 to below 0.12, and selective execution improves over both the untrained agent and a format-only RL control, without degrading task success. We also introduce an evaluation protocol that separates episode depth, task difficulty, and attempt-level foresight, which shows where the gain lies: the trained agent recognizes from its first step which tasks it will fail, while telling a succeeding attempt from a failing one at the same task is harder, with some early-window signal emerging on TextWorld.
• Abstract（参考訳）: 行動 LLM エージェントの制御とは、長期タスクの各ステップにおいて、次のアクションを信頼するか、棄権するか、あるいは人間に手渡すかを判断することである。 この決定には、現在の展開が最終的に成功するかどうかを予測するステップ毎の信頼信号が必要である。 エージェント自身の自己申告された言語的信頼は、自然な候補であるが、既存の強化学習手法は、現在のステップにおける決定の正しさに対して、それを校正する。 GRPOでは、タスクのロールアウトが成功ラベルを供給し、適切なスコアリングルールが各ステップの信頼度を実際の結果に対してスコア付けする。 ALFWorld、TextWorld、WebShop環境において記録されたQwen2.5-7Bエージェントの軌道上のオフラインRLでは、エピソード結果に対するステップ信頼度は0.68-0.85に上昇し、エージェントが成功に対して最も自信を持つステップのトップ10%は平均より4.3倍高い頻度で上昇する。 ライブのALFWorldエージェント上のオンラインRLでは、4つのキャリブレーション報酬がアーリーステップのAUROCを改善し、期待キャリブレーションエラーは0.42から0.12以下となり、未学習エージェントとフォーマットのみのRL制御の両方に対して選択的な実行が改善される。 トレーニングされたエージェントは、どのタスクがフェールするかを最初のステップから認識し、同じタスクでフェールしたタスクを次のステップで実行しようとすることは困難であり、TextWorldに初期のウィンドウ信号が現れる。

関連論文リスト

• Confidence Reasoning Graphs: Structured Confidence Estimation for LLM Agents [17.24988687989227]
  エージェントの軌道の不均一なステップに成功に関する証拠が分散しているため、エージェントの信頼度推定は困難である。 本稿では,エージェントが単一軌道からタスクを遂行する確率を推定する推論時フレームワークであるCRG(Confidence Reasoning Graphs)を紹介する。 CRGは、言語化、サンプリングベース、ホワイトボックスのサロゲートベースラインよりも、より良いキャリブレーションの信頼とリスク認識の意思決定をもたらす。
  論文  参考訳（メタデータ） (2026-10-06T08:22:14Z)
• Proxy Confidence: Auditing Black-Box LLM Agents with a Surrogate's Log-Probabilities [2.332848751256598]
  デプロイされたエージェントは、ツールコール、クエリ、およびサイレントに間違っている可能性のあるコードを出力する。 低コストのオープンウェイトサロゲートを並列に動作させることにより,損失信号の回収を行う。 エージェントと同じコンテキスト、スキーマ、提案されたアクションを読み取って、自身のログ確率からコールをスコアする。
  論文  参考訳（メタデータ） (2026-10-02T18:09:00Z)
• Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents [7.774009529494805]
  LLMエージェントは、各アクションが後続の判断条件の状態を変更し、1つの間違ったステップが相互作用予算を無駄にしたり、最終失敗が観測されるずっと前に不可逆的な副作用を引き起こす可能性がある外部環境において作用する。 LLM批判者が過去の判断と観察結果から証拠を蓄積する自己進化的批判フレームワーク(methodshort)を導入する。
  論文  参考訳（メタデータ） (2026-07-14T06:17:09Z)
• Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents [80.03824805228719]
  コンピュータ利用エージェントを開発する上での大きな課題は、大規模で高品質な軌道を収集することである。 我々は、失敗した軌道をエージェント改善に変換するデータ中心のパラダイムを提案する。 この手法をOSWorldベンチマーク上で,最先端のOpenCUA-72Bモデルを用いて検証する。
  論文  参考訳（メタデータ） (2026-06-30T07:44:37Z)
• AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems [30.172832661173928]
  LLMベースのマルチエージェントシステムは、長距離タスクにますますデプロイされている。 単一の決定的なエラーは、しばしば下流のエージェントやカスケードによって軌道レベルの障害として受け入れられる。 我々は,この問題をオンライン監査として再編成するフレームワークであるAgentForesightを紹介した。
  論文  参考訳（メタデータ） (2026-05-09T05:55:19Z)
• Verified Critical Step Optimization for LLM Agents [67.05296684575445]
  クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。 メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。 GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
  論文  参考訳（メタデータ） (2026-02-03T11:41:02Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)
• Can Agents Run Relay Race with Strangers? Generalization of RL to Out-of-Distribution Trajectories [88.08381083207449]
  異種エージェントの制御可能な状態に対する一般化失敗の有病率を示す。 本稿では,学習中のQ関数に従って環境をエージェントの旧状態にリセットする,STA(Self-Trajectory Augmentation)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-26T10:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。