論文の概要: My FAULT: Self-Diagnosis as Credit Assignment in Self-Evolving Agentic Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.01161v1
- Date: Thu, 01 Oct 2026 06:41:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.935795
- Title: My FAULT: Self-Diagnosis as Credit Assignment in Self-Evolving Agentic Reinforcement Learning
- Title（参考訳）: 私のFAULT:自己進化型エージェント強化学習におけるクレジットアサインメントとしての自己診断
- Abstract要約: 自己言語誘導型ターミナルクレジット再分配は、診断されたエラーを端末結果に固定された明示的なステップレベルクレジットに変換する。
ALFWorldでは、FAULTが同一アウトカムグループからの学習信号を回復し、95%の信号カバレッジがGRPOでは41%、GiGPOでは72%に達した。
- 参考スコア（独自算出の注目度）: 28.461751497879202
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic reinforcement learning (RL) has emerged as a powerful approach for training large language model agents on multi-step tasks, yet reliance on terminal outcome rewards creates two credit-assignment problems, particularly in long-horizon tasks. First, same-outcome rollout groups provide no learning signal from terminal rewards. Second, terminal rewards provide only trajectory-wide feedback, making it difficult to identify which decisions caused a failure. Recent work supplements terminal rewards with finer-grained information from trajectory analysis, such as natural-language reflections on intermediate decisions and errors. However, natural-language diagnoses are difficult to use directly for credit assignment: their error claims may be unreliable, and they do not quantify how much each error should affect learning. We propose Self-Diagnosis-guided Terminal Credit Redistribution (FAULT), which turns diagnosed errors into explicit step-level credit anchored by terminal outcomes. FAULT checks diagnostic evidence and learns relative error costs from task outcomes. During training, the policy and self-diagnoser co-evolve, while error costs are updated online from recent outcomes. On ALFWorld, FAULT recovers learning signals from same-outcome groups, reaching 95% signal coverage versus 41% for GRPO and 72% for GiGPO, while better localizing credit to specific error steps. Across two model scales, FAULT delivers strong. improvements on the long-horizon ALFWorld and WebShop tasks while remaining competitive on short-horizon Search-based QA.
- Abstract（参考訳）: エージェント強化学習(RL)は,多段階タスクにおいて大規模言語モデルエージェントを訓練するための強力なアプローチとして登場したが,終末結果の報酬に依存すると,特に長期タスクにおいて2つのクレジット割り当て問題が発生する。
第一に、同じアウトカムのロールアウトグループは、終末報酬からの学習信号を提供しない。
第2に、終末報酬は軌道全体のフィードバックのみを提供するため、どの決定が失敗を引き起こしたかを特定するのが難しくなる。
最近の研究は、中間決定や誤りに関する自然言語のリフレクションなど、軌道解析からよりきめ細かい情報で終末報酬を補う。
しかし、自然言語診断は信用代入のために直接使うのが難しい:彼らの誤り主張は信頼できないかもしれないし、各エラーが学習にどの程度影響するかを定量化していない。
本稿では,自己診断誘導型端末クレジット再分配(FAULT)を提案する。
FAULTは診断証拠をチェックし、タスクの結果から相対的なエラーコストを学習する。
トレーニング中、ポリシーと自己診断は共同開発され、エラーコストは最近の結果からオンラインで更新される。
ALFWorldでは、FAULTが同一アウトカムグループからの学習信号を回復し、95%の信号カバレッジがGRPOでは41%、GiGPOでは72%に到達し、特定のエラーステップに対するクレジットのローカライズが向上した。
2つのモデルスケールで、FAULTは強く提供します。
ロングホライゾンのALFWorldとWebShopタスクの改善。
関連論文リスト
- Dependency-Aware Reward Shaping for Agentic Reinforcement Learning [26.503729765833654]
DARS(Dependency-Aware Reward Shaping)は、前提条件関係に関連付けられた述語としてタスク進捗を表す。
各ステップを述語するアノテーションマークは、検証、無効化、または修復を行う。
DARSは、同じ予算とハーネスで訓練されたGiGPOよりも最大10ポイントの成功を改善する。
論文 参考訳（メタデータ） (2026-10-01T07:16:28Z) - PRICE the Action Chunks: Physical Relational Credit Assignment for Embodied Reinforcement Learning [13.723588585738831]
アウトカムベースの強化学習は、すべてのアクションチャンクに同じ軌道レベルの利点を割り当てる。
軌道上の物理的関係は、具体化されたRLにおいてアクション・チャンク・クレジットを提供することができる。
LIBERO、RoboTwin 2.0、および実際のロボットの実験では、結果ベースラインよりもタスクの成功が向上した。
論文 参考訳（メタデータ） (2026-09-30T03:37:31Z) - DCFA: Dual-view Causal-inspired Attribution for Failure Reasoning in LLM-based Multi-agent Systems [61.11435469308521]
大規模言語モデルシステムにおける障害帰属のためのトレーニング不要フレームワークDCFAを提案する。
DCFAは、システムトレースから構造化因果インスパイアされた依存性グラフを構築するグローバルモジュールを統合する。
実験の結果、DCFAは最先端のベースラインよりもステップレベルの精度を最大8.27%向上することが示された。
論文 参考訳（メタデータ） (2026-09-04T05:29:31Z) - FailForge: Distilling Procedural Competence from Persistent Failures into Code Agents [49.519184792774304]
FailForgeは、失敗したロールアウトをトレーニングシグナルに変換するエージェントフレームワークである。
FailForgeは、これまで失敗したインスタンスの26%を、限界的な追加コストでリカバリする。
論文 参考訳（メタデータ） (2026-08-09T08:22:57Z) - AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。
ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
論文 参考訳（メタデータ） (2026-08-06T13:00:59Z) - TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。
ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。
純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
論文 参考訳（メタデータ） (2026-07-15T16:16:42Z) - FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search [11.638321375070047]
LLMエージェントトラジェクトリにおける障害帰属の診断フレームワークであるFALATを提案する。
我々は、アルゴリズム生成と手作りのマルチエージェント障害軌跡を含むWho&WhenベンチマークでFALATを評価する。
論文 参考訳（メタデータ） (2026-05-30T15:11:35Z) - What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。
既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。
環境重み付け学習フレームワークであるSERLを紹介する。
論文 参考訳（メタデータ） (2026-05-19T07:00:55Z) - R$^3$L: Reflect-then-Retry Reinforcement Learning with Language-Guided Exploration, Pivotal Credit, and Positive Amplification [44.99719889905381]
強化学習は推論とエージェント能力の最近の進歩を促進するが、現在のアプローチは探索と搾取の両方で苦労している。
本稿では,R$3$L,Reflection-then-Retry Reinforcement Learning with Language-Guided Exploration,Pivotal Credit,Positive Amplificationを提案する。
エージェントおよび推論タスクの実験は、トレーニング安定性を維持しながら、ベースラインよりも5%から52%改善したことを示している。
論文 参考訳（メタデータ） (2026-01-07T09:04:52Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - Discovering Knowledge Deficiencies of Language Models on Massive Knowledge Base [30.705524808195268]
大きな言語モデル(LLM)は印象的な言語能力を持っているが、しばしば事実の知識を忠実に保持することができない。
本稿では,LLMにおける知識不足(エラー)を発見するための,スケーラブルで効率的なフレームワークであるSEAを提案する。
SEAは自動能力発見の40.7倍、AutoBencherの26.7%以上の知識エラーを明らかにしている。
論文 参考訳（メタデータ） (2025-03-30T08:33:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。