論文の概要: Self-Credit: Credit Assignment for Long-Horizon Agentic RL via Intra-group Rescaling

• arxiv url: http://arxiv.org/abs/2610.28388v1
• Date: Tue, 20 Oct 2026 15:38:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.890339
• Title: Self-Credit: Credit Assignment for Long-Horizon Agentic RL via Intra-group Rescaling
• Title（参考訳）: グループ内再スケーリングによる長距離エージェントRLのクレジットアサインメント
• Abstract要約: Self-Creditは、疎結果報酬から密集した監視信号を生成する、エンドツーエンドのエージェントRL手法である。 Self-Creditは3つのコンポーネントを持つグループベースのRL上に構築される。 分析は、自己生成クレジットが重要な行動を選択するのに有用な信号を提供することを示している。
• 参考スコア（独自算出の注目度）: 37.402694331506325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents are commonly trained with RLVR, but the sparse nature of typical RLVR rewards makes credit assignment challenging, especially for long-horizon tasks. We propose Self-Credit, an end-to-end agentic RL method that creates dense supervision signals from sparse outcome rewards using self-generated credit assignment via intra-group rescaling. Self-Credit builds on group-based RL with three components. First, during its rollouts, the policy model generates summaries with citations to earlier turns containing critical evidence, which serve as self-generated credit. Second, we refine this model-generated credit with intra-group rescaling, which compares cited actions across successful and failed rollouts for the same prompt. This approach uses group-level agreement and disagreement to remove undeserved credit and further emphasize credit assigned to critical actions. Third, advantage reweighting uses the rescaled credit weights to update the advantages of the cited turns. On BrowseComp-Plus, Self-Credit improves over the base models by 37.0 and 36.2 points on Qwen3 8B and 32B respectively, and outperforms the strongest agentic RL baselines by 8.5 and 5.6 points, respectively. Self-Credit also improves over the strongest baselines by 4.9 points on GAIA and 4.7 points on xBench-DeepSearch. Analyses show that self-generated credit provides useful signals for selecting critical actions, and that intra-group rescaling, especially on failed rollouts, is important across model scales.
• Abstract（参考訳）: LLMエージェントは一般的にRLVRで訓練されるが、典型的なRLVR報酬のまばらな性質は、特に長距離タスクにおいてクレジット割り当てを困難にしている。 本稿では,グループ内再スケーリングによる自己生成型クレジット代入を用いたスパース結果報酬から密集した監視信号を生成する,エンドツーエンドのエージェントRL手法であるSelf-Creditを提案する。 Self-Creditは3つのコンポーネントを持つグループベースのRL上に構築される。 第一に、ポリシーモデルはロールアウトの間、自己生成クレジットとして機能する重要な証拠を含む以前のターンに引用された要約を生成する。 第二に、このモデル生成クレジットをグループ内再スケーリングで洗練し、同じプロンプトに対して成功したり失敗したりして、引用されたアクションを比較します。 このアプローチでは、グループレベルの合意と不一致を使用して、保存されていない信用を排除し、批判的な行動に割り当てられた信用をさらに強調する。 第三に、アドバンテージリウェイトは、リスケールされたクレジットウェイトを使用して、引用されたターンの利点を更新する。 BrowseComp-Plusでは、Self-CreditはQwen3 8Bと32Bでそれぞれ37.0点と36.2点の改善を行い、それぞれ最強のエージェントRLベースラインである8.5点と5.6点を上回っている。 Self-Creditは、GAIAでは4.9ポイント、xBench-DeepSearchでは4.7ポイント、最強のベースラインよりも改善されている。 分析によれば、自己生成クレジットは重要な行動を選択するのに有用な信号であり、特にロールアウトが失敗した場合、グループ内の再スケーリングはモデルスケールで重要である。

関連論文リスト

• Of Errors and Echoes: Responsibility-Aware Credit Assignment for Tool-Use Agents [55.222414159666016]
  Error-Chain-Aware Optimization (ECHO) は、責任を意識した信用割り当てフレームワークである。 ECHOは新しく導入されたエラー、継承された結果、誤り修正、そして成功した修正を区別する。 ECHOは、責任ある決定と自己引き起こしたエラーの修復に対する報酬の制約を1度に分けて、ダウンストリームの結果の共有をカウントする。
  論文  参考訳（メタデータ） (2026-10-12T00:52:30Z)
• SpikeCredit: Temporal Credit Carrier for Reinforcement Learning with Sparse Rewards [27.9064608581665]
  疎度な報酬を伴う強化学習(RL)は、中間計算が成功または失敗を引き起こしたかについてのガイダンスをほとんど提供しないため、難しい。 信頼度の高い信用割当には、時間とともに信用関連情報を保存・公開する政策ダイナミクスが必要であると我々は主張する。 スパース報酬を持つSNNベースのRLフレームワークであるSpikeCreditを提案する。
  論文  参考訳（メタデータ） (2026-09-28T14:25:07Z)
• Can We Trust the Teacher? Decoupled Credit Direction-Magnitude for Self-Distillation [14.630044097746152]
  我々は、理論的には信用方向と大きさを2つの信頼できる信号に分解する、textitDecoupled Credit Self-Distillation (DCSD)を導入する。 11のベンチマークで、DCSDはGRPO、OPSD、RSSD、RCCSDに対して最高のスコアを得る。
  論文  参考訳（メタデータ） (2026-09-28T10:43:13Z)
• PACT: From Credit Assignment to Critic Alignment [35.4873739114819]
  強化学習は、大規模言語モデル(LLM)の訓練後の中心的な構成要素となっているが、トークンレベルの信用は一般的に受け入れられた数学的定義を欠いている。 完全性、固定整合性、中立性の3つの規則性条件を定式化し、トークンレベルの信用を独自に決定することを証明する。 この特徴付けは、既存のアルゴリズムにまたがる現象を説明する統一的な基盤を提供し、改良されたアクター・クリティカル・トレーニング手順の開発を導く。
  論文  参考訳（メタデータ） (2026-09-22T12:58:28Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• MJ: Multi-turn LLM Jailbreaking via Decomposed Credit Assignment [7.3239173910002]
  マルチターンジェイルブレイク攻撃の学習における中核的な課題は、クレジットの割り当てである。 我々は,一貫したターンレベルのクレジット割り当てフレームワークであるCredit GRPOを提案する。 このフレームワークを静的および動的重み付けルールでインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-13T04:19:37Z)
• Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards [49.1203423784326]
  我々は、前述のKL分散をGRPO勾配の乗算重みとして用いるSC-GRPO(Self-Conditioned GRPO)を提案する。 数学、コード、エージェントタスクにまたがる5つのベンチマークで、SC- GRPOはGRPOより8.1%、DAPOより5.9%、OODパフォーマンスが強い。
  論文  参考訳（メタデータ） (2026-06-17T08:26:02Z)
• RLPR: Extrapolating RLVR to General Domains without Verifiers [103.14103272635893]
  本稿では,RLVRを汎用ドメインに外挿するシンプルな検証不要なフレームワークであるRLPRを提案する。 このノイズの多い確率報酬の高分散に対処することが、それを機能させるためには不可欠である。 RLPRはGemma、Llama、Qwenベースのモデルの両方の領域における推論機能の改善を一貫して行っている。
  論文  参考訳（メタデータ） (2025-06-23T02:56:36Z)
• Critique-GRPO: Advancing LLM Reasoning with Natural Language and Numerical Feedback [59.078756231841574]
  Critique-GRPOは、自然言語と数値フィードバックを統合して効果的なポリシー最適化を行うオンラインRLフレームワークである。 批判-GRPOは、教師付き学習とRLに基づく微調整法を8つの難解な数学、STEM、一般的な推論タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-03T17:39:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。