論文の概要: CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.29476v1
• Date: Sun, 28 Jun 2026 16:11:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.936914
• Title: CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning
• Title（参考訳）: CRAFT:自己拡張型エージェント強化学習のためのフリーシリングロールアウトの非現実的クレジット割り当て
• Abstract要約: 自己蒸留剤強化学習は、トークンレベルの蒸留損失で軌跡レベルの報酬を増大させる。 一般的なレシピでは、この損失を1つのスカラー、すなわち教師と学生の対数確率のギャップで埋める。 CRAFTは2つの制限に対処する3ピラー・クレジット・アサインメント方式である。
• 参考スコア（独自算出の注目度）: 4.663685189987781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-distilled agentic reinforcement learning augments trajectory-level reward with a token-level distillation loss, using as its teacher the same policy conditioned on privileged context. The prevailing recipe gates this loss by a single scalar, the teacher-student log-probability gap. This signal is doubly limited: it is retrospective, scoring only the realised rollout and never the counterfactual ones, and it is sign-blind, never signalling when a teacher-preferred action would have harmed the trajectory. We introduce CRAFT, a three-pillar credit-assignment scheme that addresses both limitations. Pillar 1, Counterfactual Token Importance, reuses the G-1 sibling rollouts that GRPO already samples and importance-weights them by the log-probability gap to form a self-normalised estimate of the group-level counterfactual change in advantage from up-weighting teacher-preferred actions at each step; this yields a signed per-token credit at near-zero extra compute. Pillar 2 is an asymmetric controller that raises the distillation weight as it lowers the reference-KL weight along an exponential moving average of gate activity, and conversely. Pillar 3 polarises the KL penalty token by token, switching between a mode-seeking and a mode-covering update according to the sign of the credit. Each pillar has an independent switch that, when disabled, renders the loss and gradient byte-identical to the baseline in IEEE-754 arithmetic, so any measured gain is attributable to algorithmic change rather than implementation drift. We prove the estimator's consistency and a variance bound, give structural and bit-exact reproducibility guarantees, and evaluate CRAFT across three agentic environments, four model scales, and five end-to-end methods, plus two tabulated prior-work baselines. Among these is Adaptive-CRINGE, a comparator sharing Pillar 2 with CRAFT, isolating the counterfactual contribution.
• Abstract（参考訳）: 自己蒸留型エージェント強化学習は、特権的文脈で条件付けられた同じ方針を教師として使用することにより、トークンレベルの蒸留損失で軌跡レベルの報酬を増大させる。 一般的なレシピでは、この損失を1つのスカラー、すなわち教師と学生の対数確率のギャップで埋める。 この信号は2倍に制限されており、振り返りであり、実現したロールアウトのみをスコア付けし、反ファクトのロールアウトは行わない。 CRAFTは2つの制限に対処する3ピラークレジットアサインメント方式である。 Pillar 1 Counterfactual Token Importance(英語版)はGRPOが既にサンプリングしているG-1兄弟ロールアウトを、ログ確率ギャップによって再利用し、各ステップにおける上位の教師が優先する行動の利点を生かして、グループレベルの反事実変化の自己正規化見積もりを形成する。 ピラー2は、ゲート活性の指数的な移動平均に沿って基準-KL重量を下げるときに蒸留重量を上昇させる非対称の制御装置である。 Pillar3はKLペナルティトークンをトークンで分極し、クレジットのサインに従ってモード検索とモードカバー更新を切り替える。 各ピラーには独立スイッチがあり、IEEE-754算術のベースラインに損失と勾配を等分するので、測定されたゲインは実装のドリフトよりもアルゴリズム的な変化に起因する。 我々は,推定器の一貫性と分散境界を証明し,構造的およびビット的再現性を保証するとともに,CRAFTを3つのエージェント環境,4つのモデルスケール,5つのエンドツーエンドメソッド,および2つのタブ付き事前作業ベースラインで評価する。 その中には、Pillar 2とCRAFTを共有するコンパレータであるAdaptive-CRINGEがある。

関連論文リスト

• A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
  学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
  論文  参考訳（メタデータ） (2026-08-26T11:14:42Z)
• Teach the Magnitude, Not the Direction: Verifier-Bounded Credit Assignment for Multi-Turn Multi-step LLM Agents [15.12019413574721]
  検証可能な報酬を用いた強化学習は、不均一なターン毎の結果を単一の報酬信号に融合させる。 オンライン蒸留は、トーケンあたりの密集した監督を提供するが、教師が拘束されるか、勾配の集中が崩壊する傾向にある。 我々は、RLの検証済み天井を保持する階層的な信用代入フレームワークであるtextbfCrEST$を導入し、特権付き自己教育者からの高密度トークンレベル信号を取り入れた。
  論文  参考訳（メタデータ） (2026-08-13T12:44:37Z)
• How Much, Then Where: Credit-Conserving Action-to-Token Allocation for Multi-Turn Agent Reinforcement Learning [10.15294517210249]
  FACTORを導入し、行動に軌跡レベルのクレジットを割り当て、各アクションのクレジットをトークンに分散させる決定を分離する。 FACTORは、ALFWorld、WebShop、ScienceWorld間の競争ベースラインよりも一貫して改善されている。
  論文  参考訳（メタデータ） (2026-08-07T11:22:09Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• Diffusing Blame: Task-Dependent Credit Assignment in Biologically Plausible Dual-Stream Networks [20.760754362327933]
  本稿では、二項分類を超えて誤差拡散を拡張するためのモジュロエラールーティングを提案する。 本手法で訓練したデュアルストリーム興奮抑制アーキテクチャは,MNISTの96.7%を達成している。 強化学習では,EDをPPO(Proximal Policy Optimization)と統合し,Google BraxとCraftaxの継続的制御タスクで評価する。
  論文  参考訳（メタデータ） (2026-06-30T14:09:40Z)
• A Formula-Driven Survey and Research Agenda for On-Policy Distillation [4.397842507533513]
  本調査では,OPDを単一損失ファミリーではなく,フィードバックから更新までの問題として検討した。 我々は, 直接分布損失と政策段階の対数比更新という2つの経路から公式駆動型分類法を開発した。
  論文  参考訳（メタデータ） (2026-06-22T03:09:21Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
  検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。 オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。 本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-06-14T03:37:27Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification [21.095025092772257]
  On-Policy Distillation (OPD)は、強力な教師からの密集したトークンレベルフィードバックの下で、生徒モデルを自身の生成軌道上で訓練する。 OmniOPDはロジットフリーでチャンクレベルの監視信号を通じて両方の制限に対処する新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-05-31T22:31:15Z)
• OPPO: Bayesian Value Recursion for Token-Level Credit Assignment in LLM Reasoning [17.98540130851038]
  検証可能な報酬を伴う強化学習は、LSM推論を改善するための標準的なレシピとなっている。 しかし、支配的なアルゴリズム GRPO は全てのトークンに対して単一の軌道レベルの利点を割り当てる。 我々は,Oracle-Prompted Policy Optimization (OPPO)を提案する。
  論文  参考訳（メタデータ） (2026-05-21T00:55:13Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
  グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。 我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。 OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2026-01-12T10:48:02Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。