論文の概要: ReCAST: Reward Credit Assignment across Timesteps for Online Diffusion Reinforcement

• arxiv url: http://arxiv.org/abs/2609.13425v1
• Date: Fri, 11 Sep 2026 18:41:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.306992
• Title: ReCAST: Reward Credit Assignment across Timesteps for Online Diffusion Reinforcement
• Title（参考訳）: ReCAST: オンライン拡散強化のためのタイムステップにわたるリワードクレジット割り当て
• Abstract要約: 本稿では,ReCAST(Reward Credit Assignment across Timesteps)を提案する。 我々は、ReCASTがトレーニング報酬を超えて、その中核となる原則をサポートするために一般化する改善をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 49.49571101362551
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training diffusion models with multiple rewards requires distinguishing user preference from reward informativeness. User preference determines how much each reward should contribute to the overall objective; reward informativeness determines when its feedback is useful during denoising. Some rewards can meaningfully evaluate a sample as soon as global structure emerges, but others become informative only when the sample is nearly clean. To address both questions jointly, we propose ReCAST (Reward Credit ASsignment across T}imesteps), the first method, to our knowledge, for per-reward, timestep-dependent credit assignment in diffusion reward fine-tuning. ReCAST separates user preferences from temporal allocation through a reward-by-timestep weight matrix $W$, whose row sums match the user-specified reward budgets $λ$, while its column sums are equal, assigning the same total weight to each denoising step. Under these marginal constraints, ReCAST allocates weight according to each reward's informativeness, quantified by its Rényi discriminability gain at each step. These gains telescope to the total discriminability between the reward-induced positive policy and the current policy, providing a basis for temporal credit assignment. We evaluate ReCAST by training SD3.5-Medium under two distinct four-reward settings, each across five reward budgets $λ$. ReCAST improves the training rewards in one setting and matches them in the other, improves every held-out judge in both, and is preferred by an independent LLM-as-a-Judge. Together, these results show that ReCAST yields improvements that generalize beyond the training rewards and support its core principle: assigning each reward greater weight at the denoising timesteps where its feedback is most informative.
• Abstract（参考訳）: 複数の報酬を持つ拡散モデルの訓練には、ユーザの好みと報奨情報を区別する必要がある。 ユーザの好みによって、各報酬が全体目標にどの程度貢献するかが決定される。 一部の報酬は、グローバルな構造が現れるとすぐにサンプルを有意義に評価できるが、サンプルがほぼ清潔である場合にのみ、有益なものとなる。 両課題を共同で解決するために,拡散報酬の微調整における時間差に依存した信用割当を行うための第1の手法であるReCAST(Reward Credit Assignment across T}imesteps)を提案する。 ReCASTは、ユーザの好みを時間割当から時間割当の重み行列$W$で分け、その行和はユーザ指定の報酬予算と一致する$λ$、列和は等しい。 これらの限界制約の下で、ReCASTは各報酬の報知度に応じて重みを割り当て、各ステップにおけるレニイ識別可能性の利得によって定量化される。 これにより、報酬誘導の正政策と現在の政策の完全な識別可能性を得ることができ、時間的信用割り当ての基礎となる。 SD3.5-Mediumを2つの異なる4方向設定でトレーニングすることでReCASTを評価する。 ReCASTはトレーニング報酬を1つの設定で改善し、もう1つの設定でマッチングし、両方のホールドアウトの裁判官を改良し、独立したLCM-as-a-Judgeによって好まれる。 これらの結果は、ReCASTがトレーニング報酬を超えて一般化し、その中核となる原則をサポートする改善をもたらすことを示している。

関連論文リスト

• Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization [60.89431018071735]
  グループ相対的な優位性を持つ強化学習は、訓練後の言語モデル推論のデファクトスタンダードとなっている。 異なる報酬プロファイルを持つロールアウトは、同じ利点を享受でき、現在の飽和度に関わらず、全ての目的が固定相対重みで最適化されることを示す。 本研究では,各報酬目標を独立に標準化し,目標飽和度をバッチレベルで推定した値に従って貢献を適応的に割引する飽和度認識再重み付けを導入する。
  論文  参考訳（メタデータ） (2026-08-17T04:07:50Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Learning Explainable Dense Reward Shapes via Bayesian Optimization [45.34810347865996]
  トークンレベルのクレジット代入に焦点をあてた最適化問題として、報酬形成の枠組みを定めている。 SHAP や LIME などの説明可能性法を用いて,報酬モデルから各報酬を推定する。 実験の結果,トークンレベルの報酬属性のバランスが良くなると,ベースラインよりもパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2025-04-22T21:09:33Z)
• Information-Theoretic Reward Decomposition for Generalizable RLHF [51.550547285296794]
  我々は報酬値を2つの独立したコンポーネントに分解する。 提案手法は,データサンプルを不利な報酬値に基づいて優先順位付けすることで,新たな報酬学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-08T13:26:07Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。