Fugu-MT 論文翻訳(概要): Reinforcement Learning from Denoising Feedback

論文の概要: Reinforcement Learning from Denoising Feedback

arxiv url: http://arxiv.org/abs/2605.25638v1
Date: Mon, 25 May 2026 09:39:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-26 19:50:19.626785
Title: Reinforcement Learning from Denoising Feedback
Title（参考訳）: フィードバックのデノベートから強化学習
Abstract要約: 拡散言語モデル(dLLMs)の強化学習(RL)における政策損失推定は依然として基礎的かつ長期にわたる課題である。本稿では、ロールアウトとトレーニングプロセスから得られたフィードバックを活用して、正確かつ効率的なポリシー損失推定を容易にする新しいトレーニングパラダイムであるReinforcement Learning from Denoising Feedback (RLDF)を紹介する。 RLDFは、複数の推論ベンチマークにおいて、2つの代表的なdLLMアーキテクチャであるLLaDAとDreamのパフォーマンスと一般化性の両方において、一貫性と実質的な改善を実現している。
参考スコア（独自算出の注目度）: 22.358386875891053
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Policy loss estimation remains a fundamental and long-standing challenge in reinforcement learning (RL) for diffusion language models (dLLMs). We introduce Reinforcement Learning from Denoising Feedback (RLDF), a novel training paradigm that leverages feedback obtained from rollout and training processes to facilitate accurate and efficient policy loss estimation. To balance the trade-off between computational efficiency and estimation effectiveness, RLDF optimizes the model toward the clipped clean state $\hat{x}_0$ from intermediate noisy states $x_t$, combined with weighted timestep sampling over $t$. Extensive experiments demonstrate that RLDF achieves consistent and substantial improvements in both performance and generalizability across two representative dLLM architectures, LLaDA and Dream, on multiple reasoning benchmarks. Our work lays a principled foundation for scalable reinforcement learning in diffusion language models. We build Drift, a training framework for dLLMs, available at https://github.com/ant-research/Drift.
Abstract（参考訳）: 拡散言語モデル(dLLMs)の強化学習(RL)において,政策損失推定は依然として基本的かつ長期にわたる課題である。本稿では、ロールアウトとトレーニングプロセスから得られたフィードバックを活用して、正確かつ効率的なポリシー損失推定を容易にする新しいトレーニングパラダイムであるReinforcement Learning from Denoising Feedback (RLDF)を紹介する。 RLDFは、計算効率と推定効率のトレードオフのバランスをとるために、中間ノイズ状態$x_t$からクリッピングされたクリーンステート$\hat{x}_0$へのモデルを最適化し、重み付きタイムステップサンプリングを$t$以上とする。大規模な実験により、RLDFは複数の推論ベンチマークで2つの代表的dLLMアーキテクチャ(LLaDAとDream)のパフォーマンスと一般化性の両方において、一貫性と実質的な改善を達成している。我々の研究は、拡散言語モデルにおけるスケーラブルな強化学習の基礎を築いた。私たちはdLLMsのトレーニングフレームワークであるDriftをhttps://github.com/ant-research/Drift.comで公開しています。

関連論文リスト

Hista and Numca: Estimate State Value Effectively for LLM Reinforcement Learning [18.614878630206487]
強化学習 (Reinforcement Learning, RL) は、報酬信号を通じてモデル動作を直接最適化することにより、大きな言語モデル(LLM)を洗練する。既存のRLフレームワーク内での状態推定を評価するための状態値推定ベンチマーク(SVEB)を導入する。数値スパンを段階的なマイルストーンとして活用するNumcaと,LLMの隠蔽状態を重み付き平均解離ロールアウトの表現として利用するHistaの2つの手法を提案する。
論文参考訳（メタデータ） (2026-05-28T11:31:13Z)
DiRL: An Efficient Post-Training Framework for Diffusion Language Models [54.405206032785706]
Diffusion Language Models (dLLMs) はAuto-Regressive(AR)モデルに代わる有望な代替品として登場した。既存の手法は、訓練と推論の間の計算の非効率性と客観的なミスマッチに悩まされている。我々は,FlexAttention-accelerated blockwise trainingとLMDeploy-timized inferenceを密接に統合した,効率的なポストトレーニングフレームワークであるDiRLを紹介した。
論文参考訳（メタデータ） (2025-12-23T08:33:19Z)
Explore Data Left Behind in Reinforcement Learning for Reasoning Language Models [61.78513830395669]
RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデル(LLM)の推論能力向上に有効な手法として登場した。モデルがより長く、規模が大きくなるにつれて、トレーニングのプロンプトは残余のプロンプトになる。政策最適化フレームワークにおける探索的残留確率(Explore Residual Prompts in Policy Optimization)を提案する。
論文参考訳（メタデータ） (2025-11-06T20:40:27Z)
LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs [73.27182315028021]
LANPOは、フィードバックの役割をきれいに分離するフレームワークである。我々の研究は、歴史体験をLLM RLループに統合する堅牢な方法を提供し、より効果的でデータ効率のよい学習エージェントを作成します。
論文参考訳（メタデータ） (2025-10-18T15:51:19Z)
DiFFPO: Training Diffusion LLMs to Reason Fast and Furious via Reinforcement Learning [37.20873499361773]
マスク付き拡散大言語モデル (dLLM) を学習し, より優れた推論を行うための統一フレームワークを提案する。我々はまず,既存の基本方針を,真のdLLM政策の近似としてはるかに難易度の高い,政治外RLによるサロゲート政策の訓練により統一する。 RLでは、各プロンプトに対して推論閾値を適応的に割り当てることによって、dLLMの自然なマルチトークン予測能力をインセンティブ化する。
論文参考訳（メタデータ） (2025-10-02T16:57:24Z)
ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
論文参考訳（メタデータ） (2025-09-22T13:00:35Z)
No Free Lunch: Rethinking Internal Feedback for LLM Reasoning [12.881043910316787]
強化学習は、推論を改善するために大規模言語モデル(LLM)の訓練後において強力なパラダイムとして登場した。内的フィードバック(RLIF)からの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は,外的報酬ではなく,本質的なモデル由来の信号にのみ依存する手法である。
論文参考訳（メタデータ） (2025-06-20T17:59:52Z)
Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
論文参考訳（メタデータ） (2025-06-17T17:12:34Z)
Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
論文参考訳（メタデータ） (2025-06-05T07:53:59Z)
NoisyRollout: Reinforcing Visual Reasoning with Data Augmentation [66.36912000442608]
NoisyRolloutは単純だが効果的なデータ拡張手法である。きれいで適度に歪んだ画像からトレーニングの軌跡を混ぜる。オープンソースのRLチューニングモデル間の最先端性能を実現する。
論文参考訳（メタデータ） (2025-04-17T16:10:13Z)
d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning [31.531278643184656]
最近の大規模言語モデル(LLM)は、オンライン強化学習(RL)の恩恵を受ける強力な推論能力を示している。教師付きファインタニング(SFT)とRLの組み合わせにより,事前学習したマスク付きdLLMを推論モデルに適応するフレームワークであるd1を提案する。 d1は最高の性能を示し、最先端のdLLMの性能を大幅に向上させる。
論文参考訳（メタデータ） (2025-04-16T16:08:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。