Fugu-MT 論文翻訳(概要): RL Post-Training Diffusion Language Models Along Their Own Generation Paths

論文の概要: RL Post-Training Diffusion Language Models Along Their Own Generation Paths

arxiv url: http://arxiv.org/abs/2610.17266v1
Date: Mon, 12 Oct 2026 18:22:12 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-15 21:06:15.439339
Title: RL Post-Training Diffusion Language Models Along Their Own Generation Paths
Title（参考訳）: 学習後拡散言語モデルとその生成経路
Abstract要約: 拡散言語モデルは自己回帰モデルに代わる有望な選択肢である。ほとんどのRLポストトレーニング技術はこれらのモデルに容易に適応できない。 PACT(Potential-Anchored Consistency of Transitions)を紹介する。
参考スコア（独自算出の注目度）: 18.713944836659124
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Diffusion language models are a promising and more efficient alternative to autoregressive models. However, most RL post-training techniques are not easily adapted to these models. One issue is that diffusion language models generate answers through many intermediate states, deciding at each step which masked positions to reveal and which tokens to place in them. Many existing RL methods used in this setting approximate intractable sequence likelihoods or weight every denoising step by the same advantage, without explicitly distinguishing how these intermediate states of the denoising trajectory affect the expected reward. To address this issue of trajectory blindness, we introduce PACT (Potential-Anchored Consistency of Transitions). Motivated by a reward-tilted reference distribution, PACT jointly learns the policy and a scalar potential that scores each intermediate state, anchored by terminal reward. For each sampled denoising transition, a consistency loss matches the policy-to-reference log-probability ratio of revealed tokens to the change in this potential. This formulation requires neither sequence-likelihood estimation nor importance-ratio clipping. On four tasks, PACT improves LLaDA-8B-Instruct by +9.9 points on GSM8K, +12.0 on MATH500, +55.7 on Countdown, and +72.6 on Sudoku, and reaches the best average accuracy across the four tasks reported for this model, +3.7 points over the next best method. Further compared to AGRPO, it reaches that baseline's best accuracy in about half the training compute on GSM8K.
Abstract（参考訳）: 拡散言語モデルは自己回帰モデルに代わる有望で効率的な代替品である。しかし、ほとんどのRLポストトレーニング技術はこれらのモデルに容易に適応できない。 1つの問題は、拡散言語モデルが多くの中間状態を通して回答を生成し、各ステップでどの位置を隠蔽して、どのトークンを配置するかを決定することである。この設定で用いられる多くの既存のRL法は、これらの中間状態が期待される報酬にどのように影響するかを明確に区別することなく、全ての重み付けステップが同じ優位性で近似可能なシーケンス確率または重み付けを行う。 PACT(Potential-Anchored Consistency of Transitions)を導入する。報酬型参照分布に動機づけられたPACTは、端末報酬によって固定された各中間状態をスコアするポリシーとスカラーポテンシャルを共同で学習する。サンプルデノナイジング遷移ごとに、一貫性損失は、明らかにされたトークンのポリシ・ツー・リファレンスの対数確率比と、このポテンシャルの変化と一致します。この定式化は、シーケンスライクな推定も重要度クリッピングも必要としない。 4つのタスクにおいて、PACTはLLaDA-8B-インストラクションをGSM8Kで+9.9ポイント、MATH500で+12.0、Countdownで+55.7、Sudokuで+72.6で改善し、次のベストメソッドで+3.7ポイントの4つのタスクで最高の平均精度に達する。さらにAGRPOと比較して、GSM8Kのトレーニング計算の約半分でベースラインの最高の精度に達する。

関連論文リスト

UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective [17.48959208263029]
本稿では,事前学習したGPT2チェックポイントを均一な雑音拡散に適応させるための,簡易な事前学習手法を提案する。我々の研究は、サンプリング予算の増加に伴い、生成的複雑度(GenPPL)とユニグラムエントロピーのトレードオフを着実に改善する。両スケールで比較した拡散モデルの中で,WinoGrande,SIQA,BBHの精度が最も高い。
論文参考訳（メタデータ） (2026-07-27T14:40:26Z)
REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文参考訳（メタデータ） (2026-06-17T10:37:23Z)
PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
論文参考訳（メタデータ） (2026-06-08T12:14:06Z)
Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文参考訳（メタデータ） (2026-06-02T06:51:15Z)
Sampling for Quality: Training-Free Reward-Guided LLM Decoding via Sequential Monte Carlo [16.197322348431516]
本稿では,大規模言語モデルにおける報酬誘導復号化のための原理的確率的フレームワークを提案する。提案手法は,完全系列上での報酬増大対象分布を定義する。報酬ポテンシャルによる推論分布を修正し、すべての利得は推論時間サンプリングから純粋に生じる。
論文参考訳（メタデータ） (2026-04-07T21:48:04Z)
MDPO: Overcoming the Training-Inference Divide of Masked Diffusion Language Models [28.79185891706149]
拡散言語モデルは、トレーニングと推論の主な相違に悩まされる。本稿では,マルコフ特性拡散を利用するためのMasked Diffusion Policy Optimization (MDPO)を提案する。本研究は,MDLMの事前学習と推測の相違を調査するための大きな可能性を見出した。
論文参考訳（メタデータ） (2025-08-18T17:58:13Z)
Masked Thought: Simply Masking Partial Reasoning Steps Can Improve Mathematical Reasoning Learning of Language Models [102.72940700598055]
推論タスクでは、小さなエラーでも不正確な結果にカスケードすることができる。入力の摂動に頼らず、外部リソースの導入を避ける手法を開発した。私たちのトレーニングアプローチでは、思考の連鎖の中で特定のトークンをランダムにマスクします。
論文参考訳（メタデータ） (2024-03-04T16:21:54Z)
Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文参考訳（メタデータ） (2023-02-17T18:45:04Z)
Stable Target Field for Reduced Variance Score Estimation in Diffusion Models [5.9115407007859755]
拡散モデルは、固定された前方拡散過程を反転させてサンプルを生成する。このような分散の源泉は、中間雑音分散スケールの取り扱いにあると論じる。より安定したトレーニングターゲットとして重み付けされた条件スコアを計算するために使用する参照バッチを組み込むことにより、この問題を修復することを提案する。
論文参考訳（メタデータ） (2023-02-01T18:57:01Z)
AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。