論文の概要: IDRF: Inverse-Distilled Reward Fine-tuning of Masked Discrete Diffusion Models

• arxiv url: http://arxiv.org/abs/2610.03641v1
• Date: Fri, 02 Oct 2026 17:29:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.517626
• Title: IDRF: Inverse-Distilled Reward Fine-tuning of Masked Discrete Diffusion Models
• Title（参考訳）: IDRF:マスク付き離散拡散モデルの逆拡散逆方向微調整
• Abstract要約: マスク付き離散拡散モデルは自己回帰生成に代わる有望な選択肢を提供する。 数ステップのマスク付き離散拡散発生器の微調整を行うためのフレームワークIDRFを紹介する。 DNA、画像、テキスト生成全体にわたって、IDRFは、参照よりも高い報酬を最大32倍のデノイングステップで達成している。
• 参考スコア（独自算出の注目度）: 65.81561972026121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked discrete diffusion models offer a promising alternative to autoregressive generation, but iterative sampling can be costly, and intractable sequence likelihoods complicate reward fine-tuning. We introduce IDRF, a framework for reward fine-tuning of few-step masked discrete diffusion generators. Starting from a standard reverse-KL-regularized objective, IDRF replaces the intractable sequence-level KL penalty with inverse-distillation regularization. With an optimal auxiliary denoiser, we prove that the population inverse-distillation loss upper-bounds the sequence-level KL divergence to the reference distribution. IDRF optimizes a trajectory-based surrogate of this loss without reference-model rollouts, so the student keeps its own few-step sampler. We view few-step generation as a finite-horizon Markov decision process and optimize reward with a clipped policy-gradient objective over the student's trajectories. Across DNA, image, and text generation, IDRF achieves high reward with up to $32\times$ fewer denoising steps than the reference while mitigating reward hacking and preserving sample quality.
• Abstract（参考訳）: マスク付き離散拡散モデルは自己回帰生成に代わる有望な代替手段を提供するが、反復サンプリングはコストがかかり、難解なシーケンスの可能性は報酬の微調整を複雑にする。 数ステップのマスク付き離散拡散発生器の微調整を行うためのフレームワークIDRFを紹介する。 標準的な逆KL正規化目的から始まるIDRFは、難解なシーケンスレベルのKLペナルティを逆蒸留正則化に置き換える。 最適補助減数器を用いて, 集団逆蒸留損失が基準分布への配列レベルKLの偏差を上界にすることを示す。 IDRFは、参照モデルロールアウトなしでこの損失のトラジェクトリベースのサロゲートを最適化する。 我々は,有限水平マルコフ決定過程として数段階生成を捉え,学生の軌道に対する政策段階的目標をカットして報酬を最適化する。 DNA、画像、テキスト生成全体にわたって、IDRFは、報酬のハッキングを緩和し、サンプルの品質を保ちながら、基準よりも最大32\times$のデノイングステップを減らし、高い報酬を達成する。

関連論文リスト

• Latent Reward Registers for Diffusion Preference Alignment [46.49072106092868]
  本稿では,中間雑音の遅延から端末の好みを推定するメカニズムであるLatent Reward Registersを提案する。 この独立した読み出し機構は、発電機の隠された状態や速度場を変えることなく、潜伏した報酬証拠を抽出する。 トレーニングのために、Reward-Gradient On-Policy Distillation (RG-OPD) は、標準的な政策勾配の計算的に高価なロールアウトを回避し、報酬誘導された更新をオンライン軌道に沿って蒸留する。 推論のためには、Reward-Guided Sampling (RGS) はパラメータ更新なしで大小マッチングされた報酬勾配を経由する。
  論文  参考訳（メタデータ） (2026-08-04T17:00:52Z)
• Diff-Instruct with Diffused Reward: Towards Principled One-step Generator RL [16.321536102397733]
  ワンステップのテキスト・ツー・イメージ生成により、顕著な効率と品質でリアルタイムな合成が可能になった。 画像空間報酬最適化と拡散雑音空間分布マッチングを組み合わせた1ステップジェネレータの事前強化学習法について検討した。 KL最小化から導かれるデータフリーな軌道レベルのアライメントフレームワークであるDiff-Instruct with Diffused Reward (DIDR)を提案する。
  論文  参考訳（メタデータ） (2026-05-18T21:26:33Z)
• ReDDiT: Rehashing Noise for Discrete Visual Generation [53.813067778912]
  離散拡散変圧器(終端型ReDDiT)のためのリハッシングノイズアプローチを提案する。 我々は、吸収状態を拡張し、離散拡散モデルの表現能力を向上させることを目的としている。 実験の結果、ReDDiTはベースラインモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-05-26T08:17:20Z)
• Distributional Diffusion Models with Scoring Rules [83.38210785728994]
  拡散モデルは高品質な合成データを生成する。 高品質な出力を生成するには、多くの離散化ステップが必要です。 クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
  論文  参考訳（メタデータ） (2025-02-04T16:59:03Z)
• Unscented Autoencoder [3.0108936184913295]
  変分オートエンコーダ(VAE)は、潜伏変数を用いた深部生成モデリングにおける基礎的なアプローチである。 フィルタの分野からUnscented Kalman Filter (UKF) によく知られた分布近似である Unscented Transform (UT) を適用する。 我々は,VAE(Unscented Autoencoder, UAE)の新規な決定論的サンプリングフレーバーを,サンプル毎の後部における正規化のような用語で純粋に訓練した。
  論文  参考訳（メタデータ） (2023-06-08T14:53:02Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。