論文の概要: UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective

• arxiv url: http://arxiv.org/abs/2607.24507v1
• Date: Mon, 27 Jul 2026 14:40:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.469473
• Title: UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective
• Title（参考訳）: UNIFUSION:Unified Reverse-Rate Objective下での離散拡散に自己回帰型言語モデルを適用する
• Authors: Xiaoyi Jiang, Jingyuan Li, Yixuan Jiang, Wei Liu, Yi Zhu, Zuoqiang Shi, Pipi Hu,
• Abstract要約: 本稿では,事前学習したGPT2チェックポイントを均一な雑音拡散に適応させるための,簡易な事前学習手法を提案する。 我々の研究は、サンプリング予算の増加に伴い、生成的複雑度(GenPPL)とユニグラムエントロピーのトレードオフを着実に改善する。 両スケールで比較した拡散モデルの中で,WinoGrande,SIQA,BBHの精度が最も高い。
• 参考スコア（独自算出の注目度）: 17.48959208263029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing methods mainly adapt pretrained autoregressive (AR) language models to masked diffusion, whereas we directly adapt them to uniform-noise diffusion, where every token remains editable during sampling. However, adapting AR checkpoints across corruption kernels remains challenging because existing DLMs use different objectives and prediction parameterizations. We establish connections among SEDD, MDLM/GIDD, M2S, and Neural CTMC by expressing their conditional losses as a single generalized Kullback--Leibler objective over model reverse rates. We further derive conversions from clean-token predictions to concrete-score, posterior-mean, and exit-rate/jump parameterizations, yielding a shared \(x_0\) interface that supports switching between mask and uniform kernels. Building on these connections, we propose \ours{}, a simple continual pre-training approach for directly adapting pretrained GPT2 checkpoints to uniform-noise diffusion. Through systematic evaluation of 124M- and 355M-parameter models, we show that \ours{} steadily improves the trade-off between generative perplexity (GenPPL) and unigram entropy as the sampling budget increases from 16 to 256 steps. At 256 steps, \ours{}-S and \ours{}-M achieve GenPPL/entropy pairs of \(97.783/5.2626\) and \(71.516/5.6669\), respectively; no evaluated model at the same scale simultaneously outperforms \ours{} on both metrics. At both scales, \ours{} also achieves the highest WinoGrande, SIQA, and BBH accuracy among the compared diffusion models.
• Abstract（参考訳）: 既存の手法では,事前学習された自己回帰(AR)言語モデルをマスク拡散に適応させるのに対して,全トークンがサンプリング中に編集可能な均一ノイズ拡散に適応する。 しかし、既存のDLMは異なる目的と予測パラメータ化を使用するため、汚職カーネル間でARチェックポイントを適用することは依然として困難である。 モデル逆数に対する1つの一般化Kulback-Leibler目標として条件付き損失を表現することにより,SEDD,MDLM/GIDD,M2S,Neural CTMC間の接続を確立する。 さらに、クリーントーケン予測から具体的スコア、後平均、出口レート/ジャンプパラメータ化への変換を導出し、マスクと均一カーネルの切り替えをサポートする共有の \(x_0\) インターフェースを生成する。 これらの接続に基づいて,事前学習した GPT2 チェックポイントを一様雑音拡散に直接適用するための,簡単な継続事前学習手法である \ours{} を提案する。 124M-および355M-パラメータモデルの体系的評価により, サンプリング予算が16段階から256段階に増加するにつれて, 生成的パープレキシティ(GenPPL)とユニグラムエントロピーとのトレードオフが着実に改善されることが示されている。 256ステップで、 \ours{}-S と \ours{}-M はそれぞれ \(97.783/5.2626\) と \(71.516/5.6669\) の GenPPL/エントロピー対を得る。 どちらのスケールでも、比較した拡散モデルの中で、 \ours{} はWinoGrande、SIQA、BBHの精度でも最高となる。

関連論文リスト

• Uniform Diffusion Models Revisited: Leave-One-Out Denoiser and Absorbing State Reformulation [72.05592785529404]
  UDMの標準プラグインブリッジパラメタライゼーションは,後側頭蓋に最適化されないことを示す。 また,UDM関節法をマスク拡散様サンプリング操作に分解して保存する均一拡散の吸収状態再構成も導入した。
  論文  参考訳（メタデータ） (2026-05-21T17:27:19Z)
• Neural Continuous-Time Markov Chain: Discrete Diffusion via Decoupled Jump Timing and Direction [18.20305761007799]
  我々は,2つの専用ネットワークヘッドを用いて,エフェキシットレート(ジャンプ時)とエフェジュンプ分布(ジャンプ時)で逆処理をパラメータ化するtextbfNeural CTMCを提案する。 我々は、エビデンスローバウンド(ELBO)が、真と学習された逆過程の経路空間KL分散と$$非依存定数で異なることを示す。 また, トラクタブル条件付きサロゲートは標準正則性仮定の下で, 対応する限界逆プロセス対象の勾配と最小化を保っていることを示す。
  論文  参考訳（メタデータ） (2026-04-17T04:40:19Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion [55.185588994883226]
  VQ-LCMDは、学習を安定させる埋め込み空間内の連続空間潜在拡散フレームワークである。 VQ-LCMDは、関節埋め込み拡散変動下界と整合整合性(CM)損失を組み合わせた新しいトレーニング目標を使用する。 実験により,提案したVQ-LCMDは離散状態潜伏拡散モデルと比較して,FFHQ,LSUN教会,LSUNベッドルームにおいて優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-10-18T09:12:33Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Efficient Integrators for Diffusion Generative Models [22.01769257075573]
  拡散モデルは、推論時に遅いサンプル生成に悩まされる。 事前学習モデルにおけるサンプル生成を高速化するための2つの補完的フレームワークを提案する。 本稿では,拡張空間における拡散モデルにおける最良報告性能を実現するハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T21:04:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。