論文の概要: PreDiff-LM: Pretrained Discrete Masked Diffusion Language Modeling with Hybrid Attention

• arxiv url: http://arxiv.org/abs/2607.25157v1
• Date: Tue, 28 Jul 2026 00:05:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.665308
• Title: PreDiff-LM: Pretrained Discrete Masked Diffusion Language Modeling with Hybrid Attention
• Title（参考訳）: PreDiff-LM: ハイブリッドアテンションを用いた離散型擬似拡散言語モデリング
• Abstract要約: 両方向の聴覚障害を伴う因果前訓練の整合性について検討する。 PreDiff-LMは、観察されたプロンプト内の因果注意を保ち、マスクされたターゲット内の完全な双方向の注意を許容する。 以上の結果から, ハイブリット・アテンションは, 予め訓練した後背骨に適応するための相補的なメカニズムとして位置づけられた。
• 参考スコア（独自算出の注目度）: 13.665756581823977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete masked diffusion language models support bidirectional generation and infilling, but adapting pretrained autoregressive (AR) transformers requires reconciling causal pretraining with bidirectional denoising. We study this problem at the level of attention rather than claiming AR-weight reuse itself as novel. PreDiff-LM preserves causal attention within the observed prompt while allowing full bidirectional attention within the masked target. Under a matched GPT-2 Medium, WikiText-103, 90K-step setup, this hybrid mask improves unconditional perplexity from 34.1 to 28.7 and MAUVE from 0.71 to 0.78 over uniform bidirectional attention with the same AR initialization. Attention adaptation also composes with a DiffuGPT-style objective adaptation, reaching 26.9 perplexity. Pretrained initialization reduces the steps required to reach perplexity below 50 from about 350K to 8K, although a compute-matched fine-tuned AR model remains stronger at equal scale (18.9 versus 28.7). Beyond perplexity, PreDiff-LM improves repetition, distributional quality, four zero-shot downstream tasks, and human preference over prior diffusion baselines. The results position hybrid attention as a complementary mechanism for adapting pretrained causal backbones, while making explicit the remaining quality and inference-efficiency gaps to optimized AR models.
• Abstract（参考訳）: 離散マスク拡散言語モデルは、双方向生成と埋め込みをサポートするが、事前学習された自己回帰(AR)トランスフォーマーに適応するには、双方向認知による因果前訓練の調整が必要である。 我々は、ARの再利用自体を新規であると主張するのではなく、この問題を注目のレベルで研究する。 PreDiff-LMは、観察されたプロンプト内の因果注意を保ち、マスクされたターゲット内の完全な双方向の注意を許容する。 GPT-2 Medium, WikiText-103, 90K-step 設定で、このハイブリッドマスクは34.1から28.7に、MAUVEは0.71から0.78に改善し、同じAR初期化で一様双方向の注意を払っている。 注意適応はDiffuGPTスタイルの客観的適応も構成し、26.9パープレキシティに達する。 事前訓練された初期化は、50以下の難易度に達するために必要なステップを約350Kから8Kに削減するが、計算に適合した微調整されたARモデルは、等スケール(18.9対28.7対)で強いままである。 難易度以外にも、PreDiff-LMは反復性、分布品質、ゼロショットダウンストリームタスク4つ、事前拡散ベースラインよりも人間の好みを改善している。 以上の結果から, ハイブリット・アテンションは, 事前訓練した後背骨に適応するための補完機構であり, 最適化されたARモデルに対して, 残った品質と推論効率のギャップを明確化している。

関連論文リスト

• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective [17.48959208263029]
  本稿では,事前学習したGPT2チェックポイントを均一な雑音拡散に適応させるための,簡易な事前学習手法を提案する。 我々の研究は、サンプリング予算の増加に伴い、生成的複雑度(GenPPL)とユニグラムエントロピーのトレードオフを着実に改善する。 両スケールで比較した拡散モデルの中で,WinoGrande,SIQA,BBHの精度が最も高い。
  論文  参考訳（メタデータ） (2026-07-27T14:40:26Z)
• SymbolicLight V1: Spike-Gated Dual-Path Language Modeling with High Activation Sparsity and Sub-Billion-Scale Pre-Training Evidence [8.419155861590548]
  SymbolicLight V1はスパイクゲートのデュアルパス言語モデルである。 バイナリのLeaky Integrate-and-Fireスパイクダイナミクスと連続的な残留ストリームを組み合わせたものだ。 PPL 8.88-8.93は4つの独立した実行で1要素あたりのアクティベーション間隔が89%である。
  論文  参考訳（メタデータ） (2026-05-20T16:00:20Z)
• HASTE: Training-Free Video Diffusion Acceleration via Head-Wise Adaptive Sparse Attention [68.95533683996236]
  トレーニング不要のスパースアテンションは、トレーニングなしで事前トレーニングされたモデルを加速するため、魅力的である。 既存のオンラインのトップ$p$のスパース・アテンションは、マスクの予測に何の費用もかからない。 これら2つの見過ごされた要因は、ビデオDiTにおけるトレーニング不要のスパースアテンションの実践的スピード品質トレードオフを制限していることを示す。
  論文  参考訳（メタデータ） (2026-05-14T07:57:55Z)
• From AR to Diffusion: Efficiently Adapting Large Language Models with Strictly Causal and Elastic Horizons [74.25767873168745]
  拡散モデルは効率的な並列テキスト生成を約束するが、双方向の注意に依存し、事前訓練された自己回帰(AR)モデルによる構造的ミスマッチを生成する。 本稿では,ARバックボーンを拡散パラダイムに効率的に適応するフレームワークであるFLUIDを提案する。 実験により、FLUIDは訓練コストを桁違いに削減しつつ、最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2026-04-11T13:18:27Z)
• Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed [76.49335677120031]
  拡散言語モデル(dLM)は、並列で非自己回帰的な生成を可能にする有望なパラダイムとして登場した。 我々は,ARモデルのタスク精度を保ちながら,ARモデルからDLMへの変換を高速なDLMに変換することを検討した。
  論文  参考訳（メタデータ） (2025-12-16T04:12:17Z)
• Diffusion Language Models are Super Data Learners [61.721441061210896]
  ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。 本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
  論文  参考訳（メタデータ） (2025-11-05T08:17:42Z)
• DiffusionNFT: Online Diffusion Reinforcement with Forward Process [99.94852379720153]
  Diffusion Negative-aware FineTuning (DiffusionNFT) は、フローマッチングを通じて前方プロセス上で直接拡散モデルを最適化する新しいオンラインRLパラダイムである。 DiffusionNFTは、CFGフリーのFlowGRPOよりも25倍効率が高い。
  論文  参考訳（メタデータ） (2025-09-19T16:09:33Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。