論文の概要: MDLMPE: Distribution Aware Positional Encoding for Masked Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2608.03769v1
- Date: Tue, 04 Aug 2026 14:54:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.260443
- Title: MDLMPE: Distribution Aware Positional Encoding for Masked Diffusion Language Models
- Title（参考訳）: MDLMPE:masked Diffusion Language Modelの分布認識位置符号化
- Abstract要約: マスク付き拡散言語モデルは、明らかにされたトークンとマスクされたトークンの動的で非連続的な構成を生成する。
マスク拡散に特化して設計された位置符号化MDLMPEを提案する。
LLaDAとDREAMの実験により、MDLMPEは一般的に従来の位置符号化法より優れていることが示された。
- 参考スコア（独自算出の注目度）: 10.872454179321808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Masked diffusion language models (MDLMs) enable parallel generation and bidirectional context modeling, but their positional context differs fundamentally from that of autoregressive (AR) models. Whereas AR decoding exposes a contiguous prefix, MDLM denoising produces dynamic, non-contiguous configurations of revealed and masked tokens. Conventional positional encodings such as RoPE capture sequence order and pairwise displacement but remain insensitive to this evolving token-availability structure. To address this limitation, we propose MDLMPE, a positional encoding designed specifically for masked diffusion. To the best of our knowledge, MDLMPE is the first method to make positional representations explicitly aware of the changing revealed/masked configuration. It represents token availability as a binary sequence, applies distance-aware Gaussian weighting, and projects the resulting pattern through a cosine basis to obtain distribution-aware positional features. These features are added to token embeddings and mapped by a lightweight MLP to angular offsets that modulate the standard RoPE phases. Extensive experiments on LLaDA and DREAM demonstrate that MDLMPE generally outperforms conventional positional encoding methods across supervised fine-tuning, pretraining, zero-shot evaluation, and block-diffusion settings. Further ablations show that the complete combination of availability state, Gaussian locality, spectral basis, and embedding injection yields the strongest result. These results establish the evolving token-availability distribution as a useful positional signal for masked diffusion language models.
- Abstract（参考訳）: マスク付き拡散言語モデル(MDLM)は並列生成と双方向のコンテキストモデリングを可能にするが、その位置コンテキストは自己回帰(AR)モデルと根本的に異なる。
ARデコーディングが連続したプレフィックスを公開するのに対して、MDLMデノナイジングは露呈されたトークンとマスクされたトークンの動的で非連続的な構成を生成する。
RoPEキャプチャシーケンスの順序やペアの変位のような従来の位置符号化は、この進化するトークン・アベイラビリティ構造に敏感なままである。
この制限に対処するために,マスク拡散に特化して設計された位置符号化MDLMPEを提案する。
我々の知る限り、MDLMPEは、変化した露見/マスクされた構成をはっきりと認識する位置表現を行う最初の方法である。
トークンの可用性をバイナリシーケンスとして表現し、距離対応ガウス重み付けを適用し、結果として得られるパターンをコサインベースで投影し、分布対応の位置特徴を得る。
これらの機能はトークンの埋め込みに追加され、標準の RoPE 位相を変調する角オフセットに軽量の MLP でマッピングされる。
LLaDAとDREAMの大規模な実験により、MDLMPEは一般的に、教師付き微調整、事前訓練、ゼロショット評価、ブロック拡散設定において、従来の位置符号化法よりも優れていることが示された。
さらに、可用性状態、ガウス的局所性、スペクトル基底、埋め込み注入の完全な組み合わせが、最も強い結果をもたらすことを示す。
これらの結果は、マスク拡散言語モデルに有用な位置信号として、進化するトークン・アベイラビリティ分布を確立する。
関連論文リスト
- Representation-based Masked Diffusion Model [3.3928176963185237]
Masked Diffusion Models (MDM) は言語モデリングの魅力的なパラダイムとして登場し、効率的な並列テキスト生成機能を提供している。
テキスト表現を利用してグローバルセマンティクスを明示的にエンコードするフレームワークであるRepresentation-based Masked Diffusion Model (RMDM)を提案する。
論文 参考訳（メタデータ） (2026-09-11T03:00:52Z) - AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。
AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
論文 参考訳（メタデータ） (2026-08-03T17:59:50Z) - SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。
彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。
我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。
提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
論文 参考訳（メタデータ） (2026-06-01T17:46:46Z) - Edit-Based Refinement for Parallel Masked Diffusion Language Models [47.05195944319345]
マスク付き拡散言語モデルは並列トークン生成を可能にし、復号効率を向上させる。
本稿では,軽量な後編集ステップで拡散生成を増強する編集ベース改良フレームワークME-DLMを提案する。
本手法は,HumanEvalで11.6点,GSM8Kで33.6点,全拡散ステップの8分の1を用いて一貫したゲインを得る。
論文 参考訳（メタデータ） (2026-05-10T15:31:22Z) - Don't Retrain, Align: Adapting Autoregressive LMs to Diffusion LMs via Representation Alignment [46.75006425771645]
拡散言語モデル(DLM)は、最近、標準自己回帰(AR)モデルを補完する機能を実証した。
我々は,AR-to-DLM変換中に,次点予測によって学習した内部表現幾何を明示的に保存できるかを問う。
本稿では,事前訓練されたARモデルから表現を再利用するために,双方向マスク拡散モデルを適用する表現アライメント対象であるREPR-ALIGNを紹介する。
論文 参考訳（メタデータ） (2026-05-07T19:35:48Z) - Beyond Masks: Efficient, Flexible Diffusion Language Models via Deletion-Insertion Processes [41.57128726515332]
DID(Deletion-Insertion Diffusion Language Model)を提案する。
DIDはトークンの削除と挿入を離散拡散過程として厳格に定式化する。
固定長および可変長の設定に対する実験により,MDLMと既存の挿入型LMのベースラインよりもDIDの利点が示された。
論文 参考訳（メタデータ） (2026-03-04T12:53:17Z) - Relaxing Positional Alignment in Masked Diffusion Language Models [6.511565218210195]
マスケード拡散言語モデル(MDLM)は、支配的な自己回帰的アプローチに代わる有望な代替手段として登場した。
厳密な位置予測によってMDLMの復号化がトークンの誤認識に非常に敏感になることを示す。
本手法は広く使われているMDLMモデルに適用し、5つのオープンエンドテキスト生成ベンチマークで実験を行う。
論文 参考訳（メタデータ） (2026-01-30T13:09:21Z) - Causal Autoregressive Diffusion Language Model [70.7353007255797]
CARDは厳密な因果注意マスク内の拡散過程を再構成し、単一の前方通過で密集した1対1の監視を可能にする。
我々の結果は,CARDが並列生成のレイテンシの利点を解放しつつ,ARMレベルのデータ効率を実現することを示す。
論文 参考訳（メタデータ） (2026-01-29T17:38:29Z) - Soft-Masked Diffusion Language Models [35.191030145577145]
マスクトークンの埋め込みと,上位k$の予測トークンの埋め込みを動的にブレンドする新しい手法であるソフトマスキング(SM)を導入する。
SMを用いた169Mパラメータモデルの事前学習を継続すると、パープレキシティとMAUVEスコアが向上することを示した。
最新の拡散モデルDream-7BとDream-Coder-7BをSMで微調整する。
論文 参考訳（メタデータ） (2025-10-20T06:42:03Z) - Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。
APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
論文 参考訳（メタデータ） (2025-05-31T06:10:10Z) - PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。
家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
論文 参考訳（メタデータ） (2025-05-22T08:36:09Z) - Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。
本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。
我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
論文 参考訳（メタデータ） (2023-10-09T11:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。