論文の概要: Mask-Pattern Position Augmentation: Training-Free Long-Context Extrapolation for Diffusion LLMs
- arxiv url: http://arxiv.org/abs/2611.15029v1
- Date: Wed, 11 Nov 2026 04:48:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.04223
- Title: Mask-Pattern Position Augmentation: Training-Free Long-Context Extrapolation for Diffusion LLMs
- Title(参考訳): マスク・パタン位置増強:拡散LDMのためのトレーニング不要な長期外挿法
- Abstract要約: Mask-Pattern Position Augmentation (MPPA)を提案する。
MPPAは予め訓練されたウィンドウにインデックスを線形に補間し、累積マスク密度からステップ毎のオフセットを追加する。
予備的な$2times$の結果は、長期ネイティブ世代への拡散コンテキストパスとしてマスク条件の位置エンジニアリングを動機付けている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion large language models (dLLMs) generate by iteratively unmasking tokens with bidirectional attention, but rotary position embeddings (RoPE) still confine them to a fixed pretraining window. Existing training-free extrapolation, notably LongLLaDA, copies NTK-based RoPE scaling from autoregressive (AR) models and applies one static, length-only transform at every position and denoising step. That transplant ignores a signal unique to dLLMs: the evolving mask pattern of the partially decoded sequence. We propose Mask-Pattern Position Augmentation (MPPA). MPPA linearly interpolates indices into the pretrained window, then adds a per-position, per-step offset from cumulative mask density. The offset restores rotary phase resolution that interpolation collapses, and it shrinks as tokens are committed, so late steps see near-clean interpolated geometry. On LLaDA-8B-Instruct at twice its 4096-token window, MPPA reduces perplexity from 19.51 under standard decoding to 3.12 at 8192 tokens, below the in-window figure, with 100% passkey retrieval and unchanged needle-in-a-haystack accuracy. These preliminary $2\times$ results motivate mask-conditioned position engineering as a diffusion-native path to long-context generation.
- Abstract(参考訳): 拡散大言語モデル (dLLMs) は双方向の注意で反復的にトークンを解き放つことによって生成されるが、回転位置埋め込み (RoPE) は固定された事前学習ウィンドウに閉じ込める。
既存のトレーニングフリーな外挿、特にLongLLaDAは、NTKベースのRoPEスケーリングを自己回帰(AR)モデルからコピーし、各位置で1つの静的な長さのみの変換を適用し、デノナイジングステップを適用している。
この移植は、部分的にデコードされたシーケンスの進化するマスクパターンであるdLLMsに特有のシグナルを無視している。
本稿では,MPPA(Mask-Pattern Position Augmentation)を提案する。
MPPAは予め訓練されたウィンドウにインデックスを線形に補間し、累積マスク密度からステップ毎のオフセットを追加する。
オフセットは補間が崩壊する回転位相分解を復元し、トークンがコミットされるにつれて縮小する。
LLaDA-8B-インストラクタの4096トーケンの2倍の窓において、MPPAは標準的なデコードで19.51から8192トークンで3.12に減少し、100%パスキー検索と変化のないニードル・イン・ア・ヘイスタックの精度を持つ。
これらの予備的な$2\times$の結果は、長文生成への拡散ネイティブパスとしてマスク条件の位置エンジニアリングを動機付けている。
関連論文リスト
- Manifold Projection and Iterative Autoencoder Refinement for Masked Language Modeling [1.3254304182988284]
Transformerベースの言語モデルでは、注意がコンテキストミキシングの主要なメカニズムである。
私たちは、低ランクのオートエンコーダから同じボトルネック特性を得る代替手段を構築します。
我々のアーキテクチャは、C4で事前訓練された場合、約1.9倍のFLOPで注目され、パラメータマッチングされたBERTベースラインで評価される。
論文 参考訳(メタデータ) (2026-09-09T14:33:05Z) - Lost in Interpolation: Why Predictive Feedback Fails in Diffusion Language Models [4.936220215455189]
ソフトマスキングは拡散言語モデルの収束を促進する。
MDLMの埋め込み空間を解析し,マスクと予測埋め込みがほぼ角を保っていることを確認する。
S-SM(Spherical Soft-Masking)は、トップ(k)予測を超球面上のフレッシュ平均に集約するドロップイン置換である。
論文 参考訳(メタデータ) (2026-08-06T19:23:32Z) - DSL-LLaDA: Scaling Continuous Denoising to 8B Masked Diffusion LMs [29.561307941602482]
マスク付きDLMは, 連続的な埋め込み空間の認知を支援するために, 軽量に適応可能であることを示す。
適応モデルは、埋め込み空間において全ての位置を共同で進化させる連続推論をサポートする。
DSL-LLaDA-SDEは4つのベンチマークで最高のROUGE-1を達成する。
論文 参考訳(メタデータ) (2026-05-31T05:27:01Z) - Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。
LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文 参考訳(メタデータ) (2026-05-26T10:10:26Z) - Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。
本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。
実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
論文 参考訳(メタデータ) (2026-05-16T07:50:13Z) - PSD: Pushing the Pareto Frontier of Diffusion LLMs via Parallel Speculative Decoding [32.667256256847246]
拡散大言語モデル (dLLMs) は、マスク付きトークンシーケンスを反復的に記述することでテキストを生成する。
両軸に沿って推論を共同で改善するトレーニングフリーフレームワークであるParallel Speculative Decoding (PSD)を提案する。
論文 参考訳(メタデータ) (2026-05-15T04:43:02Z) - DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。
並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。
当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
論文 参考訳(メタデータ) (2026-04-09T14:35:42Z) - Patch-as-Decodable-Token: Towards Unified Multi-Modal Vision Tasks in MLLMs [88.68484904214142]
Patch-as-Decodable Token (PaDT)を導入し、テキストと多様な視覚出力を生成する。
PaDTの中心は、クエリイメージのビジュアルパッチ埋め込みから派生したVisual Reference Tokens (VRT)である。
MLLMモデルと比較しても,PaDTは最先端の性能を一貫して達成できることを示す。
論文 参考訳(メタデータ) (2025-10-02T12:23:57Z) - High-Frequency Prior-Driven Adaptive Masking for Accelerating Image Super-Resolution [87.56382172827526]
高周波領域は再建に最も重要である。
本稿では,アクセラレーションのためのトレーニング不要適応マスキングモジュールを提案する。
本手法は,最先端モデルのFLOPを24~43%削減する。
論文 参考訳(メタデータ) (2025-05-11T13:18:03Z) - Point-M2AE: Multi-scale Masked Autoencoders for Hierarchical Point Cloud
Pre-training [56.81809311892475]
Masked Autoencoders (MAE) は、言語と2次元画像変換器の自己教師付き事前学習において大きな可能性を示している。
我々は3次元点雲の階層的自己教師型学習のための強力なマルチスケールMAE事前学習フレームワークであるPoint-M2AEを提案する。
論文 参考訳(メタデータ) (2022-05-28T11:22:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。