Fugu-MT 論文翻訳(概要): DOS: Dependency-Oriented Sampler for Masked Diffusion Language Models

論文の概要: DOS: Dependency-Oriented Sampler for Masked Diffusion Language Models

arxiv url: http://arxiv.org/abs/2603.15340v1
Date: Mon, 16 Mar 2026 14:28:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-17 18:28:58.429429
Title: DOS: Dependency-Oriented Sampler for Masked Diffusion Language Models
Title（参考訳）: DOS: タスク付き拡散言語モデルのための依存性指向サンプリング
Authors: Xueyu Zhou, Yangrong Hu, Jian Huang,
Abstract要約: 本稿では、トークンの更新を世代毎に通知するために、トークン間の依存関係を活用する、トレーニング不要なデコード戦略を提案する。経験的結果は、DOSはコード生成と数学的推論の両方において、常に優れた性能を達成していることを示している。
参考スコア（独自算出の注目度）: 2.3863052459868297
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Masked diffusion language models (MDLMs) have recently emerged as a new paradigm in language modeling, offering flexible generation dynamics and enabling efficient parallel decoding. However, existing decoding strategies for pre-trained MDLMs predominantly rely on token-level uncertainty criteria, while largely overlooking sequence-level information and inter-token dependencies. To address this limitation, we propose Dependency-Oriented Sampler (DOS), a training-free decoding strategy that leverages inter-token dependencies to inform token updates during generation. Specifically, DOS exploits attention matrices from transformer blocks to approximate inter-token dependencies, emphasizing information from unmasked tokens when updating masked positions. Empirical results demonstrate that DOS consistently achieves superior performance on both code generation and mathematical reasoning tasks. Moreover, DOS can be seamlessly integrated with existing parallel sampling methods, leading to improved generation efficiency without sacrificing generation quality.
Abstract（参考訳）: マスク付き拡散言語モデル(MDLM)は、フレキシブルな生成ダイナミクスを提供し、効率的な並列デコードを可能にする、言語モデリングの新しいパラダイムとして最近登場した。しかし、事前訓練されたMDLMの既存のデコード戦略は、主にトークンレベルの不確実性基準に依存している。この制限に対処するために、私たちは、トークン更新を生成中に通知するために、トークン間の依存関係を活用するトレーニング不要なデコード戦略であるDependency-Oriented Sampler (DOS)を提案する。具体的には、DOSはトランスフォーマーブロックからの注目行列を利用して、トークン間の依存関係を近似し、マスクされた位置を更新する際、アンマスクされたトークンからの情報を強調する。経験的結果は、DOSはコード生成と数学的推論の両方において、常に優れた性能を達成していることを示している。さらに、DOSは既存の並列サンプリング手法とシームレスに統合することができ、生成品質を犠牲にすることなく、生成効率を向上させることができる。

関連論文リスト

DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
論文参考訳（メタデータ） (2026-03-09T07:02:01Z)
MaDiS: Taming Masked Diffusion Language Models for Sign Language Generation [78.75809158246723]
本稿では,SLGのためのマスク付き拡散型言語モデルであるMaDiSについて述べる。また,トークン・ラテント・ヘアリング・3次元空間の目的から共同で学習する3段階のクロスモーダル事前学習手法を導入する。 MaDiSはDTWエラーと新たに導入された2つのメトリクスであるSiBLEUとSiCLIPを含む複数のメトリクスで優れたパフォーマンスを実現し、推論レイテンシを30%近く削減している。
論文参考訳（メタデータ） (2026-01-27T13:06:47Z)
Parallelism and Generation Order in Masked Diffusion Language Models: Limits Today, Potential Tomorrow [30.201913054064363]
Masked Diffusion Language Modelsは並列トークン生成と任意の順序復号を約束する。並列性強度と生成順序の2次元に沿ってMDLMの挙動を特徴付ける。我々は、知識、推論、プログラミングにまたがる58のベンチマークで8つのメインストリームMDLMを評価した。
論文参考訳（メタデータ） (2026-01-22T02:39:36Z)
Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models [82.87985794856803]
大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。最近、Diffusion Language Models (DLM) が有望な代替アーキテクチャとして登場した。
論文参考訳（メタデータ） (2025-10-05T10:50:52Z)
Free Draft-and-Verification: Toward Lossless Parallel Decoding for Diffusion Large Language Models [8.407364705777587]
本稿では,DLLMに適した高速デコードアルゴリズムFree Draft-and-Verification(FreeDave)を紹介する。 FreeDaveは、パフォーマンスを低下させることなく、推論スループットを最大3.78倍に向上させることが証明されている。
論文参考訳（メタデータ） (2025-09-30T21:28:04Z)
LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers [53.43862310647276]
大規模言語モデル(LLM)は、自然言語の理解と生成に優れるが、事実の誤りに弱いままである。本稿では,トークン型と最も影響力のあるトランスフォーマー層を整合させて実データ生成を改善する,トークン認識型コントラストデコーディング手法を提案する。提案手法は追加のトレーニングやモデル修正を必要とせず,複数のLSMおよび各種ベンチマークの事実性を常に改善することを示す実験である。
論文参考訳（メタデータ） (2025-07-06T14:35:43Z)
Token Communication in the Era of Large Models: An Information Bottleneck-Based Approach [55.861432910722186]
UniToComは、トークンを処理と無線通信の両方の基本的な単位として扱う統一トークン通信パラダイムである。本稿では,重要な情報を保持するトークンの学習を容易にする生成情報ボトルネック(GenIB)の原理を提案する。我々は、離散トークンと連続トークンの両方の処理を統合するために、因果変換器に基づくマルチモーダル言語モデル(MLLM)を受信機に採用する。
論文参考訳（メタデータ） (2025-07-02T14:03:01Z)
Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文参考訳（メタデータ） (2024-04-18T09:17:06Z)
SPEED: Speculative Pipelined Execution for Efficient Decoding [35.45955948053644]
本稿では,現在のトークンと並行して複数の将来トークンを投機的に実行することで,推論効率を向上させるSPEEDを提案する。パラメータ共有を使用するTransformerデコーダでは、並列に実行されるトークンのメモリ操作を償却することができる。モデル精度に対する遅延低減の観点から,本手法の有効性を実証し,パラメータ共有によるより深いデコーダのトレーニングを最小限のランタイムオーバーヘッドで行う方法を示した。
論文参考訳（メタデータ） (2023-10-18T16:07:01Z)
UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
論文参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。