論文の概要: Cluster-Level Attention-Guided Parallel Decoding for Masked Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2605.29607v1
- Date: Thu, 28 May 2026 08:42:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:56.081695
- Title: Cluster-Level Attention-Guided Parallel Decoding for Masked Diffusion Language Models
- Title（参考訳）: マスク拡散言語モデルのためのクラスタレベル注意誘導並列デコーディング
- Authors: Heqiang Qi, Wei Huang, Mingyuan Bai, Xiangming Meng,
- Abstract要約: マスク付き拡散言語モデル (MDLM) は、各デノナイジングステップにおける全てのマスキング位置を予測することで並列デコードを可能にする。
我々は、この粒度を再考し、信頼できる予測が連続した高信頼のスパンとしてしばしば現れることを観察する。
自己アテンションマップを用いてクラスタ間の依存関係を推定し、並列コミットのための相互互換CICのコンフリクト対応の選択を可能にする。
- 参考スコア（独自算出の注目度）: 13.325071163425621
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Masked diffusion language models (MDLMs) enable parallel decoding by predicting all masked positions at each denoising step, yet existing training-free samplers usually decide which positions to commit at token-level granularity. We revisit this granularity and observe that reliable predictions often emerge as contiguous high-confidence spans, suggesting that the unit of parallel commitment can be larger than a single token. We first group adjacent high-confidence candidates into confidence-induced clusters (CICs) as span-level update units. We then use self-attention maps from the same forward pass to estimate inter-cluster dependencies, enabling conflict-aware selection of mutually compatible CICs for parallel commitment. This yields CLAD (Cluster-Level Attention-Guided Decoding), a training-free cluster-level decoder for MDLMs. Experiments on LLaDA and Dream model families across four reasoning and code-generation benchmarks show that CLAD achieves 1.77x--8.47x speedups over Vanilla decoding while maintaining broadly comparable task accuracy in most settings.
- Abstract（参考訳）: マスク付き拡散言語モデル(MDLM)は、各デノナイジングステップでマスクされた全ての位置を予測することで並列デコードを可能にするが、既存のトレーニング不要のサンプルは、トークンレベルの粒度でどの位置をコミットするかを決定する。
我々は、この粒度を再考し、信頼できる予測が連続した高信頼の範囲としてしばしば現れることを観察し、平行コミットメントの単位が単一のトークンよりも大きいことを示唆する。
まず,高信頼度候補をスパンレベル更新単位として,信頼度誘導クラスタ(CIC)にグループ化する。
次に、同じフォワードパスからの自己アテンションマップを使用してクラスタ間の依存関係を推定し、並列コミットのための相互互換CICのコンフリクト対応の選択を可能にします。
CLAD(Cluster-Level Attention-Guided Decoding)は、MDLMのためのトレーニング不要のクラスタレベルのデコーダである。
4つの推論とコード生成のベンチマークによるLLaDAとドリームモデルファミリーの実験では、CLADはヴァニラ復号化よりも1.77x--8.47xのスピードアップを達成し、ほとんどの設定ではタスクの正確性を広く維持している。
関連論文リスト
- LEAP: Unlocking dLLM Parallelism via Lookahead Early-Convergence Token Detection [35.2079721755684]
LEAP(Lookahead Early-Convergence Token Detection for Accelerated Parallel Decoding)を紹介する。
LEAPは、将来のコンテキストフィルタリングとマルチシーケンス重ね合わせを利用して早期収束トークンを検出する、トレーニングフリーのプラグアンドプレイ方式である。
GSM8Kデータセットでは、LEAPとdParallelを組み合わせることで、モデル精度を維持しながら、ステップ毎に7.2トークンにデコードが高速化される。
論文 参考訳（メタデータ） (2026-05-09T03:26:23Z) - CoME-VL: Scaling Complementary Multi-Encoder Vision-Language Learning [79.07656918674684]
CoME-VLは、対照的に訓練された視覚エンコーダと自己教師型DINOエンコーダを統合するモジュラーフュージョンフレームワークである。
提案手法は,RefCOCOのベースライン上での精度を高いマージンで向上させながら,検出のための最先端性能を実現する。
論文 参考訳（メタデータ） (2026-04-03T17:59:51Z) - Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models [21.699371484195865]
我々は,dLLMの最終隠れ状態にアタッチする軽量依存予測器DEMASKを提案する。
実証的に、DEMASKはDream-7Bで1.7-2.2$times$ Speedupを達成し、信頼性ベースのベースラインやKLベースのベースラインと比較して精度が向上した。
論文 参考訳（メタデータ） (2026-04-02T22:21:24Z) - DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。
DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
論文 参考訳（メタデータ） (2026-03-09T07:02:01Z) - Divide and Conquer: Accelerating Diffusion-Based Large Language Models via Adaptive Parallel Decoding [6.755667885643806]
拡散に基づく大規模言語モデル(dLLM)は、様々な推論タスクで有望なパフォーマンスを示している。
適応型並列復号法であるDiCoを導入し,三相分割コンカレントパラダイムを特徴とする。
大規模な実験により、DiCoは競争力のある生成品質を維持しながら、大きな推論スピードアップを達成できることが示された。
論文 参考訳（メタデータ） (2026-02-27T08:36:06Z) - Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
本研究は自己回帰型モンテカルロ(SMC)を提示する。
提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。
粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
論文 参考訳（メタデータ） (2026-02-02T09:21:45Z) - CDLM: Consistency Diffusion Language Models For Faster Sampling [54.886467592798]
拡散言語モデル(DLM)は有望な並列生成パラダイムを提供するが、推論が遅い。
本稿では,両方のボトルネックに同時に対処するトレーニングベースの加速度法CDLMを紹介する。
実験では、CDLMは3.6x-14.5倍のレイテンシを実現し、数学やコーディングタスクの競合精度を維持している。
論文 参考訳（メタデータ） (2025-11-24T16:21:25Z) - Parallel Sampling from Masked Diffusion Models via Conditional Independence Testing [4.707859580472452]
仮面拡散モデル(MDM)は、離散テキスト生成のための自己回帰モデル(ARM)に代わる魅力的な代替手段を提供する。
シーケンシャルな左から右への生成ではなく、並列トークンサンプリングを可能にする。
本稿では,このトレードオフを再現するモデル非依存のサンプル装置PUNTを紹介する。
論文 参考訳（メタデータ） (2025-10-24T18:41:26Z) - Hierarchical Self-Supervised Representation Learning for Depression Detection from Speech [51.14752758616364]
音声による抑うつ検出 (SDD) は、従来の臨床評価に代わる有望で非侵襲的な代替手段である。
HAREN-CTCは,マルチタスク学習フレームワーク内でのクロスアテンションを用いて,多層SSL機能を統合した新しいアーキテクチャである。
このモデルはDAIC-WOZで0.81、MODMAで0.82の最先端マクロF1スコアを達成し、両方の評価シナリオで先行手法より優れている。
論文 参考訳（メタデータ） (2025-10-05T09:32:12Z) - Self-Enhanced Image Clustering with Cross-Modal Semantic Consistency [57.961869351897384]
効率的な画像クラスタリングのためのクロスモーダルなセマンティック一貫性に基づくフレームワークを提案する。
当社のフレームワークはまず,クロスモーダルセマンティック一貫性を通じて,強力な基盤を構築します。
最初の段階では、トレーニング済みモデルのリッチなセマンティクスに合わせて、軽量クラスタリングヘッドをトレーニングします。
第2段階では、自己強化微調整戦略を導入する。
論文 参考訳（メタデータ） (2025-08-02T08:12:57Z) - Towards Learnable Anchor for Deep Multi-View Clustering [49.767879678193005]
本稿では,線形時間でクラスタリングを行うDeep Multi-view Anchor Clustering (DMAC)モデルを提案する。
最適なアンカーを用いて、全サンプルグラフを計算し、クラスタリングのための識別的埋め込みを導出する。
いくつかのデータセットの実験では、最先端の競合に比べてDMACの性能と効率が優れていることが示されている。
論文 参考訳（メタデータ） (2025-03-16T09:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。