論文の概要: Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference

• arxiv url: http://arxiv.org/abs/2602.22868v1
• Date: Thu, 26 Feb 2026 11:08:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.655515
• Title: Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference
• Title（参考訳）: リジェクションミキシング:効率的なDLLM推論のためのマスクトークンの高速セマンティックプロパゲーション
• Abstract要約: DLLMは高速な非自己回帰推論を約束するが、並列デコーディングにおいて厳しい品質と速度のトレードオフを被る。 我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。 本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMixを提案する。
• 参考スコア（独自算出の注目度）: 58.189320101488725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Large Language Models (DLLMs) promise fast non-autoregressive inference but suffer a severe quality-speed trade-off in parallel decoding. This stems from the ''combinatorial contradiction'' phenomenon, where parallel tokens form semantically inconsistent combinations. We address this by integrating continuous representations into the discrete decoding process, as they preserve rich inter-position dependency. We propose ReMix (Rejection Mixing), a framework that introduces a novel Continuous Mixing State as an intermediate between the initial masked state and the final decoded token state. This intermediate state allows a token's representation to be iteratively refined in a continuous space, resolving mutual conflicts with other tokens before collapsing into a final discrete sample. Furthermore, a rejection rule reverts uncertain representations from the continuous state back to the masked state for reprocessing, ensuring stability and preventing error propagation. ReMix thus mitigates combinatorial contradictions by enabling continuous-space refinement during discrete diffusion decoding. Extensive experiments demonstrate that ReMix, as a training-free method, achieves a $2-8 \times$ inference speedup without any quality degradation.
• Abstract（参考訳）: Diffusion Large Language Models (DLLM) は高速な非自己回帰推論を約束するが、並列デコーディングでは高い品質のトレードオフを被る。 これは、並列トークンが意味的に矛盾した組み合わせを形成する「組合せ矛盾」現象に由来する。 我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。 本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMix(Rejection Mixing)を提案する。 この中間状態により、トークンの表現は連続空間において反復的に洗練され、最終的な離散サンプルに崩壊する前に他のトークンとの相互衝突を解決することができる。 さらに、不確定表現を連続状態からマスク状態に戻して再処理し、安定性を確保し、エラーの伝播を防止する。 これにより、ReMixは離散拡散復号中に連続空間の洗練を可能にすることで組合せ矛盾を緩和する。 大規模な実験により、ReMixはトレーニングなしの手法として、品質劣化を伴わずに2～8ドルの推論スピードアップを実現している。

関連論文リスト

• Mean-Field Parallel Decoding for Discrete Diffusion Language Models [47.086589631406035]
  並列更新をコーディネートするトレーニングフリーなデコードフレームワークを導入する。 変動緩和は、矛盾する同時コミットを抑制する単純な固定点更新をもたらす。 推論とコード生成ベンチマークの実験では、品質とレイテンシのトレードオフが一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-06-14T13:17:58Z)
• DSL-LLaDA: Scaling Continuous Denoising to 8B Masked Diffusion LMs [29.561307941602482]
  マスク付きDLMは, 連続的な埋め込み空間の認知を支援するために, 軽量に適応可能であることを示す。 適応モデルは、埋め込み空間において全ての位置を共同で進化させる連続推論をサポートする。 DSL-LLaDA-SDEは4つのベンチマークで最高のROUGE-1を達成する。
  論文  参考訳（メタデータ） (2026-05-31T05:27:01Z)
• Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
  ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。 本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。 実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
  論文  参考訳（メタデータ） (2026-05-16T07:50:13Z)
• Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models [21.699371484195865]
  我々は,dLLMの最終隠れ状態にアタッチする軽量依存予測器DEMASKを提案する。 実証的に、DEMASKはDream-7Bで1.7-2.2$times$ Speedupを達成し、信頼性ベースのベースラインやKLベースのベースラインと比較して精度が向上した。
  論文  参考訳（メタデータ） (2026-04-02T22:21:24Z)
• HiAR: Efficient Autoregressive Long Video Generation via Hierarchical Denoising [52.237486207964245]
  HiARは階層的なデノベーションフレームワークで、従来の世代順を逆転させる。 発声ステップ毎に全てのブロックを因果生成し、各ブロックが常に同じノイズレベルでコンテキストで条件付けされるようにする。 VBench(20世代)では、HiARは比較したすべての方法の中で最高の総合スコアと最低時間ドリフトを達成する。
  論文  参考訳（メタデータ） (2026-03-09T17:58:16Z)
• CRoCoDiL: Continuous and Robust Conditioned Diffusion for Language [21.764828393078886]
  Masked Diffusion Models (MDMs) は自己回帰生成の効率的な非因果的代替手段を提供する。 拡散過程を連続的な文レベルの意味空間にシフトすることで、これらの制限に対処する。
  論文  参考訳（メタデータ） (2026-03-02T12:50:55Z)
• Stop the Flip-Flop: Context-Preserving Verification for Fast Revocable Diffusion Decoding [28.23607623451461]
  COVERは、単一のフォワードパス内で、一括検証と安定したドラフトを実行する。 不確実性、下流の影響、キャッシュドリフトのバランスを保ち、ステップ毎に検証された種子の数に適応する。 ベンチマーク全体で、COVERは不要なリビジョンを減らし、出力品質を維持しながらより高速なデコードをもたらす。
  論文  参考訳（メタデータ） (2026-02-05T19:58:48Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Reversible Diffusion Decoding for Diffusion Language Models [69.10149777322108]
  Reversible Diffusion Decoding (RDD) はブロックワイド拡散生成に可逆性を導入するデコーディングフレームワークである。 RDDは、逆プロセスの状態依存的な障害として停滞を検出し、以前のブロックへの効率的なバックトラックを可能にする。 実験により、RDDは最小の計算オーバーヘッドでベースラインよりも生成の堅牢性と品質を向上させることが示された。
  論文  参考訳（メタデータ） (2026-01-29T12:52:33Z)
• MixAR: Mixture Autoregressive Image Generation [12.846100277592969]
  連続的自己回帰モデリングのための事前ガイダンスとして離散トークンを注入する新しいフレームワークであるMixARを紹介する。 本稿では、自己注意(DC-SA)、クロスアテンション(DC-CA)、均一なマスクトークンを情報的な個別のトークンに置き換える単純なアプローチ(DC-Mix)など、いくつかの離散連続混合戦略について検討する。
  論文  参考訳（メタデータ） (2025-11-15T12:19:28Z)
• MARS-Sep: Multimodal-Aligned Reinforced Sound Separation [72.85468563236005]
  MARS-Sepは音分離のための強化学習フレームワークである。 クリッピングされた信頼領域サロゲートによって最適化された、ファクタライズされたベータマスクポリシを学ぶ。 複数のベンチマークの実験は、テキスト、オーディオ、イメージ-キュード分離において一貫した利得を示している。
  論文  参考訳（メタデータ） (2025-10-12T09:05:28Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning [23.58934174168992]
  Autoregressive (AR)言語モデルでは、テキストを1つずつ生成することで、推論速度が制限される。 ハードセグメンテーションなしでデコードウインドウを狭める正規化法である畳み込み復号法(Conv)を提案する。 Rejecting Rule-based Fine-Tuning (R2FT)も導入しています。
  論文  参考訳（メタデータ） (2025-09-18T17:48:21Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• Continuous Speculative Decoding for Autoregressive Image Generation [27.308442169466975]
  連続的視覚自己回帰(AR)モデルは、画像生成において有望な性能を示す。 投機的復号化は 事実上 自己回帰推論を加速させた この研究は、低受理率、不整合出力分布、解析式のない修正分布からの課題に対処する。
  論文  参考訳（メタデータ） (2024-11-18T09:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。