論文の概要: CForce: Boosting Parallel Decoding for dLLMs via Consistency Forcing

• arxiv url: http://arxiv.org/abs/2608.13925v1
• Date: Fri, 14 Aug 2026 03:52:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.261214
• Title: CForce: Boosting Parallel Decoding for dLLMs via Consistency Forcing
• Title（参考訳）: CForce: 一貫性の強制によるdLLMの並列デコーディングの強化
• Abstract要約: 拡散大言語モデル(dLLM)は、単一の前方通過で複数のマスクを予測することで言語生成を加速する。 既存のdLLMは、アグレッシブな並列性戦略の下で初期の認知段階において信頼性の低い予測に悩まされる。 我々は,早期のマスク予測を後段のものと一致させる蒸留法であるdLLMsの一貫性強制(CForce)を提案する。
• 参考スコア（独自算出の注目度）: 30.73559220728677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion large language models (dLLMs) accelerate language generation by predicting multiple masks in a single forward pass. However, existing dLLMs can suffer from unreliable predictions in early denoising stages under aggressive parallelism strategies, leading to errors that can propagate to later stages. To tackle this issue, we present Consistency Forcing (CForce) for dLLMs, a distillation method to force the mask predictions of early stages to align with those of later stages. CForce trains the model on pre-collected self-rollout trajectories, thereby improving training-inference alignment. We introduce Confidence Adaptive KL Divergence as a distillation objective to conjoin the merits of forward and reverse KL. We further provide a theoretical analysis for the consistency objective to explain why CForce can approximately minimize the prediction error of early stages. Critically, the same formulation applies to both mask-to-token decoding and edit-capable decoding; in the edit-capable case, later token-to-token refinements provide additional supervision for earlier masked-state predictions. Experiments on non-edit and edit-capable LLaDA models show improved speed-quality trade-offs, especially under high-parallelism decoding budgets. Code is available at: https://github.com/inclusionAI/dFactory.
• Abstract（参考訳）: 拡散大言語モデル(dLLM)は、単一の前方通過で複数のマスクを予測することで言語生成を加速する。 しかし、既存のdLLMは、アグレッシブな並列性戦略の下で初期の段階では信頼できない予測に悩まされ、後段に伝播するエラーを引き起こす。 この問題に対処するために, 早期のマスク予測を後段のマスク予測と整合させる蒸留法であるdLLMsの一貫性強制(CForce)を提案する。 CForceは、事前コンパイルされた自己ロールアウト軌道上でモデルをトレーニングし、トレーニングと推論のアライメントを改善する。 我々は, 前後のKLのメリットを結合させる蒸留目的として, 信頼性適応KL分岐を導入する。 さらに、CForceが早期の予測誤差をほぼ最小化できる理由を説明するために、一貫性目標に関する理論的分析を行う。 重要な点として、マスク・ツー・トークンの復号化と編集可能な復号化の両方に同じ定式化が適用される。 非編集および編集可能なLLaDAモデルの実験では、特に高い並列性復号化予算の下で、スピード品質のトレードオフが改善された。 コードは、https://github.com/inclusionAI/dFactory.comで入手できる。

関連論文リスト

• Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding [92.1521161575198]
  我々は、最も信頼性の高いニアファイナル層を動的に選択する、トレーニング不要なデコーディング戦略であるConfident Decodingを紹介する。 密集型および混合型LLMの実験は、挑戦的推論ベンチマークにおいて一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-06-20T07:03:26Z)
• SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
  拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。 彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。 我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。 提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
  論文  参考訳（メタデータ） (2026-06-01T17:46:46Z)
• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• LEAP: Unlocking dLLM Parallelism via Lookahead Early-Convergence Token Detection [35.2079721755684]
  LEAP(Lookahead Early-Convergence Token Detection for Accelerated Parallel Decoding)を紹介する。 LEAPは、将来のコンテキストフィルタリングとマルチシーケンス重ね合わせを利用して早期収束トークンを検出する、トレーニングフリーのプラグアンドプレイ方式である。 GSM8Kデータセットでは、LEAPとdParallelを組み合わせることで、モデル精度を維持しながら、ステップ毎に7.2トークンにデコードが高速化される。
  論文  参考訳（メタデータ） (2026-05-09T03:26:23Z)
• Teach Diffusion Language Models to Learn from Their Own Mistakes [45.68746718883178]
  Masked Diffusion Language Models (DLM) は、複数のトークンを並列に生成することで、大幅な速度を達成する。 並列サンプリングアプローチでは、強い依存性エラーが発生し、生成ステップのサイズが大きくなるにつれて品質が急速に低下する。 高品質なマルチトークン生成のためのデカップリング自己補正を提案する。
  論文  参考訳（メタデータ） (2026-01-10T05:04:33Z)
• Context-Aware Initialization for Reducing Generative Path Length in Diffusion Language Models [0.0]
  DLLM(Large Language Models)は完全な並列トークン復号を可能にするが、推論時には実用的でないことが多い。 既存の加速法の多くは、改良された解法やサンプリング戦略を通じて、この生成軌道をより効率的にトラバースすることに焦点を当てている。 本稿では,軽量補助モデルから拡散初期化に事前条件付き事前条件を注入する学習自由インタフェースを提案する。 インジェクションされたプリエントは不完全であり、アンマスクのみのデコーディングは早期に過剰にコミットできるため、プリエントベースのリメイキング機構を事前の懐疑論の一形態として導入する。
  論文  参考訳（メタデータ） (2025-12-22T03:45:04Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Latent Refinement Decoding: Enhancing Diffusion-Based Language Models by Refining Belief States [28.663951525871756]
  本稿では、Latent Refinement Decoding (LRD) と予測フィードバックループを備えた2段階のフレームワークについて紹介する。 LRDは最大10.6倍のスピードアップを提供しながら精度を向上し、並列シーケンス生成の強力な代替手段となる。
  論文  参考訳（メタデータ） (2025-10-13T06:38:13Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。