論文の概要: DPad: Efficient Diffusion Language Models with Suffix Dropout

• arxiv url: http://arxiv.org/abs/2508.14148v2
• Date: Sat, 23 Aug 2025 20:28:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 12:26:22.544894
• Title: DPad: Efficient Diffusion Language Models with Suffix Dropout
• Title（参考訳）: DPad: 接尾辞をドロップアウトした効率的な拡散言語モデル
• Authors: Xinhua Chen, Sitao Huang, Cong Guo, Chiyue Wei, Yintao He, Jianyi Zhang, Hai "Helen" Li, Yiran Chen,
• Abstract要約: Diffusion Scratchpad (DPad) は、近くの接尾辞の小さなセットに注意を向ける訓練不要の手法である。 DPad は (i) 固定長の接尾辞窓を維持するスライディングウィンドウ, (ii) 距離デカイドロップアウト, (ii) 注意計算の前に遠接辞トークンを決定的に除去する2つの戦略を統合している。
• 参考スコア（独自算出の注目度）: 14.93955595854303
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based Large Language Models (dLLMs) parallelize text generation by framing decoding as a denoising process, but suffer from high computational overhead since they predict all future suffix tokens at each step while retaining only a small fraction. We propose Diffusion Scratchpad (DPad), a training-free method that restricts attention to a small set of nearby suffix tokens, preserving fidelity while eliminating redundancy. DPad integrates two strategies: (i) a sliding window, which maintains a fixed-length suffix window, and (ii) distance-decay dropout, which deterministically removes distant suffix tokens before attention computation. This simple design is compatible with existing optimizations such as prefix caching and can be implemented with only a few lines of code. Comprehensive evaluations across multiple benchmarks on LLaDA-1.5 and Dream models demonstrate that DPad delivers up to $\mathbf{61.4\times}$ speedup over vanilla dLLMs while maintaining comparable accuracy, highlighting its potential for efficient and scalable long-sequence inference. Our code is available at https://github.com/Crys-Chen/DPad.
• Abstract（参考訳）: 拡散に基づく大規模言語モデル (dLLMs) は、復号化プロセスとしてフレーミングデコードによってテキスト生成を並列化するが、各ステップで将来の接尾辞トークンを予測し、わずかしか保持しないため、高い計算オーバーヘッドに悩まされる。 そこで我々はDiffusion Scratchpad (DPad) を提案する。DPadは、近接する接尾辞の小さな集合に注意を向け、冗長性を排除しつつ忠実さを保っている。 DPadは2つの戦略を統合している。 i) 固定長の接尾辞窓を保持するスライディングウィンドウ、及び (II) 注意計算の前に遠接点トークンを決定的に除去する距離遅延ドロップアウト。 このシンプルな設計はプレフィックスキャッシュのような既存の最適化と互換性があり、ほんの数行のコードで実装できる。 LLaDA-1.5とDreamモデルにおける複数のベンチマークの総合的な評価は、DPadがバニラdLLMを最大$\mathbf{61.4\times}$スピードアップし、同等の精度を維持しながら、効率よくスケーラブルなロングシーケンス推論の可能性を強調していることを示している。 私たちのコードはhttps://github.com/Crys-Chen/DPad.comで公開されています。

関連論文リスト

• Beyond Scattered Acceptance: Fast and Coherent Inference for DLMs via Longest Stable Prefixes [10.877713536966601]
  Longestahead Prefix(LSP)スケジューラは、モノリシックプレフィックスの吸収に基づく、トレーニング不要でモデルに依存しない推論パラダイムである。 LSPは1つのフォワードパスを介してトークンの安定性を評価し、安定な予測の連続した左整列ブロックを動的に識別する。 原子のコミットメントの前に、言語や構造的受容の境界を画定する。
  論文  参考訳（メタデータ） (2026-03-05T18:25:26Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Residual Context Diffusion Language Models [90.07635240595926]
  Residual Context Diffusion (RCD) は、捨てられたトークン表現をコンテキスト残留に変換し、次のデノイングステップでそれらを注入するモジュールである。 RCDは、最小限の計算オーバーヘッドで、5-10ポイントの精度でフロンティアdLLMを一貫して改善する。
  論文  参考訳（メタデータ） (2026-01-30T13:16:32Z)
• dInfer: An Efficient Inference Framework for Diffusion Language Models [54.80918957287927]
  拡散に基づく大規模言語モデル (dLLM) は自己回帰(AR) LLM に代わる有望な代替品として登場した。 本稿では、dLLM推論のための効率的かつ効率的なフレームワークであるdInferについて述べる。
  論文  参考訳（メタデータ） (2025-10-09T16:19:42Z)
• Finish First, Perfect Later: Test-Time Token-Level Cross-Validation for Diffusion Large Language Models [47.5976588836299]
  拡散大言語モデル(dLLM)は、並列デコーディングの高速化や双方向コンテキストモデリングといった利点を提供する。 離散dLLMにおけるバニラデコーディング戦略は、重要な制限に悩まされる。トークンが受け入れられると、後続のステップで修正することはできない。 予測トークン間のクロスバリデーションを利用するトレーニングフリーなデコーディング戦略であるToleratorを提案する。
  論文  参考訳（メタデータ） (2025-10-06T17:56:46Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning [23.58934174168992]
  Autoregressive (AR)言語モデルでは、テキストを1つずつ生成することで、推論速度が制限される。 ハードセグメンテーションなしでデコードウインドウを狭める正規化法である畳み込み復号法(Conv)を提案する。 Rejecting Rule-based Fine-Tuning (R2FT)も導入しています。
  論文  参考訳（メタデータ） (2025-09-18T17:48:21Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• Diffusion LLMs Can Do Faster-Than-AR Inference via Discrete Diffusion Forcing [14.22753953706955]
  Diffusion Large Language Models (dLLMs) は、テキスト生成のための自動回帰(AR) LLM に代わる有望な代替品として登場した。 本稿では、離散拡散強制(D2F)と呼ばれる単純かつ効果的な戦略に基づいて、この障壁を破る。 このようにして、バニラdLLMは効率的な推論のためにAR拡散ハイブリッドパラダイムに再構成される。
  論文  参考訳（メタデータ） (2025-08-08T04:51:37Z)
• Rectified Sparse Attention [61.7702154360081]
  効率的なロングシーケンス生成は、大規模言語モデルにとって重要な課題である。 本稿では,ブロックスパースアテンションと周期的な密度補正を組み合わせた簡易かつ効果的な方法であるRectified Sparse Attention (ReSA)を提案する。 数学推論、言語モデリング、検索タスクにわたる実験は、ReSAがほぼ無作為な生成品質を達成することを示す。
  論文  参考訳（メタデータ） (2025-06-04T16:01:48Z)
• Scaling Embedding Layers in Language Models [52.47659840377581]
  SCONEは入力埋め込み層を拡張し、言語モデルの性能を向上させる新しい方法である。 埋め込みは各入力トークンに対してコンテキスト化された表現を提供し、トレーニング中に別のモデルで学習する。 SCONEは2つの新しいスケーリング戦略を実現する。$n$-gramの埋め込み数を増やし、それらを学ぶために使用するモデルをスケーリングする。
  論文  参考訳（メタデータ） (2025-02-03T18:59:32Z)
• SuffixDecoding: Extreme Speculative Decoding for Emerging AI Applications [9.143856130336783]
  投機的復号化は、大規模言語モデル(LLM)推論の遅延を低減するために広く採用されている。 エージェントフレームワークは、同様のサブタスクを実行するマルチエージェントパイプラインや、アウトプットを反復的に拡張するセルフリファインメントループなど、反復的な推論要求を送信します。 本稿では,効率的な接尾辞木を用いて長いトークン列をキャッシュする新しい手法であるemphSuffixDecodingを紹介する。
  論文  参考訳（メタデータ） (2024-11-07T18:49:33Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [19.167604927651073]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• EMS-SD: Efficient Multi-sample Speculative Decoding for Accelerating Large Language Models [40.651650382105636]
  Vanillaメソッドは、サンプル間で新しいトークンの数が一貫していることを保証するために、パディングトークンを追加する。 本稿では,メモリや計算のオーバーヘッドを増大させることなく,異なるサンプルで受け入れられる不整合トークンの問題を解決する手法を提案する。 提案手法は, パディングトークンを追加することなく, 異なるサンプルの予測トークンが矛盾する状況に対処できる。
  論文  参考訳（メタデータ） (2024-05-13T08:24:21Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Boosting Continuous Sign Language Recognition via Cross Modality Augmentation [135.30357113518127]
  連続手話認識は不整合のビデオテキストペアを扱う。 クロスモーダル拡張を用いた新しいアーキテクチャを提案する。 提案するフレームワークは、既存のCTCベースの連続SLRアーキテクチャに容易に拡張できる。
  論文  参考訳（メタデータ） (2020-10-11T15:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。