論文の概要: Denoising Blocks, Not Tokens: Efficient Compressed Continuous Diffusion with Branching Token Realization

• arxiv url: http://arxiv.org/abs/2610.09311v1
• Date: Wed, 07 Oct 2026 02:08:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.680036
• Title: Denoising Blocks, Not Tokens: Efficient Compressed Continuous Diffusion with Branching Token Realization
• Title（参考訳）: 分岐トークン実現による効率的な圧縮型連続拡散
• Abstract要約: 拡散言語モデルは反復的並列精製によってテキストを生成する。 ほとんどのDLMはトークンごとに1つの生成状態を保持するので、各復調ステップは出力シーケンスの限りの状態シーケンスを処理する。 この柔軟性を利用して,1024トークン列を64ブロックの待ち行列に圧縮するemphBranching Latent Diffusion(BLD)を提案する。
• 参考スコア（独自算出の注目度）: 12.915754697715458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models (DLMs) generate text through iterative parallel refinement, offering the potential for higher throughput than autoregressive (AR) decoding. However, most DLMs still maintain one generative state per token, so every denoising step processes a state sequence as long as the output sequence, limiting the throughput gains from parallel generation. Continuous DLMs provide an additional degree of freedom: a single continuous state can represent multiple tokens, allowing diffusion to operate on a much shorter latent sequence. We introduce \emph{Branching Latent Diffusion (BLD)}, which exploits this flexibility by compressing a 1024-token sequence into only 64 block latents, a $16\times$ reduction. BLD combines latent compression with \emph{branching token realization}, where each latent is decoded by a local AR branch and all branches run in parallel. Because strong compression makes joint latent generation difficult, BLD generates the latents in groups, conditioning each group on previously generated latents. In end-to-end evaluation on the same GPU, BLD reduces generation FLOPs by more than $80\times$ and increases throughput by more than $6\times$ relative to the similarly sized ELF-L baseline. Compared with the AR baseline, BLD achieves more than $6\times$ higher throughput and more than $4\times$ lower latency. Despite the compression, BLD maintains competitive local fluency and diversity, although long-range coherence remains challenging. Overall, BLD shows that moving diffusion from token-level states to compressed latent sequences can substantially improve the efficiency of long-sequence generation.
• Abstract（参考訳）: 拡散言語モデル(DLMs)は、反復的な並列処理を通じてテキストを生成し、自己回帰(AR)デコーディングよりも高いスループットを提供する。 しかし、ほとんどのDLMはトークンごとに1つの生成状態を保持するため、各デノナイジングステップは出力シーケンスの限りの状態シーケンスを処理し、並列生成によるスループットのゲインを制限する。 1つの連続状態は複数のトークンを表現でき、拡散はより短い待ち行列で操作できる。 この柔軟性を活用して1024の列を64ブロックのラテントに圧縮する。 BLDは、ラテント圧縮と \emph{branching token realization} を組み合わせることで、各ラテントはローカルARブランチによってデコードされ、すべてのブランチが並列に実行される。 強い圧縮はジョイントラテント生成を困難にするので、BLDはグループ内のラテントを生成し、各グループを以前に生成されたラテントに条件付ける。 同じGPU上でのエンドツーエンド評価では、BLDは生成FLOPを80\times$以上削減し、同様のサイズのELF-Lベースラインと比較して6\times$以上スループットを向上する。 ARベースラインと比較して、BLDは6\times$高スループット、4\times$低レイテンシを実現している。 圧縮にもかかわらず、BLDは競争力のある局所流布と多様性を維持しているが、長距離コヒーレンスはまだ難しい。 全体として、BLDはトークンレベル状態から圧縮された潜在配列への拡散が長周期生成の効率を大幅に向上させることを示した。

関連論文リスト

• Denoising Hierarchical Representations: Joint Continuous Diffusion for Language Modeling [4.873082097238421]
  拡散言語モデル(DLM)は、順序に依存しない並列テキスト生成の約束を保持する。 H-CDLM(Hierarchical Continuous Diffusion Language Models:階層型連続拡散言語モデル)を導入する。 データセットエントロピーでは、H-CoBitはMAUVEを改善し、LM1Bで49.4、OWTで50.4の生成パープレキシティ(GenPPL)に到達し、ベースラインを24.2と20.7ポイント改善し、同じ大きさのDLMも上回っている。
  論文  参考訳（メタデータ） (2026-10-06T17:38:19Z)
• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• One Latent, Many Tokens: Jointly Learning Compressed Embeddings for Efficient Language Diffusion [13.514451981668207]
  本稿では,圧縮機,フローマッチングモデル,復号モジュールを共同で訓練するJPEG-DLMを紹介する。 より構造化され、拡散でモデル化しやすく、確実にトークンにデオード可能な圧縮埋め込みを学ぶ。 LM1B および OWT 上の近年の拡散流モデルの中では,Gen-PPL の平均値とスループットが最も低い。
  論文  参考訳（メタデータ） (2026-09-27T16:00:45Z)
• AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
  AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
  論文  参考訳（メタデータ） (2026-08-03T17:59:50Z)
• DSL-LLaDA: Scaling Continuous Denoising to 8B Masked Diffusion LMs [29.561307941602482]
  マスク付きDLMは, 連続的な埋め込み空間の認知を支援するために, 軽量に適応可能であることを示す。 適応モデルは、埋め込み空間において全ての位置を共同で進化させる連続推論をサポートする。 DSL-LLaDA-SDEは4つのベンチマークで最高のROUGE-1を達成する。
  論文  参考訳（メタデータ） (2026-05-31T05:27:01Z)
• Roll Out and Roll Back: Diffusion LLMs are Their Own Efficiency Teachers [76.15132587294862]
  Wide-In, Narrow-Out (WINO) は、リボッキング可能な並列生成を可能にするトレーニング不要の復号アルゴリズムである。 WINO+は、WINOが生成した検証された認知軌道をモデルパラメータに注入し、トレーニングを効率的な推論と整合させる。 LLaDAとMMaDAの実験では、WINOは品質と効率の両方を改善し、WINO+はこの進歩をさらに強化している。
  論文  参考訳（メタデータ） (2026-05-16T11:27:40Z)
• Dependency-Aware Parallel Decoding via Attention for Diffusion LLMs [8.800270601225668]
  拡散LDMの並列復号化は,各復号化ステップがトークン単位の周縁分布のみを提供するため困難である。 本稿では、自己アテンションを用いて条件依存グラフを誘導する簡易な訓練不要な復号法である依存性認識並列復号法(DAPD)を提案する。
  論文  参考訳（メタデータ） (2026-03-13T13:52:02Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。