論文の概要: Bifocal Diffusion Language Models: Asymmetric Bidirectional Context for Parallel Generation
- arxiv url: http://arxiv.org/abs/2606.27732v1
- Date: Fri, 26 Jun 2026 05:26:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.372818
- Title: Bifocal Diffusion Language Models: Asymmetric Bidirectional Context for Parallel Generation
- Title（参考訳）: 双方向拡散言語モデル:並列生成のための非対称双方向コンテキスト
- Abstract要約: 本稿では,このジレンマを非対称な双方向文脈で解決する新しいパラダイムであるBifocal dLLMsを紹介する。
60BトークンによるQwen3-1.7Bの継続事前トレーニング実験では、R2LMは双方向のdLLMよりも高いスループットで2.4times$から12.9times$1.9times$を達成することが示された。
- 参考スコア（独自算出の注目度）: 39.51953946287085
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discrete diffusion language models (dLLMs) recover masked tokens in parallel, offering significant speedups over autoregressive (AR) generation. However, such promising frameworks face a fundamental architectural design dilemma: \ding{182} Adopting bidirectional attention achieves strong generation quality by allowing each position to access the full context, but is inherently incompatible with KV caching, limiting inference throughput in batch-serving scenarios; \ding{183} Conversely, causal attention enables efficient cached inference but loses all right-side context, substantially degrading generation quality. This paper introduces Bifocal dLLMs, a new paradigm that resolves this dilemma through \emph{asymmetric bidirectional context}. Analogous to bifocal lenses, we instantiate the paradigm as \textbf{R2LM} (Right-to-Left Mamba), which combines two complementary mechanisms: $a$) standard causal attention providing precise left-context with full KV cache compatibility, while $b$) a lightweight reverse Mamba SSM sidecar supplying compressed right-side context without breaking cacheability. Comprehensive experiments on continued pretraining of Qwen3-1.7B with 60B tokens demonstrate that R2LM achieves $2.4\times$ to $12.9\times$ higher throughput than bidirectional dLLMs and $1.9\times$ to $2.9\times$ speedup over AR baselines in batch serving through parallel decoding with KV caching, while exceeding the causal baseline on most benchmarks and surpassing the bidirectional dLLM on average.
- Abstract（参考訳）: 離散拡散言語モデル(dLLM)はマスク付きトークンを並列に復元し、自己回帰(AR)生成よりも大幅に高速化する。
しかし、このような有望なフレームワークは、基本的なアーキテクチャ設計のジレンマに直面している: \ding{182} 双方向の注意を採用すれば、完全なコンテキストへのアクセスを可能にすることによって、強力な生成品質を達成するが、本質的にはKVキャッシュと互換性がなく、バッチ保存シナリオでの推論スループットを制限する。
本稿では、このジレンマを \emph{asymmetric bidirectional context} を通じて解決する新しいパラダイムであるBifocal dLLMsを紹介する。
a$) 標準的な因果的注意が正確な左コンテキストと完全なKVキャッシュ互換性を提供し、b$) 軽量逆マンバSSMサイドカーがキャッシュ性を損なうことなく圧縮された右サイドコンテキストを供給している。
60BトークンによるQwen3-1.7Bの継続的な事前トレーニングに関する総合的な実験は、R2LMが2.4\times$から12.9\times$双方向のdLLMよりも高いスループットと1.9\times$から2.9\times$までを達成し、KVキャッシュで並列デコードするバッチにおけるARベースラインを高速化し、ほとんどのベンチマークで因果ベースラインを超え、平均で双方向のdLLMを上回っていることを示している。
関連論文リスト
- Trajectory-Level Speculative Decoding for Diffusion Language Models [16.97093186372498]
拡散ベースの言語モデル (dLLM) は反復的復号化による並列トークン生成を可能にするが、既存の復号化戦略は信頼性の低い単一トークン生成に崩壊する。
そこで我々は,信頼層木探索による起草軌道構築のためのトラジェクトリレベルの投機フレームワークを開発した。
我々のフレームワークはデノーミングを30～40%削減し、トークン単位のステップを2.6から4.3に増やし、バニラdLLMを7～14倍、Fast-dLLMを1.3倍、推論とコードベンチマークを1%未満で高速化する。
論文 参考訳（メタデータ） (2026-08-27T09:42:20Z) - Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳（メタデータ） (2026-08-10T07:49:10Z) - Lean-SAM2: Target-Anchored Memory and Encoder Acceleration for SAM2 [7.989538161016021]
Lean-SAM2は、上記の脆弱性に対処しつつ、計算上の冗長性を体系的に排除するように設計された、全体的な軽量フレームワークである。
Lean-SAM2は,(1)ターゲットアンコール型メモリ・プルーニング(TAMP)の安全保護,(2)保険記憶によるテンポラル凝縮,(3)ターゲットアンコール型リスク・アウェア・ルーティング(TARR)の3つの協調メカニズムを統合し,アンカー類似性に基づくターゲット関連ウィンドウの重画像エンコーダを選択的に活性化する。
論文 参考訳（メタデータ） (2026-07-22T06:42:27Z) - LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。
本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。
その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
論文 参考訳（メタデータ） (2026-06-03T06:07:33Z) - FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。
トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。
この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
論文 参考訳（メタデータ） (2026-06-01T06:58:15Z) - SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。
最近の圧縮法はトークンマージによるコストを軽減している。
これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-19T17:44:56Z) - OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。
本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。
X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
論文 参考訳（メタデータ） (2026-05-19T10:53:03Z) - Orthrus: Memory-Efficient Parallel Token Generation via Dual-View Diffusion [91.43717463458812]
Orthrusは、自己回帰型大規模言語モデル(LLM)の正確な生成忠実度と、拡散モデルの高速並列トークン生成を一体化するフレームワークである。
最大7.8倍のスピードアップを実現し、メモリキャッシュのオーバーヘッドはO(1)のみであり、パラメータの追加は最小限である。
論文 参考訳（メタデータ） (2026-05-12T23:47:35Z) - MAny: Merge Anything for Multimodal Continual Instruction Tuning [52.50936513604062]
textbfMAny(textbfMAny)は、textbfCross-modal textbfProjection textbfMergingを通じてタスク固有の知識を統合するフレームワークである。
textbfLow-rank textbfParameter textbfMerging (textbfLPM)
論文 参考訳（メタデータ） (2026-04-15T15:57:23Z) - WeDLM: Reconciling Diffusion Language Models with Standard Causal Attention for Fast Inference [44.87788417755154]
本稿では,標準因果注意に基づく拡散復号化フレームワークWeDLMを提案する。
WeDLMは強力なARバックボーンの品質を維持しつつ,大幅な高速化を実現している。
論文 参考訳（メタデータ） (2025-12-28T01:25:48Z) - ReFusion: A Diffusion Large Language Model with Parallel Autoregressive Decoding [37.86179431483446]
自己回帰モデル(ARM)は、遅いシーケンシャル推論によって妨げられる。
本稿では,優れた性能と効率を実現するマスク付き拡散モデルReFusionを紹介する。
ReFusionは、2.33$timesの平均スピードアップを維持しながら、パフォーマンスギャップを強力なARMに橋渡しする。
論文 参考訳（メタデータ） (2025-12-15T17:41:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。