論文の概要: DRAMA: Dissecting Attention Redundancy for Accelerating Multimodal Diffusion Large Language Models
- arxiv url: http://arxiv.org/abs/2611.16345v1
- Date: Thu, 12 Nov 2026 06:04:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.373753
- Title: DRAMA: Dissecting Attention Redundancy for Accelerating Multimodal Diffusion Large Language Models
- Title(参考訳): DRAMA:マルチモーダル拡散大言語モデルの高速化のための注意冗長化
- Abstract要約: マルチモーダル拡散大言語モデル (dLLM) は、双方向の注意を伴う反復的マスキングによるテキストを生成する。
既存のマルチモーダルdLLMに対する推論加速度アプローチは、注意冗長性を暗黙的に特徴付ける。
マルチモーダルdLLMにおける注意冗長性の系統的解離に基づく学習自由加速フレームワークを開発した。
- 参考スコア(独自算出の注目度): 26.286730802985435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal diffusion large language models (dLLMs) generate text through iterative masked denoising with bidirectional attention, offering a compelling alternative to autoregressive vision-language modeling. However, each denoising step requires a full forward pass over long multimodal sequences in which visual tokens dominate the sequence length, and a fixed step budget further compounds this quadratic per-step cost. Existing inference acceleration approaches for multimodal dLLMs characterize attention redundancy implicitly, motivating designs from isolated attention visualizations rather than from measurement. We close this gap with DRAMA, a training-free acceleration framework grounded in a systematic dissection of attention redundancy in multimodal dLLMs. By probing attention tensors along spatial and temporal axes, we reveal two persistent redundancy structures: (i) attention mass consistently concentrates on a sparse subset of visual tokens, and (ii) attention distributions rapidly stabilize across denoising steps after an initial formation phase. These findings motivate two complementary mechanisms: Spatial-Redundancy-Aware Visual Token Pruning (SVTP) and Sufficiency-Guided Adaptive Stopping (SGAS). Together, DRAMA achieves an average 18.67 times inference speedup across six vision-language benchmarks without training, architectural modification, or attention caching, while maintaining competitive accuracy. Our results establish a strong, measurement-grounded acceleration baseline for multimodal dLLM inference.
- Abstract(参考訳): マルチモーダル拡散大言語モデル(dLLMs)は、双方向の注意を払って反復的マスキングによってテキストを生成し、自動回帰視覚言語モデリングに代わる魅力的な代替手段を提供する。
しかし、各デノイングステップは、視覚トークンがシーケンス長を支配している長いマルチモーダルシーケンスの完全なフォワードパスを必要とし、固定ステップ予算は、この二次的なステップ毎のコストをさらに複雑にする。
既存のマルチモーダルdLLMの推論加速度アプローチは、測定からではなく、孤立した注意可視化から設計を動機付け、注意冗長性を暗黙的に特徴付ける。
DRAMAは,マルチモーダルdLLMにおける注意冗長性の系統的解離を前提とした学習自由加速フレームワークである。
空間的および時間的軸に沿った注意テンソルを探索することにより、2つの永続的冗長構造を明らかにする。
(i)注目質量は、視覚トークンのまばらな部分集合に一貫して集中し、
(II)初期形成段階以降の認知段階の注意分布は急速に安定する。
これらの知見は,空間的冗長性を考慮した視覚的トーケンプルーニング (SVTP) と適応停止 (SGAS) の2つの相補的なメカニズムを動機付けている。
DRAMAは、トレーニング、アーキテクチャ修正、アテンションキャッシングなしで6つの視覚言語ベンチマークで平均18.67倍の推論速度を達成し、競争精度を維持している。
本研究は,マルチモーダルdLLM推論のための強力な地上加速度ベースラインを構築した。
関連論文リスト
- Step-dLLM: Adaptive Step-aware Sparse Attention for Efficient Diffusion LLM Inference [21.77719787032667]
拡散大言語モデル (dLLMs) は反復的 denoising を通じてトークンを並列に生成する。
彼らの双方向の注意は、自己回帰モデルで使用されるKVキャッシュを防止し、すべてのステップでフルアテンションマップを再計算する。
本稿では,ブロックスパースマスクを周期的に復調するステップ-dLLMを提案する。
Step-dLLM は IO 対応 Triton カーネルによってブロックスパークの注意を喚起し、LLa 上の高密度 FlashAttention よりも2.78倍のエンドツーエンドの高速化を実現した。
論文 参考訳(メタデータ) (2026-10-31T22:42:20Z) - UltraDub: Towards Authentic Dubbing by Unifying Visually-Steered Flow Learning and Trajectory Guidance [82.04530909080398]
視覚的音声クローニングのための学習・軌道誘導フレームワークであるUltraDubを提案する。
MDRモジュールは、共通のリップモーションクエリー残量を通じて言語と話者スタイルの検索を継続的に調整する。
RTGは、視覚のみの予測中間点において階層的マルチモーダル補正を評価する、トレーニング不要のメカニズムである。
論文 参考訳(メタデータ) (2026-10-05T07:49:18Z) - Attention Routing Stabilizes Early: Working-Set Inference for Recurrent Language Models [4.667009647193296]
注意経路が再帰的な深さにわたってどのように進化するかを考察し、収束時間スケールで一貫した分離を見出す。
WISE(Working-set Inference with Support Exploitation)は,ブロック構造を有する作業セットを早期に発見するために,制限のない注意力を利用する訓練自由な手法である。
論文 参考訳(メタデータ) (2026-09-23T05:21:10Z) - Continuous-Time Distribution Matching for Few-Step Diffusion Distillation [57.28746398500951]
本稿では,CDM(Continuous-Time Distribution Matching)を導入し,DMDフレームワークを個別アンカーから連続最適化へ移行する。
まず、固定離散スケジュールをランダム長の動的連続スケジュールに置き換える。
第二に、学生の速度場を介して外挿された潜伏者に対してアクティブな軌道外マッチングを行う連続時間アライメント目的を提案する。
論文 参考訳(メタデータ) (2026-05-07T14:56:39Z) - OmniForcing: Unleashing Real-time Joint Audio-Visual Generation [51.031726911410594]
最近のジョイントオーディオ・視覚拡散モデルは、優れた生成品質を実現するが、高いレイテンシーに悩まされる。
OmniForcingは、オフラインの双方向拡散モデルを高忠実度ストリーミングオートレジェネレータに蒸留する最初のフレームワークである。
論文 参考訳(メタデータ) (2026-03-12T08:17:36Z) - Causality in Video Diffusers is Separable from Denoising [38.11368818072302]
因果関係は、ビデオ、言語、ロボット軌道など、多くの複雑な生成過程の基盤となっている。
現在の因果拡散モデルでは、時間的推論を反復的妄想と結び付け、すべての層に因果的注意を向ける。
これらのモデルにおける因果推論は、多段階の分極過程から分離可能であることを示す。
これらの知見に触発されて、多段階フレームワイドレンダリングから因果トランスフォーマーエンコーダを介して、1フレーム毎の時間的推論を明示的に分離する新しいアーキテクチャであるSCD(Separable Causal Diffusion)を導入する。
論文 参考訳(メタデータ) (2026-02-10T18:57:21Z) - USV: Unified Sparsification for Accelerating Video Diffusion Models [11.011602744993942]
ビデオ拡散モデルのための統一スパシフィケーションは、エンドツーエンドのトレーニング可能なフレームワークである。
モデルの内部計算とサンプリングプロセスの両方でスパーシフィケーションをオーケストレーションする。
最大83.3%のスピードアップと22.7%のエンドツーエンドの加速を実現し、高い視力を維持している。
論文 参考訳(メタデータ) (2025-12-05T14:40:06Z) - MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。
MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
論文 参考訳(メタデータ) (2025-06-29T06:41:00Z) - Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。
中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。
大規模な実験ではPPADの大幅な改善が示されている。
論文 参考訳(メタデータ) (2025-05-26T14:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。