論文の概要: VidLaDA: Bidirectional Diffusion Large Language Models for Efficient Video Understanding

• arxiv url: http://arxiv.org/abs/2601.17868v2
• Date: Thu, 29 Jan 2026 11:14:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 14:13:19.846323
• Title: VidLaDA: Bidirectional Diffusion Large Language Models for Efficient Video Understanding
• Title（参考訳）: VidLaDA: 効率的なビデオ理解のための双方向拡散大言語モデル
• Authors: Zhihao He, Tieyuan Chen, Kangyu Wang, Ziran Qin, Yang Shao, Chaofan Gan, Shijie Li, Zuxuan Wu, Weiyao Lin,
• Abstract要約: 現在のビデオ大言語モデル(ビデオLLM)は、典型的にはエンコーダビジョンを介してフレームを符号化し、自己回帰(AR)LLMを使用して理解と生成を行う。 本稿では,言語モデル(DLM)に基づく拡散ビデオLLMであるVidLaDAを提案する。 実験によると、VidLaDAは最先端のARベースラインと競合し、DLMベースラインを上回り、MARS-Cacheは精度を損なうことなく12倍のスピードアップを提供する。
• 参考スコア（独自算出の注目度）: 52.69880888587866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current Video Large Language Models (Video LLMs) typically encode frames via a vision encoder and employ an autoregressive (AR) LLM for understanding and generation. However, this AR paradigm inevitably faces a dual efficiency bottleneck: strictly unidirectional attention compromises understanding efficiency by hindering global spatiotemporal aggregation, while serial decoding restricts generation efficiency. To address this, we propose VidLaDA, a Video LLM based on Diffusion Language Models (DLMs) that leverages bidirectional attention to unlock comprehensive spatiotemporal modeling and decode tokens in parallel. To further mitigate the computational overhead of diffusion decoding, we introduce MARS-Cache, an acceleration strategy that prunes redundancy by combining asynchronous visual cache refreshing with frame-wise chunk attention. Experiments show VidLaDA rivals state-of-the-art AR baselines (e.g., Qwen2.5-VL and LLaVA-Video) and outperforms DLM baselines, with MARS-Cache delivering over 12x speedup without compromising accuracy. Code and checkpoints are open-sourced at https://github.com/ziHoHe/VidLaDA.
• Abstract（参考訳）: 現在のビデオ大言語モデル(ビデオLLM)は、一般的にビジョンエンコーダを介してフレームを符号化し、自己回帰型(AR)LLMを使用して理解と生成を行う。 しかし、このARパラダイムは必然的に二重効率のボトルネックに直面し、厳密な一方向の注意はグローバルな時空間集約を妨げることによって効率を損なう一方、シリアルデコーディングは生成効率を制限する。 そこで本研究では,拡散言語モデル(DLM)に基づくビデオLLMであるVidLaDAを提案する。 拡散復号化の計算オーバーヘッドを緩和するために,非同期視覚キャッシュリフレッシュとフレームワイド・チャンク・アテンションを組み合わせることで冗長性を誘発するMARS-Cacheを導入する。 実験によると、VidLaDAは最先端のARベースライン(例えば、Qwen2.5-VLとLLaVA-Video)と競合し、DLMベースラインを上回っている。 コードとチェックポイントはhttps://github.com/ziHoHe/VidLaDA.comで公開されている。

関連論文リスト

• treaming-dLLM: Accelerating Diffusion LLMs via Suffix Pruning and Dynamic Decoding [36.74241893088594]
  拡散大言語モデル(dLLM)は、自然言語生成に魅力的なパラダイムを提供する。 最近の研究はKVキャッシュの再利用や復号化を通じて推論を加速しているが、ブロックワイド拡散プロセスにおける本質的な非効率性を見落としている。 本稿では,空間次元と時間次元の両方にわたって推論を合理化する学習自由フレームワークStreaming-dLLMを提案する。
  論文  参考訳（メタデータ） (2026-01-25T17:36:04Z)
• Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
  Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。 これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
  論文  参考訳（メタデータ） (2025-09-30T14:40:18Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
  Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。 本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。 我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
  論文  参考訳（メタデータ） (2025-05-21T17:32:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。