論文の概要: LoomVideo: Unifying Multimodal Inputs into Video Generation and Editing

• arxiv url: http://arxiv.org/abs/2606.06042v2
• Date: Fri, 05 Jun 2026 04:03:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 12:21:17.575953
• Title: LoomVideo: Unifying Multimodal Inputs into Video Generation and Editing
• Title（参考訳）: LoomVideo:マルチモーダル入力をビデオ生成と編集に統合
• Abstract要約: ビデオ生成と編集の両面において,高効率な5Bパラメータ統一アーキテクチャであるLoomVideoを提案する。 このエレガントな設計は、クリーンソースビデオラテントをノイズターゲットラテントにスケーリングおよび直接付加することにより、トークン結合の必要性を排除している。 我々のコンパクトな5Bモデルは、包括的なベンチマークで最先端または高い競争性能を達成する。
• 参考スコア（独自算出の注目度）: 28.426681930851604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing unified video generation and editing models capable of interpreting interleaved multimodal inputs is a promising yet challenging frontier field. Existing unified frameworks predominantly rely on massive models (typically 13B parameters or more) and incorporate source video conditions for editing by concatenating sequence tokens. This concatenation inevitably doubles the sequence length, quadrupling the computational complexity of the self-attention mechanism and introducing prohibitive overhead. To address these bottlenecks, we present LoomVideo, a highly efficient 5B-parameter unified architecture for both video generation and editing. LoomVideo replaces the standard text encoder with a Multimodal Large Language Model (MLLM) and employs Deepstack injection mechanism to align multi-layer MLLM features with the Diffusion Transformer (DiT). Crucially, we introduce a zero-overhead Scale-and-Add conditioning approach for video editing. By scaling and directly adding the clean source video latent to the noised target latent, this elegant design eliminates the need for token concatenation, drastically reducing computational cost while maintaining robust capabilities for complex, non-rigid edits. Furthermore, a Negative Temporal RoPE strategy is seamlessly integrated to handle multiple reference images. Extensive experiments demonstrate that our compact 5B model achieves state-of-the-art or highly competitive performance across comprehensive benchmarks, exhibiting exceptional superiority in e-commerce and fashion generation scenarios. Benefiting from the zero-overhead conditioning mechanism, LoomVideo achieves at least a 5.41x acceleration in inference speed compared to models of similar capabilities, paving the way for highly practical and efficient video foundation models.
• Abstract（参考訳）: インターリーブされたマルチモーダル入力を解釈できる統合ビデオ生成および編集モデルを開発することは、有望だが挑戦的なフロンティアフィールドである。 既存の統合フレームワークは主に巨大なモデル(典型的には13Bパラメータ以上)に依存しており、シーケンストークンを連結して編集するためのソースビデオ条件が組み込まれている。 この結合は必然的にシーケンスの長さを2倍にし、自己保持機構の計算複雑性を4倍にし、禁止的なオーバーヘッドを導入する。 これらのボトルネックに対処するため,ビデオ生成と編集の両面において,高効率な5Bパラメータ統一アーキテクチャであるLoomVideoを提案する。 LoomVideoは、標準のテキストエンコーダをMLLM(Multimodal Large Language Model)に置き換え、Diffusion Transformer (DiT)と多層MLLMの機能の整合にDeepstackインジェクション機構を使用する。 重要なことは、ビデオ編集のためのゼロオーバーヘッドスケール・アンド・アドコンディショニング手法を導入することである。 このエレガントな設計は、ノイズをターゲットとした遅延にクリーンなソース映像をスケーリングして直接追加することにより、トークンの連結の必要性を排除し、複雑で非厳密な編集のための堅牢な機能を維持しながら、計算コストを大幅に削減する。 さらに、複数の参照画像を処理するために、負の時間的 RoPE 戦略をシームレスに統合する。 大規模な実験により、我々のコンパクトな5Bモデルは、包括的なベンチマークで最先端または高い競争性能を達成し、電子商取引とファッション生成のシナリオにおいて例外的な優位性を示します。 LoomVideoはゼロオーバーヘッド条件付け機構から恩恵を受け、同様の能力のモデルと比較して推論速度の少なくとも5.41倍の加速を実現し、非常に実用的で効率的なビデオ基盤モデルへの道を開いた。

関連論文リスト

• Sol Video Inference Engine: Agent-Native Full-Stack Acceleration Framework for Efficient Video Generation [50.504140880964336]
  本稿では,ビデオ拡散モデルのためのエージェント型,ネイティブな,トレーニング不要なアクセラレーションフレームワークであるSol Video Inferenceを紹介する。 キャッシュ、スパースアテンション、トークンプルーニング、量子化、カーネル融合の5つの広く適用可能なテクニックをエージェントアクセラレーションスタックにまとめる。 ほぼロスレスなVBench品質を維持しながら、エンドツーエンドのアクセラレーションを2倍以上に向上させる。
  論文  参考訳（メタデータ） (2026-06-21T17:23:20Z)
• Omni-Video 2: Scaling MLLM-Conditioned Diffusion for Unified Video Generation and Editing [21.525921468472685]
  本稿では,事前訓練されたマルチモーダル大言語モデル(MLLM)とビデオ拡散モデルとを接続し,ビデオ生成と編集を行うスケーラブルで効率的なモデルを提案する。 我々のキーとなる考え方は、MLLMの理解と推論能力を利用して、明示的なターゲットキャプションを生成し、ユーザー指示を解釈することである。 我々は,微細なビデオ編集のためのFiVEベンチマークとテキスト・ツー・ビデオ生成のためのVBenchベンチマークにおいて,Omni-Video 2の性能を評価する。
  論文  参考訳（メタデータ） (2026-02-09T15:56:05Z)
• LoViC: Efficient Long Video Generation with Context Compression [68.22069741704158]
  百万単位のオープンドメインビデオに基づいてトレーニングされたDiTベースのフレームワークであるLoViCを紹介する。 当社のアプローチの核心はFlexFormerです。ビデオとテキストを統合された潜在表現に共同で圧縮する表現型オートエンコーダです。
  論文  参考訳（メタデータ） (2025-07-17T09:46:43Z)
• M4V: Multi-Modal Mamba for Text-to-Video Generation [58.51139515986472]
  テキスト・ビデオ・ジェネレーションはコンテンツを豊かにし、強力な世界シミュレータを作る可能性を秘めている。 広大な空間のモデリングは、特にシークエンス処理に二次的を利用する場合、計算的に要求される。 テキスト・ビデオ生成のためのマルチモーダル・マンバフレームワークを提案する。 テキストとビデオのベンチマーク実験では、M4Vが高品質なビデオを生成する能力を示しながら、計算コストを大幅に削減した。
  論文  参考訳（メタデータ） (2025-06-12T17:29:40Z)
• StreamBridge: Turning Your Offline Video Large Language Model into a Proactive Streaming Assistant [27.21599940736722]
  オフラインビデオLLMをストリーミング対応モデルにシームレスに変換するフレームワークであるStreamBridgeを紹介します。 既存のモデルをオンラインシナリオに適応する上での根本的な課題は,(1)マルチターンリアルタイム理解能力の制限,(2)プロアクティブ応答機構の欠如である。
  論文  参考訳（メタデータ） (2025-05-08T17:57:40Z)
• Mobile-VideoGPT: Fast and Accurate Video Understanding Language Model [60.171601995737646]
  Mobile-VideoGPTはビデオ理解のための効率的なマルチモーダルフレームワークである。 軽量なデュアルビジュアルエンコーダ、効率的なプロジェクタ、小型言語モデル(SLM)で構成されている。 その結果,Mobile-VideoGPT-0.5Bは最大46トークンを毎秒生成できることがわかった。
  論文  参考訳（メタデータ） (2025-03-27T17:59:58Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• Video-Panda: Parameter-efficient Alignment for Encoder-free Video-Language Models [26.866184981409607]
  本稿では,計算オーバーヘッドを大幅に削減しつつ,競争性能を向上するビデオ言語理解のための効率的なエンコーダレス手法を提案する。 本稿では,ビデオ入力を直接処理する時空間アライメントブロック(STAB)を提案する。 本モデルでは,標準ベンチマークによるオープンエンドビデオ質問応答に対して,エンコーダに基づくアプローチに匹敵する,あるいは優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-12-24T18:59:56Z)
• When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding [118.72266141321647]
  CMVC(Cross-Modality Video Coding)は、ビデオ符号化における多モード表現とビデオ生成モデルを探索する先駆的な手法である。 復号化の際には、以前に符号化されたコンポーネントとビデオ生成モデルを利用して複数の復号モードを生成する。 TT2Vは効果的な意味再構成を実現し,IT2Vは競争力のある知覚整合性を示した。
  論文  参考訳（メタデータ） (2024-08-15T11:36:18Z)
• DreamFrame: Enhancing Video Understanding via Automatically Generated QA and Style-Consistent Keyframes [11.2645921649719]
  最近の視覚言語モデル(LVLM)は、主にオンラインプラットフォームから抽出された様々なスクレイピングによって微調整されている。 現在のLVLMは主に、広範囲で汎用的な設定で既存のデータセットでトレーニングされているが、特定のダウンストリームシナリオに適応することは依然として難しい。 そこで我々はDreamFrameという3段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-03T07:43:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。