論文の概要: Mavors: Multi-granularity Video Representation for Multimodal Large Language Model

• arxiv url: http://arxiv.org/abs/2504.10068v1
• Date: Mon, 14 Apr 2025 10:14:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:56:08.869964
• Title: Mavors: Multi-granularity Video Representation for Multimodal Large Language Model
• Title（参考訳）: Mavors:マルチモーダル大言語モデルのための多言語ビデオ表現
• Authors: Yang Shi, Jiaheng Liu, Yushuo Guan, Zhenhua Wu, Yuanxing Zhang, Zihao Wang, Weihong Lin, Jingyun Hua, Zekun Wang, Xinlong Chen, Bohan Zeng, Wentao Zhang, Fuzheng Zhang, Wenjing Yang, Di Zhang,
• Abstract要約: $mathbfMavors$は、全体的ロングビデオモデリングのための新しいフレームワークである。 Mavorsは生のビデオコンテンツを2つのコアコンポーネントを通して潜在表現にエンコードする。 このフレームワークは、イメージを単一フレームビデオとして扱うことにより、画像とビデオの理解を統一する。
• 参考スコア（独自算出の注目度）: 39.24524388617938
• License:
• Abstract: Long-context video understanding in multimodal large language models (MLLMs) faces a critical challenge: balancing computational efficiency with the retention of fine-grained spatio-temporal patterns. Existing approaches (e.g., sparse sampling, dense sampling with low resolution, and token compression) suffer from significant information loss in temporal dynamics, spatial details, or subtle interactions, particularly in videos with complex motion or varying resolutions. To address this, we propose $\mathbf{Mavors}$, a novel framework that introduces $\mathbf{M}$ulti-gr$\mathbf{a}$nularity $\mathbf{v}$ide$\mathbf{o}$ $\mathbf{r}$epre$\mathbf{s}$entation for holistic long-video modeling. Specifically, Mavors directly encodes raw video content into latent representations through two core components: 1) an Intra-chunk Vision Encoder (IVE) that preserves high-resolution spatial features via 3D convolutions and Vision Transformers, and 2) an Inter-chunk Feature Aggregator (IFA) that establishes temporal coherence across chunks using transformer-based dependency modeling with chunk-level rotary position encodings. Moreover, the framework unifies image and video understanding by treating images as single-frame videos via sub-image decomposition. Experiments across diverse benchmarks demonstrate Mavors' superiority in maintaining both spatial fidelity and temporal continuity, significantly outperforming existing methods in tasks requiring fine-grained spatio-temporal reasoning.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)における長文ビデオ理解は、計算効率と微細な時空間パターンの保持のバランスをとるという重要な課題に直面している。 既存のアプローチ(例えばスパースサンプリング、低解像度の高密度サンプリング、トークン圧縮)は、時間力学、空間的詳細、微妙な相互作用、特に複雑な動きや様々な解像度の動画において重要な情報損失を被る。 これを解決するために,$\mathbf{Mavors}$, $\mathbf{M}$ulti-gr$\mathbf{a}$nularity $\mathbf{v}$ide$\mathbf{o}$ $\mathbf{r}$epre$\mathbf{s}$entationを導入した新しいフレームワークを提案する。 具体的には、Mavorsは2つのコアコンポーネントを通して生のビデオコンテンツを遅延表現に直接エンコードする。 1)3Dコンボリューションと視覚変換器を介して高精細な空間的特徴を保存できるチャンク内ビジョンエンコーダ(IVE) 2) チャンクレベルの回転位置符号化を用いたトランスフォーマーベース依存性モデリングを用いてチャンク間の時間的コヒーレンスを確立するチャンク間特徴集合体(IFA)。 さらに、このフレームワークは、画像をサブイメージ分解によって単一のフレームビデオとして扱うことにより、画像と映像の理解を統一する。 多様なベンチマークによる実験は、空間的忠実性と時間的連続性の両方を維持する上で、Mavorsの優位性を示し、微細な時空間推論を必要とするタスクにおいて既存の方法よりも著しく優れていた。

関連論文リスト

• MotionAura: Generating High-Quality and Motion Consistent Videos using Discrete Diffusion [3.7270979204213446]
  ビデオ処理の課題に対処するための4つの重要なコントリビューションを提示する。 まず,3次元逆ベクトル量子化バリエンコエンコオートコーダを紹介する。 次に,テキスト・ビデオ生成フレームワークであるMotionAuraを紹介する。 第3に,スペクトル変換器を用いたデノナイジングネットワークを提案する。 第4に,Sketch Guided Videopaintingのダウンストリームタスクを導入する。
  論文  参考訳（メタデータ） (2024-10-10T07:07:56Z)
• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
  本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。 オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。 実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
  論文  参考訳（メタデータ） (2024-06-10T15:26:48Z)
• SViTT: Temporal Learning of Sparse Video-Text Transformers [65.93031164906812]
  SViTTは,多フレーム推論が可能な疎ビデオテキストアーキテクチャであり,注目度の高い単純変換器よりもはるかに低コストである。 SViTTは、自己注意におけるトークン間のクエリキー通信を制限するエッジ空間と、非形式的視覚トークンを破棄する空間の2つの形式を採用している。
  論文  参考訳（メタデータ） (2023-04-18T08:17:58Z)
• Temporally Consistent Transformers for Video Generation [80.45230642225913]
  正確なビデオを生成するには、アルゴリズムは世界の空間的および時間的依存関係を理解する必要がある。 時間依存性のあるビデオ生成を厳格に評価するために、複雑なデータに関する確立されたベンチマークは存在しない。 本稿では,長期間の一貫性を著しく向上し,サンプリング時間を短縮するTemporally Consistent Transformer(TECO)を提案する。
  論文  参考訳（メタデータ） (2022-10-05T17:15:10Z)
• Multi-Attention Network for Compressed Video Referring Object Segmentation [103.18477550023513]
  ビデオオブジェクトのセグメンテーションの参照は、与えられた言語表現によって参照されるオブジェクトをセグメンテーションすることを目的としている。 既存の作業は通常、圧縮されたビデオビットストリームをセグメント化する前にRGBフレームにデコードする必要がある。 これにより、自動運転車やドローンなど、現実のコンピューティングリソースの制限されたシナリオでの応用が妨げられる可能性がある。
  論文  参考訳（メタデータ） (2022-07-26T03:00:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。