論文の概要: Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model

• arxiv url: http://arxiv.org/abs/2607.24904v1
• Date: Mon, 27 Jul 2026 17:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.577946
• Title: Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model
• Title（参考訳）: Mage-VL: 効率的なコーデック-Native Streaming Multimodal Foundationモデル
• Abstract要約: 本稿では,リアルタイムマルチモーダル理解とインタラクションのための効率的なストリーミング基盤モデルであるMage-VLを提案する。 その中核として、我々のカスタムトークンであるMage-ViTは、動的エントロピーリッチな領域を選択的に符号化することで、一様フレームサンプリングを置き換える。 我々は、キャプションとAI駆動のパフォーマンス診断のためのプロンプトコード共同最適化を含むAI4AIデータパイプラインを確立する。
• 参考スコア（独自算出の注目度）: 60.85752511708308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard vision-language models (VLMs) suffer from Moravec's paradox: they excel at complex offline visual reasoning but struggle with simple streaming perception tasks and process them inefficiently. We present Mage-VL, an efficient codec-native streaming foundation model for real-time multimodal understanding and interaction. At its core, our custom tokenizer, Mage-ViT, replaces uniform frame sampling by selectively encoding dynamic, entropy-rich regions using motion vectors and residual energy across sparse anchor (I) and predicted (P) frames. Operating at a 16 x 16 patch level, this reduces visual token consumption by over 75% while preserving spatiotemporal context. Trained from scratch on approximately 560M unlabeled images and 100M unlabeled video frames, Mage-ViT matches or outperforms flagship encoders trained on billions of image-text pairs. We establish AI4AI data pipelines encompassing prompt-code joint optimization for multimodal captioning and AI-driven performance diagnosis to guide training recipes. Furthermore, through a bio-inspired dual-system architecture - a lightweight System 1 event gate and a causal System 2 decoder - Mage-VL enables proactive streaming perception. Extensive evaluations show that Mage-VL-4B matches Qwen3-VL-4B on static tasks while achieving strong gains in video understanding and 2D/3D spatial reasoning, with up to a 3.5x wall-clock inference speedup, and comprehensively surpasses the 15B Phi-4-reasoning-vision baseline. Beyond model artifacts, we deliver seven key empirical findings covering pre-training data efficiency, variable-resolution scaling, codec system acceleration, VideoQA SFT redundancy, motion-spatial synergy, AI4AI data pipelines, and Zero-Vision SFT for multimodal RL.
• Abstract（参考訳）: 標準的な視覚言語モデル(VLM)はモラベックのパラドックスに悩まされ、複雑なオフラインの視覚的推論に優れるが、単純なストリーミング認識タスクに苦労し、非効率に処理する。 リアルタイムマルチモーダル理解とインタラクションのための効率的なコーデックネイティブストリーミング基盤モデルであるMage-VLを提案する。 その中核となるのが、我々のカスタムトークンであるMage-ViTであり、運動ベクトルとスパースアンカー(I)および予測(P)フレーム間の残留エネルギーを用いて、動的でエントロピーに富んだ領域を選択的に符号化することで、一様フレームサンプリングを置き換える。 16×16のパッチレベルで運用することで、時空間のコンテキストを維持しながら、視覚トークンの消費量を75%以上削減できる。 約560万のラベル付き画像と100万のラベル付きビデオフレームでゼロからトレーニングされたMage-ViTは、数十億のイメージテキストペアでトレーニングされたフラグシップエンコーダよりも優れています。 我々は、マルチモーダルキャプションのためのプロンプトコード共同最適化とAI駆動のパフォーマンス診断を含むAI4AIデータパイプラインを構築し、トレーニングレシピをガイドする。 さらに、バイオインスパイアされたデュアルシステムアーキテクチャ、軽量のSystem 1イベントゲートと因果的なSystem 2デコーダにより、Mage-VLはプロアクティブなストリーミング知覚を可能にする。 Mage-VL-4B は静的なタスクにおいて Qwen3-VL-4B と一致し,映像理解と2D/3次元空間推論において高い利得を達成し,最大3.5倍のウォールタイム推論速度を達成し,また15B Phi-4-resoning-vision ベースラインを網羅的に上回っている。 モデルアーティファクト以外にも、事前学習データ効率、可変解像度スケーリング、コーデックシステムアクセラレーション、ビデオQA SFT冗長性、モーション空間シナジー、AI4AIデータパイプライン、マルチモーダルRLのためのZero-Vision SFTを含む7つの重要な実験結果を提供している。

関連論文リスト

• MOSS-VL Technical Report [66.58420246189313]
  リアルタイムインタラクションを第一級機能として扱うオープンビジョン言語モデルファミリーであるMOSS-VLを提案する。 言語デコーダは、ゲートされたクロスアテンションを通してのみビジョンに出席する。 オフラインでは、MOSS-VL-Instructは、競合するスケールで競合し、時間的推論ビデオセットをリードする。
  論文  参考訳（メタデータ） (2026-08-15T05:12:53Z)
• Kwai Keye-VL-2.0 Technical Report [53.82434681649277]
  Keye-VL-2.0は、長期ビデオ理解とエージェントインテリジェンスを促進するために設計されたマルチモーダル基盤モデルである。 DeepSeek Sparse Attention (DSA)をGQAベースのマルチモーダルアーキテクチャに適応したのは,これが初めてである。 コンテクスト-RLとビデオ-RLを併用したMOPD(Cross-Modal Multi-Teacher On-Policy Distillation)は破滅的忘れのアルゴリズム的ジレンマを克服する。
  論文  参考訳（メタデータ） (2026-06-09T09:58:08Z)
• FlashVID: Efficient Video Large Language Models via Training-free Tree-based Spatiotemporal Token Merging [27.981298261747288]
  FlashVIDはビデオ大言語モデル(VLLM)のためのトレーニング不要のアクセラレーションフレームワークである 基本的なビデオ表現のために最も代表的なトークンを選択し、その後、微細な時間的冗長性にTree-based Stemporal Tokenging (TSTM)を適用する。 FlashVIDは、長いビデオフレームを拡張するためのトレーニングフリーでプラグアンドプレイモジュールとして機能し、Qwen2.5-VLに入力されるビデオフレームを10倍増やすことができる。
  論文  参考訳（メタデータ） (2026-02-08T15:56:46Z)
• MiVID: Multi-Strategic Self-Supervision for Video Frame Interpolation using Diffusion Model [2.9795035162522194]
  この記事では、ビデオレンダリングのための軽量で自己監督型の拡散ベースのフレームワークであるMiVIDを紹介する。 本モデルでは,3次元U-Netバックボーンとトランスフォーマスタイルの時間的注意を組み合わせることで,明示的な動き推定の必要性を解消する。 この結果から,MiVIDは50エポックしか得られず,教師付きベースラインと競合することがわかった。
  論文  参考訳（メタデータ） (2025-11-08T14:10:04Z)
• AndesVL Technical Report: An Efficient Mobile-side Multimodal Large Language Model [40.488271586857884]
  AndesVLはQwen3のLLMと様々なビジュアルエンコーダに基づいて0.6Bから4Bのパラメータを持つモバイル側のMLLMのスイートである。 効率的なタスク適応とモデル圧縮を容易にするために,Quantization-Aware LoRA Fine-Tuningフレームワークとともに1+N LoRAアーキテクチャを導入する。 我々は、MediaTek Dimensity 9500チップにAndesVL-4Bをデプロイする際に、最大6.7倍のピーク復号率、最大30.9%のメモリ削減、1.8ビット/ウェイトを実現した。
  論文  参考訳（メタデータ） (2025-10-13T15:04:38Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)
• An Empirical Study of Training End-to-End Vision-and-Language Transformers [50.23532518166621]
  我々はMETER(textbfMultimodal textbfEnd-to-end textbfTransformtextbfER)を提案する。 具体的には、視覚エンコーダ(例えば、CLIP-ViT、Swin変換器)、テキストエンコーダ(例えば、RoBERTa、DeBERTa)、マルチモーダルフュージョン(例えば、マージアテンション対共振器)である。
  論文  参考訳（メタデータ） (2021-11-03T17:55:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。