Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model
Abstractの概要
Mage-VLは、フレームを均等にサンプリングする代わりに、動きベクトルと残差情報を利用して動的なパッチを選択するコーデックネイティブな視覚エンコーダであるMage-ViTを中心に構築された、40億パラメータのストリーミング視覚言語モデルである。システムは高密度のアンカーフレームと疎な予測フレームを処理し、それらの視覚トークンをQwen3-4B言語デコーダや、ビデオストリームでの事前対応的な応答トリガーとしての軽量な認識ゲートと組み合わせる。本論文では、画像キャプション、画像指示、ビデオキャプション、およびストリーミングイベントの教師データにまたがる、5段階の学習カリキュラムと大規模なデータパイプラインについても説明している。全体を通して、時間的コンテキストを維持しつつ過剰な視覚計算を削減することで、リアルタイムでのマルチモーダル理解とビデオ処理の効率を向上させることが中心的な目的となっている。
新規性
主な新規性は、ストリーミングマルチモーダルモデリングの視覚フロントエンドをコーデックネイティブにしたことである。すなわち、Mage-VLは高密度なフレーム単位のエンコーディングではなく、コーデックから得られる時間的な予測可能性に基づいてトークンを割り当てる。また、この疎なコーデック表現をイベントトリガー型の相互作用のための発話/沈黙の認識ゲートと組み合わせている点や、画像中心のベースラインに比べて大幅に少ない事前学習データで視覚エンコーダをゼロから学習している点でも際立っている。
成果
Mage-VL-4Bは、多くの静止画像タスクにおいてQwen3-VL-4Bと同等の性能を維持しつつ、さまざまなビデオ、時間的グラウンディング、空間推論のベンチマークで向上を示していると報告されている（例として、NextQAでは79.8に対し83.1、VideoMMEでは59.7に対し64.0など）。コーデックネイティブな設計により視覚トークンを約75%削減し、均等なフレームサンプリングと比較して実時間推論速度が最大3.5倍向上したと報告されており、精度を向上させつつNextQAの評価時間を1460秒から415秒に短縮した。ストリーミング評価において、Mage-VLはSoccerNet-Captionで55.54%のTimVal、OVO-Benchで平均64.00を達成しており、競争力のある応答タイミングとリアルタイムの認識品質を示している。
論文の注目点
- Mage-VLは、均等なフレームサンプリングをコーデック主導の疎なパッチ選択に置き換え、高密度のアンカーフレームのコンテキストを維持しつつ、動きが顕著な予測フレーム領域に計算を集中させる。
- このモデルは、画像、ビデオ、コーデックストリーム、およびストリーミングイベントデータに関する段階的なカリキュラムを通じて学習されており、データ構築のためのAI支援によるキャプション最適化パイプラインが導入されている。
- 実証において、特に長時間のビデオ理解、時間的グラウンディング、およびストリーミングインタラクションにおいて、高密度のフレームベースラインよりも優れた効率と精度のトレードオフが報告されている。