InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning
Abstractの概要
InternVideo3は、長時間の動画理解のための枠組みであり、マルチモーダル理解を進行する共有コンテキスト上の閉ループプロセスであるMultimodal Contextual Reasoning（MCR）として再定義しています。このアプローチでは、観察結果、中間的な推論、ツールのアクション、フィードバック、およびメモリがすべて統合されたコンテキストに追加され、モデルが時間をかけて証拠を蓄積し、推測を修正し、回答を検証できるようになります。このような長い展開プロセスを実用化するために、本論文では、完全なマルチモーダルトークンストリームを保持したままKVキャッシュのステータスを圧縮するMultimodal Multi-head Latent Attention（M2LA）を導入しています。システムは、アテンション変換後の継続的な事前学習、短時間から長時間への教師あり微調整、ルールベースの強化学習、およびオンポリシー蒸留を用いて学習されます。実験では、長尺動画、短尺動画、および時空間のベンチマークにおいて高いオープンウェイト性能を示し、特に複数の長期タスクで非常に強力な結果を達成しました。
新規性
本論文の主な新規性は、動画向けの閉ループマルチモーダル推論の定式化（MCR）と、トークンを破棄せずにキャッシュされたアテンション状態を圧縮することで長コンテキストのマルチモーダル展開を対象とするアテンション再パラメータ化（M2LA）を組み合わせた点にあります。さらに、これを段階的な長期トレーニング手法と、検索、グラウンディング、検証ツールを同じ進化するコンテキスト内に統合する動画エージェントの実装と組み合わせています。
成果
InternVideo3は、Video-MME、MLVU、VRBench、EgoSchemaなどの複数の長尺動画ベンチマークにおいて表中で最高のオープンウェイト結果を報告しており、短尺動画評価におけるショートQAの平均値でも挙げられたオープンウェイトモデルをリードしています。時空間評価においては、3つの時間的グラウンディングのベンチマークすべてでリスト中最高のオープンウェイト結果を達成し、特にVSIBenchやMMSIBench-Videoでは強力な空間的結果を示しています。また、M2LAは長コンテキスト推論の効率も向上させ、コンテキスト長に一致して増加するデコードスループットの向上し、元のモデルがメモリ不足になる768Kのプレフィルトークンでも実行可能であることが報告されています。
論文の注目点
- InternVideo3は、観察、推論の履歴、ツールの出力、フィードバック、メモリを共有の進化するコンテキストに配置することで、動画理解を再帰的な証拠収集プロセスとしてモデル化している。
- 提案されたM2LAアテンション機構は、完全なトークンストリームを維持しつつ長時間のマルチモーダル展開におけるKVキャッシュコストを削減し、大幅に長いコンテキストとより高速な長コンテキストデコーディングをサポートする。
- 実証的に、本モデルは特に長期の動画タスクや時間的グラウンディングで強力なオープンウェイトベンチマーク性能を示し、論文では検索および検証ツールを備えた動画エージェントの設定も実演している。
参考リンク
- arXiv: https://arxiv.org/abs/2606.12195v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.12195v1
- Hugging Face Papers: https://huggingface.co/papers/2606.12195