論文の概要: InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning

• arxiv url: http://arxiv.org/abs/2606.12195v1
• Date: Wed, 10 Jun 2026 15:17:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.522182
• Title: InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning
• Title（参考訳）: InternVideo3:マルチモーダルなコンテキスト推論によるファンデーションモデルのエージェント化
• Authors: Ziang Yan, Sheng Xia, Jiashuo Yu, Yue Wu, Tianxiang Jiang, Songze Li, Kanghui Tian, Yicheng Xu, Yinan He, Kai Chen, Limin Wang, Yu Qiao, Yi Wang,
• Abstract要約: ビデオタスクにおけるマルチモーダル理解を強化するフレームワークであるInternVideo3を提案する。 MCRは理解を、共有、進化するコンテキスト上でのクローズドループプロセスとして扱う。 InternVideo3は、Video-MME、MLVU、Egoなどのベンチマークで強力なパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 61.87294123934038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in foundation models has shifted toward agentic behavior involving multi-step reasoning and tool use. However, open-source efforts largely focus on text-dominant settings, leaving long-horizon multimodal tasks underexplored. This gap is evident in video tasks requiring sustained temporal understanding and iterative interaction. We present InternVideo3, a framework enhancing these capabilities via Multimodal Contextual Reasoning (MCR). MCR treats understanding as a closed-loop process over a shared, evolving context containing observations, instructions, reasoning, tool actions, and memory. This frames long-video understanding as evidence accumulation and verification. To ensure efficiency, we introduce Multimodal Multi-head Latent Attention (M^2LA), a token-preserving reparameterization compressing KV-cache states while retaining the full token stream. Our staged training includes continued pretraining, short-to-long supervised fine-tuning, rule-based reinforcement learning, and on-policy distillation. Experiments show InternVideo3 achieves strong performance on benchmarks like Video-MME, MLVU, and EgoSchema. We further instantiate the model as a video agent with retrieval tools, demonstrating robust evidence-grounded behavior. Our results suggest that efficient context handling and closed-loop reasoning are vital for adapting open multimodal models toward long-horizon visually grounded agency.
• Abstract（参考訳）: 基礎モデルの最近の進歩は、多段階推論とツールの使用を含むエージェント的行動へと移行している。 しかし、オープンソースの取り組みは主にテキストに支配的な設定に重点を置いており、長期にわたるマルチモーダルタスクの探索が過小評価されている。 このギャップは、持続的な時間的理解と反復的な相互作用を必要とするビデオタスクにおいて明らかである。 InternVideo3は、Multimodal Contextual Reasoning (MCR)を介してこれらの機能を強化するフレームワークである。 MCRは理解を、観察、説明、推論、ツールアクション、メモリを含む共有、進化するコンテキスト上のクローズドループプロセスとして扱う。 これは、証拠の蓄積と検証として、長いビデオの理解を基盤にしている。 マルチモーダルマルチヘッド遅延注意(M^2LA)は,KVキャッシュ状態を圧縮したトークン保存型再パラメータ化である。 我々の段階訓練には、継続事前訓練、短期から長期の監督された微調整、規則に基づく強化学習、およびオンライン蒸留が含まれる。 実験によると、InternVideo3はVideo-MME、MLVU、EgoSchemaなどのベンチマークで高いパフォーマンスを実現している。 さらに,検索ツールを用いたビデオエージェントとしてモデルをインスタンス化し,ロバストなエビデンスに基づく動作を実証する。 この結果から, 閉ループ推論と効率的なコンテキストハンドリングは, オープンなマルチモーダルモデルに対して, 長期的視覚的対象に適応する上で不可欠であることが示唆された。

関連論文リスト

• STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models [81.32710031596591]
  ビデオ推論タスクには、動きの追跡、時間順、フレーム全体の視覚状態の進化が必要である。 視覚言語モデル(LVLM)上に構築された既存の手法はしばしば、チェーン・オブ・ソート(CoT)を通じて推論を外部化することでこの問題に対処する。 STORMSは,LVLMに明示的なテキストCoTではなく,有界な連続的な潜在軌道を推論する2段階のフレームワークである。
  論文  参考訳（メタデータ） (2026-05-25T16:33:00Z)
• EventMemAgent: Hierarchical Event-Centric Memory for Online Video Understanding with Adaptive Tool Use [9.106278853322008]
  EventMemAgentは階層型メモリモジュールに基づくアクティブなオンラインビデオエージェントフレームワークである。 短期記憶はイベント境界を検知し、イベントグラニュラー貯水池サンプリングを用いてストリーミングビデオフレームを処理する。 実験によると、EventMemAgentはオンラインビデオのベンチマークで競合する結果を内部化している。
  論文  参考訳（メタデータ） (2026-02-17T03:17:24Z)
• VideoZoomer: Reinforcement-Learned Temporal Focusing for Long Video Reasoning [49.35834435935727]
  VideoZoomerは、MLLMが推論中に視覚的焦点を制御することができる新しいエージェントフレームワークである。 私たちの7Bモデルは、多種多様な複雑な推論パターンを提供し、幅広いビデオ理解と推論のベンチマークに強いパフォーマンスをもたらします。 これらの創発的な能力は、既存のオープンソースモデルを一貫して上回り、挑戦的なタスクでプロプライエタリなシステムをライバルにさえできる。
  論文  参考訳（メタデータ） (2025-12-26T11:43:21Z)
• Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models [78.32948112203228]
  ビデオ理解はコンピュータビジョンにおける最も困難なフロンティアである。 近年,映像理解タスクにおいて,映像多時間モデルが顕著に出現している。 Surveyは、ビデオ-LMM能力を向上するための統一的なフレームワークを研究者や実践者に提供することを目的としている。
  論文  参考訳（メタデータ） (2025-10-06T17:10:44Z)
• Bisecle: Binding and Separation in Continual Learning for Video Language Understanding [11.710573955384511]
  海馬における高速な結合とパターン分離機構に着想を得たビデオ言語連続学習のためのBisecleを提案する。 Bisecleは、いくつかのVideoQAベンチマークにおいて、忘れを緩和し、クロスタスクの一般化を強化する。
  論文  参考訳（メタデータ） (2025-07-01T06:28:57Z)
• DaMO: A Data-Efficient Multimodal Orchestrator for Temporal Reasoning with Video LLMs [5.074812070492738]
  本稿では,正確な時間的推論とマルチモーダル理解を目的とした,データ効率のよいビデオLLMであるDaMOを紹介する。 構造化された4段階のプログレッシブトレーニングパラダイムを通じてDaMOをトレーニングし、マルチモーダルアライメント、セマンティックグラウンド、時間的推論機能を備えたモデルを段階的に装備する。 我々の研究は、データ効率の良いビデオ言語モデリングのための有望な方向性を確立する。
  論文  参考訳（メタデータ） (2025-06-13T08:13:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。