論文の概要: Video Event Reasoning and Prediction by Fusing World Knowledge from LLMs with Vision Foundation Models

• arxiv url: http://arxiv.org/abs/2507.05822v1
• Date: Tue, 08 Jul 2025 09:43:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.840505
• Title: Video Event Reasoning and Prediction by Fusing World Knowledge from LLMs with Vision Foundation Models
• Title（参考訳）: ビジョンファウンデーションモデルを用いたLLMから世界知識を融合したビデオイベント推論と予測
• Authors: L'ea Dubois, Klaus Schmidt, Chengyu Wang, Ji-Hoon Park, Lin Wang, Santiago Munoz,
• Abstract要約: 現在の理解モデルは「何」を認識するのに優れているが、因果推論や将来の予測のような高いレベルの認知タスクでは不足している。 本稿では,知識駆動型推論コアとして機能するLarge Language Model (LLM)を用いて,視覚の深層認識のための強力なビジョン基礎モデルと融合する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 10.1080193179562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current video understanding models excel at recognizing "what" is happening but fall short in high-level cognitive tasks like causal reasoning and future prediction, a limitation rooted in their lack of commonsense world knowledge. To bridge this cognitive gap, we propose a novel framework that synergistically fuses a powerful Vision Foundation Model (VFM) for deep visual perception with a Large Language Model (LLM) serving as a knowledge-driven reasoning core. Our key technical innovation is a sophisticated fusion module, inspired by the Q-Former architecture, which distills complex spatiotemporal and object-centric visual features into a concise, language-aligned representation. This enables the LLM to effectively ground its inferential processes in direct visual evidence. The model is trained via a two-stage strategy, beginning with large-scale alignment pre-training on video-text data, followed by targeted instruction fine-tuning on a curated dataset designed to elicit advanced reasoning and prediction skills. Extensive experiments demonstrate that our model achieves state-of-the-art performance on multiple challenging benchmarks. Notably, it exhibits remarkable zero-shot generalization to unseen reasoning tasks, and our in-depth ablation studies validate the critical contribution of each architectural component. This work pushes the boundary of machine perception from simple recognition towards genuine cognitive understanding, paving the way for more intelligent and capable AI systems in robotics, human-computer interaction, and beyond.
• Abstract（参考訳）: 現在のビデオ理解モデルは、何が起きているかを認識するのに優れていますが、因果推論や将来の予測といった高度な認知タスクでは不足しています。 この認知的ギャップを埋めるため、我々は知識駆動型推論コアとして機能する大規模言語モデル(LLM)と深い視覚知覚のための強力なビジョンファウンデーションモデル(VFM)を相乗的に融合する新しいフレームワークを提案する。 私たちの重要な技術的革新は、複雑な時空間的およびオブジェクト中心の視覚的特徴を簡潔で言語に整合した表現に蒸留する、Q-Formerアーキテクチャにインスパイアされた高度な融合モジュールです。 これにより、LLMは直接的な視覚的証拠に推論過程を効果的に基礎付けることができる。 このモデルは、ビデオテキストデータに対する大規模なアライメント事前トレーニングから始まり、2段階の戦略でトレーニングされる。 大規模な実験により、我々のモデルは複数の挑戦的なベンチマークで最先端のパフォーマンスを達成することを示した。 特に、目立たない推論タスクに対して、目覚ましいゼロショットの一般化を示し、より詳細なアブレーション研究は、各アーキテクチャコンポーネントの臨界寄与を検証します。 この研究は、機械認識の境界を、単純な認識から真の認知的理解へと押し上げ、ロボット工学、人間とコンピュータの相互作用などにおける、よりインテリジェントで有能なAIシステムへの道を開く。

関連論文リスト

• DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding [61.26026947423187]
  人間の専門家は、ドメイン知識を活用して知覚的特徴を洗練することによって、きめ細かい視覚的識別に長けている。 現在のMLLM(Multimodal Large Language Models)は、推論を視覚的知覚に統合するのに苦労している。 本稿では,認知的視覚能力を強化したMLLMであるDeepPerceptionを提案する。
  論文  参考訳（メタデータ） (2025-03-17T04:06:34Z)
• A Cognitive Paradigm Approach to Probe the Perception-Reasoning Interface in VLMs [3.2228025627337864]
  本稿では,視覚言語モデル(VLM)における知覚推論インタフェースを識別するための構造化評価フレームワークを提案する。 本稿では,人間の問題解決戦略を反映した3つの評価パラダイムを提案する。 このフレームワークを適用したCAは、リッチで独立に生成された記述を推論するために強力な言語モデルを活用し、新しい最先端(SOTA)パフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2025-01-23T12:42:42Z)
• ARPA: A Novel Hybrid Model for Advancing Visual Word Disambiguation Using Large Language Models and Transformers [1.6541870997607049]
  変換器の高度な特徴抽出機能を備えた大規模言語モデルの非並列的文脈理解を融合したアーキテクチャであるARPAを提案する。 ARPAの導入は、視覚的単語の曖昧さにおいて重要なマイルストーンであり、魅力的なソリューションを提供する。 我々は研究者や実践者たちに、このようなハイブリッドモデルが人工知能の先例のない進歩を後押しする未来を想像して、我々のモデルの能力を探求するよう依頼する。
  論文  参考訳（メタデータ） (2024-08-12T10:15:13Z)
• Detecting Any Human-Object Interaction Relationship: Universal HOI Detector with Spatial Prompt Learning on Foundation Models [55.20626448358655]
  本研究では,ビジョン・ランゲージ(VL)基礎モデルと大規模言語モデル(LLM)を用いて,オープンワールド環境におけるユニバーサルインタラクション認識について検討する。 我々の設計にはHO Prompt-guided Decoder (HOPD) が含まれており、基礎モデルにおける高次関係表現と画像内の様々なHOペアとの結合を容易にする。 オープンカテゴリの対話認識では,対話文と解釈文の2つのタイプがサポートされている。
  論文  参考訳（メタデータ） (2023-11-07T08:27:32Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model [74.4875156387271]
  我々は,膨大なマルチモーダル(視覚的・テキスト的)データを事前学習した新しい基礎モデルを開発する。 そこで本研究では,様々な下流タスクにおいて,最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T12:25:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。