論文の概要: Map the Flow: Revealing Hidden Pathways of Information in VideoLLMs

• arxiv url: http://arxiv.org/abs/2510.13251v1
• Date: Wed, 15 Oct 2025 07:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.556164
• Title: Map the Flow: Revealing Hidden Pathways of Information in VideoLLMs
• Title（参考訳）: 流れをマップする:ビデオLLMに隠された情報の経路を発見
• Authors: Minji Kim, Taekyung Kim, Bohyung Han,
• Abstract要約: 機械的解釈可能性を用いたビデオLLMの内部情報フローについて検討する。 分析の結果,ビデオQAタスク間の一貫したパターンが明らかになった。 これらの発見は、VideoLLMが時間的推論を行う方法の青写真を提供する。
• 参考スコア（独自算出の注目度）: 42.00309718904487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video Large Language Models (VideoLLMs) extend the capabilities of vision-language models to spatiotemporal inputs, enabling tasks such as video question answering (VideoQA). Despite recent advances in VideoLLMs, their internal mechanisms on where and how they extract and propagate video and textual information remain less explored. In this study, we investigate the internal information flow of VideoLLMs using mechanistic interpretability techniques. Our analysis reveals consistent patterns across diverse VideoQA tasks: (1) temporal reasoning in VideoLLMs initiates with active cross-frame interactions in early-to-middle layers, (2) followed by progressive video-language integration in middle layers. This is facilitated by alignment between video representations and linguistic embeddings containing temporal concepts. (3) Upon completion of this integration, the model is ready to generate correct answers in middle-to-late layers. (4) Based on our analysis, we show that VideoLLMs can retain their VideoQA performance by selecting these effective information pathways while suppressing a substantial amount of attention edges, e.g., 58% in LLaVA-NeXT-7B-Video-FT. These findings provide a blueprint on how VideoLLMs perform temporal reasoning and offer practical insights for improving model interpretability and downstream generalization. Our project page with the source code is available at https://map-the-flow.github.io
• Abstract（参考訳）: Video Large Language Models (VideoLLMs) は、ビデオ質問応答 (VideoQA) などのタスクを可能とし、視覚言語モデルの時空間入力に拡張する。 近年のVideoLLMの進歩にもかかわらず、ビデオやテキスト情報の抽出と伝播方法に関する内部メカニズムはいまだ解明されていない。 本研究では,機械的解釈可能性を用いたビデオLLMの内部情報フローについて検討する。 1)ビデオLLMの時間的推論は、初期から中級層におけるアクティブなクロスフレーム相互作用に始まり、(2)中間層におけるプログレッシブなビデオ言語統合が続く。 これは、ビデオ表現と時間的概念を含む言語埋め込みのアライメントによって促進される。 (3) この統合が完了すると、モデルは中間層から後期層の正しい答えを生成する準備ができています。 (4) この分析から, ビデオLLMは, LLaVA-NeXT-7B-Video-FTにおいて, 相当量の注目エッジを抑えながら, 有効な情報経路を選択することで, ビデオQA性能を維持できることが示唆された。 これらの知見は、ビデオLLMが時間的推論をどのように行うかについての青写真を提供し、モデル解釈可能性と下流の一般化を改善するための実践的な洞察を提供する。 ソースコードのプロジェクトページはhttps://map-the-flow.github.ioで公開されている。

関連論文リスト

• An Empirical Study on How Video-LLMs Answer Video Questions [41.97630658989303]
  Video Large Language Models (Video-LLMs) は、ビデオ質問に答える強力な機能を示している。 私たちの知る限り、ビデオ-LLMが内部でどのように処理し、ビデオコンテンツを理解するかを体系的に明らかにしたのは、これが初めてです。
  論文  参考訳（メタデータ） (2025-08-21T08:42:35Z)
• VideoMolmo: Spatio-Temporal Grounding Meets Pointing [66.19964563104385]
  VideoMolmoは、ビデオシーケンスのきめ細かいポインティングに適したモデルだ。 新しい仮面融合はSAM2を双方向の点伝播に用いている。 The generalization of VideoMolmo, we introduced VPoMolS-temporal, a challenge out-of-distribution benchmark across two real-world scenarios。
  論文  参考訳（メタデータ） (2025-06-05T17:59:29Z)
• SiLVR: A Simple Language-based Video Reasoning Framework [71.77141065418238]
  簡単な言語ベースのビデオ推論フレームワークであるSiLVRについて紹介する。 第一段階では、SiLVRは生動画を多感覚入力を用いて言語ベースの表現に変換する。 第2段階では、複雑なビデオ言語理解タスクを解決するために、言語記述を強力な理由付けLLMに入力する。
  論文  参考訳（メタデータ） (2025-05-30T17:59:19Z)
• Do Language Models Understand Time? [2.290956583394892]
  大規模言語モデル(LLM)は、アクション認識、異常検出、要約を含む、ビデオベースのコンピュータビジョンアプリケーションに革命をもたらした。 本研究は,ビデオ処理におけるLLMの役割を,時間的推論能力に着目して批判的に考察する。 LLMの時間的理解を制限するため、バイアス、時間的アノテーションの欠如、ドメイン固有の制限など、既存のビデオデータセットによる課題を分析します。
  論文  参考訳（メタデータ） (2024-12-18T13:38:06Z)
• ViLLa: Video Reasoning Segmentation with Large Language Model [48.75470418596875]
  ViLLa: 大規模言語モデルを用いたビデオ推論セグメンテーションを提案する。 ViLLaは、複数のコアイノベーションを通じて、これらの課題に対処しています。 長ビデオの効率的な処理を可能にするために、Villaは(3)長ビデオを短いが意味的に密度の高いセグメントに適応的に分割し、冗長性を低下させるキーセグメントサンプリングを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:17Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。