論文の概要: From Vision to Language: Investigating Causal Information Flow in Multimodal Decision-Making

• arxiv url: http://arxiv.org/abs/2609.05149v1
• Date: Fri, 04 Sep 2026 13:52:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:24.06059
• Title: From Vision to Language: Investigating Causal Information Flow in Multimodal Decision-Making
• Title（参考訳）: 視覚から言語へ:マルチモーダル意思決定における因果情報フローの調査
• Abstract要約: 視覚情報がどのように言語に基づく決定に寄与するかを考察する。 その結果,視覚情報は主に統合され,モデルが候補回答を処理していることがわかった。 時間的推論において、VLMはビデオフレーム間のシーケンシャルな情報再構成に苦慮していることを示す。
• 参考スコア（独自算出の注目度）: 45.85783584369188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models are commonly evaluated through their final predictions, but understanding whether these decisions are grounded in visual evidence requires tracing how visual information contributes to language-based decisions. With this purpose in mind, we investigate cross-modal information flow in a video-based generative multiple-choice-like setting by applying a layer-wise causal intervention on video-text attention pathways. We target spatial, causal, and temporal visual reasoning. Our results show that visual information is mainly integrated while the model processes the candidate answer options, which serve as the primary textual grounding sites for the final decision. We further show that nouns play an important role as semantic anchors during multimodal enrichment, while verbs are more relevant when temporal relations are processed. Finally, we identify a distinct pattern in temporal reasoning, suggesting that VLMs struggle to reconstruct sequential information across video frames, but we remark that such fragility may also reflect linguistic biases associated with specific temporal expressions used for defining the relation between events within a scene.
• Abstract（参考訳）: 視覚言語モデルは、最終的な予測を通じて一般的に評価されるが、これらの決定が視覚的証拠に根ざされているかどうかを理解するには、視覚情報が言語に基づく決定にどのように寄与するかをトレースする必要がある。 この目的を念頭に置いて、ビデオテキストの注意経路に階層的因果的介入を適用することで、ビデオベースの生成的マルチチョイスのような設定におけるクロスモーダル情報の流れを調査する。 対象は空間的,因果的,時間的視覚的推論である。 この結果から,視覚情報は主として統合され,最終的な決定のための主要なテキストグラウンドサイトとして機能する候補回答オプションが処理されるのに対して,視覚情報は主に統合されていることが示唆された。 さらに,動詞は時間的関係の処理においてより関連性が高いのに対し,名詞は多モーダルエンリッチメントにおいて意味的アンカーとして重要な役割を担っていることを示す。 最後に、時間的推論のパターンを特定し、VLMがビデオフレーム間の逐次的情報再構成に苦慮していることを示唆するが、このような脆弱性は、シーン内のイベント間の関係を定義するために使用される特定の時間的表現に関連する言語的バイアスを反映する可能性がある。

関連論文リスト

• When Discourse Pressures Conflict: Information Structure in Vision-Language Model Outputs [8.897315812066683]
  視覚的根拠のある質問応答において、視覚言語モデル(VLM)が談話古いトピックスと談話の新しいFocicを区別するかどうかを検証する。 私たちは、TopicとFocusが専用の統語的位置にマッピングする言語であるハンガリー語を利用して、ISの選択をテキストで観察できるようにしています。 モデルはIS関連構造を生成するが、この感度を過度に調整する。
  論文  参考訳（メタデータ） (2026-05-27T11:50:56Z)
• Seeing to Act, Prompting to Specify: A Bayesian Factorization of Vision Language Action Policy [59.44168425139687]
  BayesVLA(ベイズVLA)は、前もってポリシーを視覚的アクションに分解し、ルック・トゥ・アクティベーションと言語条件付き可能性をサポートし、即時特定を可能にするベイズ因子化である。 実験は、既存の方法と比較して、目に見えない命令、オブジェクト、環境に対して優れた一般化を示す。
  論文  参考訳（メタデータ） (2025-12-12T01:59:23Z)
• ChronusOmni: Improving Time Awareness of Omni Large Language Models [29.685563616290352]
  時間認識は、特に長いビデオを理解し、複雑な質問に答えるために、大規模な言語モデルの基本的な能力である。 そこで我々はChronosOmniを提案する。ChronosOmniは、暗黙と暗黙の両方の時間的認識を高めるために設計されたオムニ大言語モデルである。 時間的精度,モダリティ完全性,相互整合性を備えたデータセットであるChronusAVを構築し,視覚的時間的接地作業のトレーニングと評価を支援する。
  論文  参考訳（メタデータ） (2025-12-10T17:22:42Z)
• Priors in Time: Missing Inductive Biases for Language Model Interpretability [58.07412640266836]
  スパースオートエンコーダは、時間とともに概念の独立を前提としており、定常性を暗示している。 本稿では,時間的帰納バイアスを持つ新たな解釈可能性目標である時間的特徴分析を導入し,その表現を2つの部分に分解する。 私たちの結果は、堅牢な解釈可能性ツールの設計において、データにマッチする帰納的バイアスの必要性を浮き彫りにしています。
  論文  参考訳（メタデータ） (2025-11-03T18:43:48Z)
• Deep Temporal Reasoning in Video Language Models: A Cross-Linguistic Evaluation of Action Duration and Completion through Perfect Times [0.0]
  時間的推論に基づいてビデオ言語モデル(VLM)を評価するために設計された,4次的(英語,イタリア語,ロシア語,日本語)な質問応答ベンチマークである textbfPerfect Times データセットを紹介した。 実験結果から、現状のモデルは、テキストベースのタスクで成功したにも拘わらず、ビデオに根ざした時間的・因果的推論の反映に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-06-01T09:45:41Z)
• Multi-Modal interpretable automatic video captioning [1.9874264019909988]
  マルチモーダル・コントラッシブ・ロスを訓練した新しいビデオキャプション手法を提案する。 我々のアプローチは、これらのモダリティ間の依存関係を捉えるために設計されており、その結果、より正確で、従って関連するキャプションとなる。
  論文  参考訳（メタデータ） (2024-11-11T11:12:23Z)
• Context-Aware Temporal Embedding of Objects in Video Data [0.8287206589886881]
  ビデオ分析において、時間的コンテキストを理解することは、時間とともにオブジェクトの相互作用、イベントパターン、コンテキストの変化を認識するために不可欠である。 提案モデルは、隣接するビデオフレームからのオブジェクト間の隣接性と意味的類似性を利用して、コンテキスト対応の時間的オブジェクト埋め込みを構築する。 実証実験により、従来の視覚的埋め込みと組み合わせて、文脈対応の時間的埋め込みを利用でき、下流アプリケーションの有効性を高めることができることが示された。
  論文  参考訳（メタデータ） (2024-08-23T01:44:10Z)
• MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
  Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。 既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。 この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。 本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
  論文  参考訳（メタデータ） (2024-06-25T18:39:43Z)
• Structured Video-Language Modeling with Temporal Grouping and Spatial Grounding [112.3913646778859]
  簡単なビデオ言語モデリングフレームワークであるS-ViLMを提案する。 これには、学習領域オブジェクトのアライメントと時間認識機能を促進するために、クリップ間の空間的接地と、クリップ内の時間的グループ化という、2つの新しい設計が含まれている。 S-ViLMは4つの下流タスクにおいて、最先端の手法を大幅に超えている。
  論文  参考訳（メタデータ） (2023-03-28T22:45:07Z)
• Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos [55.52369116870822]
  本稿では,ビデオにおける時間的言語ローカライゼーションの問題に対処することに焦点を当てる。 自然言語文で記述された瞬間の始点と終点を、未編集のビデオで識別することを目的としている。
  論文  参考訳（メタデータ） (2021-10-12T14:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。