Fugu-MT 論文翻訳(概要): Causality Matters: How Temporal Information Emerges in Video Language Models

論文の概要: Causality Matters: How Temporal Information Emerges in Video Language Models

arxiv url: http://arxiv.org/abs/2508.11576v1
Date: Fri, 15 Aug 2025 16:33:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-18 14:51:24.14853
Title: Causality Matters: How Temporal Information Emerges in Video Language Models
Title（参考訳）: 因果関係:ビデオ言語モデルにおける時間的情報の創出
Authors: Yumeng Shi, Quanyu Long, Yin Wu, Wenya Wang,
Abstract要約: ビデオ入力における位置エンコーディングの除去や修正は、時間的理解の性能の低下を最小限に抑えることが判明した。この振る舞いを説明するために、我々は時間的情報がモデルにどのように組み込まれているかを追跡するための重要な分析実験を行った。そこで我々は,2つの効率重視戦略を提案する。
参考スコア（独自算出の注目度）: 17.570777893613137
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Video language models (VideoLMs) have made significant progress in multimodal understanding. However, temporal understanding, which involves identifying event order, duration, and relationships across time, still remains a core challenge. Prior works emphasize positional encodings (PEs) as a key mechanism for encoding temporal structure. Surprisingly, we find that removing or modifying PEs in video inputs yields minimal degradation in the performance of temporal understanding. In contrast, reversing the frame sequence while preserving the original PEs causes a substantial drop. To explain this behavior, we conduct substantial analysis experiments to trace how temporal information is integrated within the model. We uncover a causal information pathway: temporal cues are progressively synthesized through inter-frame attention, aggregated in the final frame, and subsequently integrated into the query tokens. This emergent mechanism shows that temporal reasoning emerges from inter-visual token interactions under the constraints of causal attention, which implicitly encodes temporal structure. Based on these insights, we propose two efficiency-oriented strategies: staged cross-modal attention and a temporal exit mechanism for early token truncation. Experiments on two benchmarks validate the effectiveness of both approaches. To the best of our knowledge, this is the first work to systematically investigate video temporal understanding in VideoLMs, offering insights for future model improvement.
Abstract（参考訳）: ビデオ言語モデル(VideoLM)はマルチモーダル理解において大きな進歩を遂げた。しかしながら、イベントの順序、期間、時間間の関係を識別する時間的理解は、依然として中心的な課題である。以前の研究は、時間構造を符号化する鍵となるメカニズムとして位置符号化(PE)を強調していた。驚くべきことに、ビデオ入力におけるPEの削除や修正は、時間的理解の性能を最小限に低下させる。対照的に、元のPEを保存しながらフレームシーケンスを反転させると、大幅に低下する。この振る舞いを説明するために、我々は時間的情報がモデルにどのように組み込まれているかを追跡するための重要な分析実験を行った。時間的手がかりは、フレーム間の注意を通して段階的に合成され、最終フレームに集約され、クエリトークンに統合される。この創発的なメカニズムは、時間的構造を暗黙的に符号化する因果的注意の制約の下で、視覚的トークン間相互作用から時間的推論が現れることを示している。これらの知見に基づき、我々は、クロスモーダルな注意の段階と、早期トークンの切り離しのための時間的終了メカニズムの2つの効率指向戦略を提案する。 2つのベンチマークの実験は、両方のアプローチの有効性を検証する。我々の知る限りでは、この研究はビデオLMの時間的理解を体系的に研究し、将来のモデル改善のための洞察を提供する最初の試みである。

関連論文リスト

NarrativeTrack: Evaluating Video Language Models Beyond the Frame [10.244330591706744]
MLLMにおける物語理解を評価する最初のベンチマークであるNarrativeTrackを紹介する。映像を構成要素に分解し,構成推論(CRP)フレームワークを用いて連続性を検証する。 CRPは、時間的永続性から文脈的進化、そしてきめ細かい知覚的推論まで、モデルを進化させることに挑戦する。
論文参考訳（メタデータ） (2026-01-03T07:12:55Z)
AlcheMinT: Fine-grained Temporal Control for Multi-Reference Consistent Video Generation [58.844504598618094]
本稿では、被験者駆動ビデオ生成のための明示的なタイムスタンプ条件付きフレームワークAlcheMinTを提案する。提案手法では,時間間隔の符号化を解き放つ新しい位置符号化機構を導入する。我々は、視覚的アイデンティティとビデオキャプションの結合を強化するために、主観記述型テキストトークンを導入し、世代間あいまいさを緩和する。
論文参考訳（メタデータ） (2025-12-11T18:59:34Z)
StreamingCoT: A Dataset for Temporal Dynamics and Multimodal Chain-of-Thought Reasoning in Streaming VideoQA [60.86024022291499]
ストリーミングビデオストリームにおける時間的に進化する推論のために明示的に設計された最初のデータセットであるStreamingCoTを紹介する。本フレームワークは,秒単位の高密度な記述を生成し,類似性融合により時間依存性のセマンティックセグメントを構築する。このデータセットは、ストリーミングビデオ理解、複雑な時間的推論、マルチモーダル推論の研究を促進する基盤を確立する。
論文参考訳（メタデータ） (2025-10-29T09:47:38Z)
Improving Temporal Understanding Logic Consistency in Video-Language Models via Attention Enhancement [44.654178762186824]
大規模言語モデル(LLM)は、しばしば自己矛盾的な出力を生成する。ビデオ言語モデル (Video-LLMs) は論理的に言い換えられた質問に対して一貫した応答を提供しない。本稿では,テンポラリコンディショニング(Temporally Conditioned Attention Sharpening)と呼ばれるアテンション強化手法を提案する。
論文参考訳（メタデータ） (2025-10-09T12:22:06Z)
Dense Video Understanding with Gated Residual Tokenization [49.17263029080152]
高時間分解能は、ビデオ理解における微細な細部を捉えるのに不可欠である。現在のベンチマークは主に低フレームレートサンプリングに依存している。 Dense Video Understanding (DVU)は、トークン化時間とトークンオーバーヘッドの両方を削減することで、高FPSビデオの理解を可能にする。
論文参考訳（メタデータ） (2025-09-17T17:34:40Z)
DATE: Dynamic Absolute Time Enhancement for Long Video Understanding [8.720269393713451]
長期ビデオ理解はマルチモーダル大言語モデル(MLLM)の根本的な課題であり続けている MLLMにおける時間的意識を高める動的絶対時間拡張(DATE)を提案する。本稿では,意味的関連性と時間的関連性の両方を保証するための2段階アルゴリズムを提案する。
論文参考訳（メタデータ） (2025-09-11T08:49:22Z)
When and What: Diffusion-Grounded VideoLLM with Entity Aware Segmentation for Long Video Understanding [12.410012029024342]
我々は,3つの重要なイノベーションを導入することで,制限を克服するビデオLLMであるGrounded VideoDiTを紹介する。第一に、拡散時間遅延(DTL)エンコーダは境界感度を高め、時間的一貫性を維持する。第二に、オブジェクト基底表現は、クエリエンティティを局所化された視覚的エビデンスに明示的に結合し、アライメントを強化する。第三に、離散時間的タイムスタンプトークンを持つ混合トークンスキームは明示的なモデリングを提供し、きめ細かい時間的推論を可能にする。
論文参考訳（メタデータ） (2025-08-21T15:12:14Z)
LeAdQA: LLM-Driven Context-Aware Temporal Grounding for Video Question Answering [10.060267989615813]
本稿では,これらのギャップを埋める斬新な手法であるLeAdQAを紹介する。 NExT-QA, IntentQA, NExT-GQAに関する実験により, 本手法の正確な視覚的基盤化は, 映像検索関係の理解を著しく向上させることを示した。
論文参考訳（メタデータ） (2025-07-20T01:57:00Z)
Identity-Preserving Text-to-Video Generation Guided by Simple yet Effective Spatial-Temporal Decoupled Representations [66.97034863216892]
アイデンティティ保存型テキスト・ツー・ビデオ(IPT2V)生成は、一貫した人間のアイデンティティを持つ高忠実度ビデオを作成することを目的としている。現在のエンドツーエンドフレームワークは、重要な空間的・時間的トレードオフを被る。本稿では,表現をレイアウトの空間的特徴と運動力学の時間的特徴に分解する,シンプルで効果的な空間時空間分離フレームワークを提案する。
論文参考訳（メタデータ） (2025-07-07T06:54:44Z)
Balancing long- and short-term dynamics for the modeling of saliency in videos [14.527351636175615]
本稿では,ビデオフレームの連立表現と過去の唾液度情報を学習するためのトランスフォーマーに基づくアプローチを提案する。本モデルでは,映像中の塩分濃度の動的変動を検出するために,長期的,短期的な情報を埋め込んだ。
論文参考訳（メタデータ） (2025-04-08T11:09:37Z)
Understanding Long Videos via LLM-Powered Entity Relation Graphs [51.13422967711056]
GraphVideoAgentは、ビデオシーケンスを通して視覚的エンティティ間の進化する関係をマップし、監視するフレームワークである。当社の手法は,業界ベンチマークと比較した場合,顕著な効果を示す。
論文参考訳（メタデータ） (2025-01-27T10:57:24Z)
On the Consistency of Video Large Language Models in Temporal Comprehension [57.985769348320616]
ビデオ大言語モデル(Video-LLMs)は、時間的に言語クエリを解析し、ビデオモーメントを検索することができる。予測整合性 - 時間的根拠の堅牢性と信頼性を示す重要な指標である。
論文参考訳（メタデータ） (2024-11-20T00:47:17Z)
Introducing Gating and Context into Temporal Action Detection [0.8987776881291144]
時間的行動検出(TAD)は、動作の重なり合いと動作の変動が原因で依然として困難である。最近の知見から,TAD性能は自己保持機構よりもトランスの構造設計に依存することが示唆された。本稿では,軽量かつ効果的な操作による特徴抽出プロセスを提案する。
論文参考訳（メタデータ） (2024-09-06T11:52:42Z)
HERMES: temporal-coHERent long-forM understanding with Episodes and Semantics [32.117677036812836]
本稿では,HERMESについて紹介する。 2つの汎用モジュールは、既存のビデオ言語モデルを強化したり、スタンドアロンシステムとして運用することができる。 HERMESは、ゼロショットとフル教師付き設定の両方において、複数の長ビデオ理解ベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-08-30T17:52:55Z)
Patch Spatio-Temporal Relation Prediction for Video Anomaly Detection [19.643936110623653]
ビデオ異常検出(VAD)は、特定のコンテキストと時間枠内の異常を識別することを目的としている。近年の深層学習に基づくVADモデルは,高解像度フレームの生成によって有望な結果を示した。本稿では, パッチ間関係予測タスクを通じて, VADの自己教師型学習手法を提案する。
論文参考訳（メタデータ） (2024-03-28T03:07:16Z)
Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。 SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
論文参考訳（メタデータ） (2021-11-23T03:29:18Z)
Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
論文参考訳（メタデータ） (2021-10-05T15:39:11Z)
A Prospective Study on Sequence-Driven Temporal Sampling and Ego-Motion Compensation for Action Recognition in the EPIC-Kitchens Dataset [68.8204255655161]
行動認識はコンピュータビジョンにおける最上位の研究分野の一つである。エゴモーション記録シーケンスは重要な関連性を持つようになった。提案手法は,このエゴモーションやカメラの動きを推定して対処することを目的としている。
論文参考訳（メタデータ） (2020-08-26T14:44:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。