論文の概要: Mind the Temporal Gap: Evaluating Video Models for Temporal Understanding in Driving
- arxiv url: http://arxiv.org/abs/2610.12575v1
- Date: Thu, 08 Oct 2026 18:02:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.242462
- Title: Mind the Temporal Gap: Evaluating Video Models for Temporal Understanding in Driving
- Title(参考訳): 時間的ギャップを意識する: 運転時の時間的理解のためのビデオモデルの評価
- Abstract要約: 運転などの安全クリティカルな環境において,現代ビデオ言語モデルが時間的ダイナミクスをしっかりと捉えているかどうかを考察する。
標準のプロンプト、視覚的プロンプト、数発のプロンプト、およびチェーン・オブ・シントプロンプトは信頼性が低く、タスクに依存し、モデルに依存している。
- 参考スコア(独自算出の注目度): 54.67150757742101
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern video-language models are increasingly treated as general-purpose video reasoners, yet it remains unclear whether they robustly capture temporal dynamics in safety-critical settings such as driving. We study this question through controlled ego-motion tasks that require identifying actions from driving videos. Across video-language models, we find that standard prompting, visual prompting, few-shot prompting, and chain-of-thought prompting remain unreliable and highly task- and model-dependent, with persistent class biases, although newer models show substantial task-specific few-shot gains. In contrast, lightweight LoRA finetuning and simple probes trained on intermediate visual features recover strong motion-discriminative performance, indicating that motion-relevant cues are often present inside the models but are not reliably used by the final video-to-language pathway. These results suggest that, in driving, current video-language models remain unreliable temporal reasoners and often behave more like frame-level, bias-driven recognizers than dependable temporal world models.
- Abstract(参考訳): 現代のビデオ言語モデルは、ますます汎用的なビデオ推論として扱われているが、運転のような安全クリティカルな環境で、時間的ダイナミクスをしっかりと捉えているかどうかは不明だ。
本研究では,運転映像から行動を特定することを必要とするエゴモーションの制御タスクを通して,この課題を考察する。
ビデオ言語モデル全体では、標準のプロンプト、視覚的プロンプト、少数ショットプロンプト、およびチェーン・オブ・シークレットプロンプトは信頼性が低く、タスクに依存し、クラスバイアスが持続するが、新しいモデルはタスク固有の少数ショットゲインを示す。
対照的に、中間的な視覚的特徴に基づいて訓練された軽量なLoRAファインタニングと単純なプローブは、強い動き識別性能を回復させ、動き関連キューがモデル内にしばしば存在するが、最終的なビデオから言語への経路では確実に使用されないことを示す。
これらの結果は、運転においては、現在のビデオ言語モデルは、信頼できない時間的推論モデルのままであり、しばしば、信頼できる時間的世界モデルよりもフレームレベルのバイアス駆動認識モデルのように振る舞うことを示唆している。
関連論文リスト
- Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding [43.28973351947568]
ビデオが長くなるにつれて、フルビデオのコンテキストは必然的に、より質問に無関係な時間的コンテンツを含んでいる。
質問関連エビデンスを含む短い注釈付き手掛かり区間に視覚入力を集中させることで、予測精度が一貫して向上することが実証された。
本稿では,長期ビデオ理解のための自己蒸留フレームワークClue-OPSDを紹介する。
論文 参考訳(メタデータ) (2026-08-26T04:23:21Z) - EvoVid: Temporal-Centric Self-Evolution for Video Large Language Models [44.97714162696323]
ビデオ大言語モデル(ビデオ-LLM)は、強化学習(RL)による映像推論において強力な能力を示した。
本稿では,ビデオLLMが生の無注釈ビデオから直接改善できる時間中心の自己進化フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-21T03:00:35Z) - VideoZoomer: Reinforcement-Learned Temporal Focusing for Long Video Reasoning [49.35834435935727]
VideoZoomerは、MLLMが推論中に視覚的焦点を制御することができる新しいエージェントフレームワークである。
私たちの7Bモデルは、多種多様な複雑な推論パターンを提供し、幅広いビデオ理解と推論のベンチマークに強いパフォーマンスをもたらします。
これらの創発的な能力は、既存のオープンソースモデルを一貫して上回り、挑戦的なタスクでプロプライエタリなシステムをライバルにさえできる。
論文 参考訳(メタデータ) (2025-12-26T11:43:21Z) - Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。
本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。
結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
論文 参考訳(メタデータ) (2025-11-28T18:59:58Z) - Harnessing Synthetic Preference Data for Enhancing Temporal Understanding of Video-LLMs [54.502280390499756]
我々はTimeWarpを提案し、モデルからの応答を微調整し、与えられた入力ビデオにフォーカスするよう促すために、ターゲットとなる合成時間データセットを作成する。
提案手法を既存モデルに適用すると,時間的理解ベンチマークの性能が大幅に向上することが実証された。
論文 参考訳(メタデータ) (2025-10-04T21:48:40Z) - Test of Time: Instilling Video-Language Models with a Sense of Time [42.290970800790184]
既存の7つのビデオ言語モデルは、単純な時間的関係を理解するのに苦労している。
そこで本稿では,少量のビデオテキストデータに基づく事前学習に基づく時間適応手法であるVideoCLIPを提案する。
タスクにより高い時間意識を必要とする場合,特にパフォーマンス向上の促進を観察する。
論文 参考訳(メタデータ) (2023-01-05T14:14:36Z) - Time Is MattEr: Temporal Self-supervision for Video Transformers [72.42240984211283]
我々は、時間的ダイナミクスをよりよく学習するために、ビデオモデルのための単純で効果的な自己教師型タスクを設計する。
ビデオフレームの時間順序を余分な自己監督として学習し、ランダムにシャッフルされたフレームを低信頼出力に強制する。
様々なビデオ行動認識タスクにおいて,本手法の有効性と最先端のビデオ変換器との互換性を実証する。
論文 参考訳(メタデータ) (2022-07-19T04:44:08Z) - Learning Temporal Dynamics from Cycles in Narrated Video [85.89096034281694]
時が経つにつれて世界がどのように変化するかをモデル化する学習問題に対する自己監督型ソリューションを提案します。
私たちのモデルは、前方および後方の時間を予測するためにモダリティに依存しない関数を学習します。
将来的な動作の予測や画像の時間的順序付けなど,様々なタスクに対して,学習されたダイナミクスモデルを適用する。
論文 参考訳(メタデータ) (2021-01-07T02:41:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。