論文の概要: Seeing Time: Benchmarking Chronological Reasoning and Shortcut Biases in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2606.05702v1
- Date: Thu, 04 Jun 2026 04:49:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.563035
- Title: Seeing Time: Benchmarking Chronological Reasoning and Shortcut Biases in Vision-Language Models
- Title(参考訳): 視線言語モデルにおける時系列推論とショートカットバイアスのベンチマーク
- Authors: Haoyu Zhou, Qing Qing, Caichong Li, Qixin Zhang, Yongcheng Jing, Ziqi Xu, Juncheng Hu, Xikun Zhang, Renqiang Luo,
- Abstract要約: 本稿では,視覚言語モデルが時系列情報をどのように知覚し,理由を判断するかを評価するための新しいベンチマークを提案する。
我々の研究は、時間的判断の根底にある論理とマルチモーダル統合への展開を掘り下げている。
- 参考スコア(独自算出の注目度): 12.772555267973123
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in Vision-Language Models (VLMs) have significantly enhanced their ability to interpret complex visual semantics, yet their capacity for chronological reasoning remains under-explored. In this paper, we introduce a novel benchmark specifically designed to evaluate how VLMs perceive and reason about chronological information within and across images. Unlike existing video-based benchmarks that focus on frame sequencing, our work delves into the underlying logic of chronological judgment and the expansion toward multimodal integration. To facilitate this, we construct three specialized datasets: one containing visually similar objects spanning long historical durations, another categorized by diverse event and object types, and a third pairing images with time-sensitive news text for cross-modal alignment. Through extensive experiments, we analyze whether models exhibit performance disparities across categories and, crucially, explore whether they rely on ``incorrect shortcuts'', such as image color rather than genuine chronological features. Our results reveal that while VLMs show promise, they frequently exploit superficial cues like grayscale versus color filters to bypass authentic chronological reasoning. By providing these high-quality datasets and a rigorous evaluation framework, we offer a diagnostic tool to identify current limitations and guide the development of more robust, logically grounded multimodal models. The source code is shown in https://github.com/LuoRenqiang/ChronoVision.
- Abstract(参考訳): 近年のVLM(Vision-Language Models)の進歩は、複雑な視覚的意味論を解釈する能力を大幅に向上させてきたが、年代的推論の能力は未解明のままである。
本稿では,VLMが画像内および画像間の時系列情報をどのように知覚し,その原因を判断するかを評価するための新しいベンチマークを提案する。
フレームシークエンシングに焦点を当てた既存のビデオベースのベンチマークとは異なり、我々の研究は、時系列判断の基礎となる論理とマルチモーダル統合への拡張を掘り下げている。
これを容易にするために,視覚的に類似したオブジェクトを長い歴史期間にわたって含むデータセットと,イベントタイプやオブジェクトタイプによって分類するデータセットと,モーダルアライメントのためのタイムセンシティブなニューステキストを用いた第3のペア画像の3つを構築した。
広範にわたる実験を通じて,モデルがカテゴリ間の性能格差を示すか否かを解析し,真の時系列的特徴ではなく,画像色などの「不正確なショートカット」に依存しているかどうかを重要視する。
以上の結果から,VLMは将来性を示す一方で,グレースケールやカラーフィルタのような表面的手がかりをしばしば活用して,正確な時系列推論を回避できることが判明した。
これらの高品質なデータセットと厳密な評価フレームワークを提供することで、現在の制限を特定し、より堅牢で論理的に基礎付けられたマルチモーダルモデルの開発を導く診断ツールを提供する。
ソースコードはhttps://github.com/LuoRenqiang/ChronoVision.comで公開されている。
関連論文リスト
- Vision Inference Former: Sustaining Visual Consistency in Multimodal Large Language Models [58.9387276447485]
視覚推論 前者(VIF)は、純粋な視覚表現とモデルの出力空間の間の橋渡しを確立する軽量アーキテクチャモジュールである。
一般的な推論、OCR、テーブル理解、視覚中心の評価、幻覚を含む14のベンチマークタスクについて実験を行った。
論文 参考訳(メタデータ) (2026-05-18T10:04:22Z) - Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models [154.39583176906893]
大規模言語モデル(ML)は高度な理解を持ち、シーンにおける幻覚の傾向が高い。
これは、時間的モニタリングの失敗、オブジェクトの動的アイデンティティ、状態、そして時間とともに関係を永続的に追跡する能力に起因している、と我々は主張する。
既存のベンチマークでは、局所的な視覚的手がかりや統計的先行によってしばしば解決される1つの最終回答クエリに頼って、この欠陥を曖昧にしている。
論文 参考訳(メタデータ) (2026-05-09T14:32:36Z) - Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。
本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。
結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
論文 参考訳(メタデータ) (2025-11-28T18:59:58Z) - A Matter of Time: Revealing the Structure of Time in Vision-Language Models [1.0095483062454675]
TIME10kは1万以上の画像のベンチマークデータセットであり、時間的地平が真である。
我々は,37の視覚言語モデル(VLM)の時間認識性を,新しい手法により評価した。
埋め込み空間から明示的なタイムラインの表現を導出する手法を提案する。
論文 参考訳(メタデータ) (2025-10-22T13:14:02Z) - MLLM4TS: Leveraging Vision and Multimodal Language Models for General Time-Series Analysis [35.17244645389017]
MLLM4TSは,マルチモーダルな大規模言語モデルを利用して時系列解析を行う新しいフレームワークである。
各時系列チャンネルは、1つの合成画像において水平に重ねられたカラー符号化された線プロットとして描画される。
時間対応の視覚パッチアライメント戦略では、視覚パッチを対応する時間セグメントにアライメントする。
論文 参考訳(メタデータ) (2025-10-08T20:22:39Z) - Deep Temporal Reasoning in Video Language Models: A Cross-Linguistic Evaluation of Action Duration and Completion through Perfect Times [0.0]
時間的推論に基づいてビデオ言語モデル(VLM)を評価するために設計された,4次的(英語,イタリア語,ロシア語,日本語)な質問応答ベンチマークである textbfPerfect Times データセットを紹介した。
実験結果から、現状のモデルは、テキストベースのタスクで成功したにも拘わらず、ビデオに根ざした時間的・因果的推論の反映に苦慮していることが明らかとなった。
論文 参考訳(メタデータ) (2025-06-01T09:45:41Z) - Time-VLM: Exploring Multimodal Vision-Language Models for Augmented Time Series Forecasting [26.4608782425897]
Time-VLMは、時間的、視覚的、テキスト的なモダリティを橋渡しして予測を強化する新しいフレームワークである。
本フレームワークは,(1)記憶バンク相互作用を通じて時間的特徴を抽出する検索型学習者,(2)時系列を情報的画像としてエンコードするビジョン型学習者,(3)文脈的テキスト記述を生成するテキスト型学習者,の3つのキーコンポーネントから構成される。
論文 参考訳(メタデータ) (2025-02-06T05:59:45Z) - TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。
ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。
GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
論文 参考訳(メタデータ) (2024-10-14T17:59:58Z) - On the Consistency and Robustness of Saliency Explanations for Time
Series Classification [4.062872727927056]
時系列ウィンドウを画像として解釈するために、サリエンシマップが適用されている。
本稿では,時系列の特徴と時間的属性に対するサリエンシマップの一貫性とロバスト性について広く分析する。
論文 参考訳(メタデータ) (2023-09-04T09:08:22Z) - Learning to Exploit Temporal Structure for Biomedical Vision-Language
Processing [53.89917396428747]
視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。
トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。
我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
論文 参考訳(メタデータ) (2023-01-11T16:35:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。