論文の概要: What Does a Temporal Benchmark Score Measure? Decomposing Channel Use in Video VLM Evaluation

• arxiv url: http://arxiv.org/abs/2607.12304v1
• Date: Tue, 14 Jul 2026 03:26:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.021236
• Title: What Does a Temporal Benchmark Score Measure? Decomposing Channel Use in Video VLM Evaluation
• Title（参考訳）: 時間ベンチマークスコアは何か? : ビデオVLM評価におけるチャネルの分解
• Abstract要約: 時間的ビデオ質問応答ベンチマークのスコアは、あるモデルが時間的理解を持っていることを測ることを目的としているが、それは2つの質問を混同している。 Molmo2は前方イベントの読み上げ順序をオフに、Qwen3-VLは実際に見た逆イベントに応答し、視覚的順序(比較的)を読む。 この分割は2つのベンチマークと2つのスケールでの複数の時間的タスクにまたがっており、アクティベーションパッチは、競合の成果物ではなく、実際の内部プロパティであることを示している。
• 参考スコア（独自算出の注目度）: 1.2183405753834562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A score on a temporal video question answering benchmark is meant to measure that a model has temporal understanding, but it conflates two questions. 1. The task question: is the question even temporal, does it need several frames and their order? and 2. The channel question, when it does, does the model recover the order from the pixels, or read it off the positional encoding (RoPE)? Most of a temporal score answers neither, a single frame and answer priors often carry it. The field's validity checks, frame-shuffle sensitivity and the accuracy gained from the full video, speak only to the task question. We contribute a label-free screen for the channel question, the reversal-drop: the accuracy lost when the visual sequence is reversed while RoPE remains forward. It can be applied to compatible temporal benchmarks without new annotations. Paired reverse labels, or tasks whose labels transform deterministically under reversal, distinguish models that follow reversed content from those merely disrupted by the conflict. Molmo2 answers the forward event reading order off positions, while Qwen3-VL answers the reversed event it actually sees, reading visual order (comparatively). We call them position-dominant and visual-sequence-dominant. The split holds across two benchmarks and several temporal tasks at two scales, and activation patching shows it is a real internal property, not an artifact of the conflict. The distinction matters, the two channels fail on opposite inputs so two models with similar score are not interchangable, i.e. an aggregate score does not reflect potential failure modes.
• Abstract（参考訳）: 時間的ビデオ質問応答ベンチマークのスコアは、あるモデルが時間的理解を持っていることを測ることを目的としているが、それは2つの質問を混同している。 1. 課題: 質問は一時的であり、いくつかのフレームと順序が必要であるか? そして 2. チャネル問題は、いつ、そのモデルが画素から順序を回復するか、または位置符号化(RoPE)から読み取るか。 ほとんどの時間スコアはどちらも答えず、1つのフレームと1つの応答先がそれを運ぶことが多い。 フィールドの妥当性チェック、フレームシャッフル感度、フルビデオから得られた精度はタスク問題にのみ対応している。 チャネル問題,リバーサル・ドロップ:RoPEが前方にある間、視覚的シーケンスが反転したときに失われる精度について,ラベルのない画面にコントリビュートする。 新しいアノテーションなしで互換性のある時間ベンチマークに適用できる。 ペア化されたリバースラベル、あるいはラベルが決定論的に逆転の下で変換されるタスクは、逆転したコンテンツに従うモデルと、単に紛争によって混乱しただけであるモデルとを区別する。 Molmo2は位置から前方のイベント読み込み順序に応答し、Qwen3-VLは実際に見られる逆イベントに応答し、視覚的順序(比較的)を読む。 位置優位と視覚優位と呼ぶ。 この分割は2つのベンチマークと2つのスケールでの複数の時間的タスクにまたがっており、アクティベーションパッチは、競合の成果物ではなく、実際の内部プロパティであることを示している。 違いは、2つのチャンネルが反対の入力でフェールするため、同様のスコアを持つ2つのモデルが交換不可能である、すなわち、アグリゲーションスコアは潜在的な障害モードを反映しない。

関連論文リスト

• VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
  マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
  論文  参考訳（メタデータ） (2026-06-05T22:06:07Z)
• Temporal Evidence Routing with Structured Visual Evidence for TimeLogicQA [15.724849094439987]
  TimeLogicQAは、ビデオ質問応答システムが時間的関係について推論できるかどうかを評価する。 我々はこの課題を視覚的エビデンスルーティングパイプラインで解決し、認識を象徴的な時間的推論から分離する。
  論文  参考訳（メタデータ） (2026-05-31T08:49:04Z)
• Breaking Down Video LLM Benchmarks: Knowledge, Spatial Perception, or True Temporal Understanding? [27.128582163847]
  ハイスコアがビデオのダイナミックコンテンツに対するより強力な理解を示すかどうかを曖昧にする2つの大きな制限を同定する。 質問をLLM-Answerable、Semantic、Temporalの3つのドメインに分類する自動パイプラインであるVBenchCompを提案する。
  論文  参考訳（メタデータ） (2025-05-20T13:07:55Z)
• TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
  TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。 ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。 GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• Locate before Answering: Answer Guided Question Localization for Video Question Answering [70.38700123685143]
  LocAnsは質問ロケータと回答予測器をエンドツーエンドモデルに統合する。 最新の2つのビデオQAデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-05T08:19:16Z)
• Frame-Subtitle Self-Supervision for Multi-Modal Video Question Answering [73.11017833431313]
  マルチモーダルなビデオ質問応答は、正しい回答を予測し、その質問に関連する時間的境界をローカライズすることを目的としている。 我々は、QAアノテーションのみを使用する、弱い教師付き質問基盤(WSQG)の設定を考案する。 フレームと字幕の対応をフレーム字幕(FS)に変換し,時間的注意スコアの最適化を支援する。
  論文  参考訳（メタデータ） (2022-09-08T07:20:51Z)
• Action Quality Assessment with Temporal Parsing Transformer [84.1272079121699]
  行動品質評価(AQA)は、作業の理解と解決に重要である。 本稿では,時間的部分表現に包括的特徴を分解する時間的パーシング変換器を提案する。 提案手法は,3つの公開AQAベンチマークにおける先行研究よりもかなりのマージンで優れていた。
  論文  参考訳（メタデータ） (2022-07-19T13:29:05Z)
• Invariant Grounding for Video Question Answering [72.87173324555846]
  Video Question Answering (ビデオQA)は、ビデオに関する質問に答えるタスクである。 先行するビデオQAモデルでは、典型的な学習目標である経験的リスク最小化(ERM)が、ビデオクエストペアと回答の間の表面的相関に基づく。 Invariant Grounding for VideoQA (IGV) という新たな学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-06T04:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。