論文の概要: Ask About the Right Moment: Training-Free Object Identity Reasoning for Video-Language Models

• arxiv url: http://arxiv.org/abs/2610.31471v1
• Date: Thu, 22 Oct 2026 15:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.467931
• Title: Ask About the Right Moment: Training-Free Object Identity Reasoning for Video-Language Models
• Title（参考訳）: 正しいモーメントについて聞く:ビデオ言語モデルのためのトレーニング不要なオブジェクトアイデンティティ推論
• Abstract要約: ビデオ言語モデル(Video-LM)は、単一のフレーム内のオブジェクトを認識するが、時間とともにオブジェクトを区別しない。 emphTrack, then Bindはトレーニングなしでこの原則を実装します。 プロンプト可能なビデオトラッカーは、すべての候補オブジェクトに従い、トラック番号で描画する。 凍結された視覚言語モデルは、標的をトラックにバインドする識別証拠に関する静的な疑問に答える。
• 参考スコア（独自算出の注目度）: 7.623169992806921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many questions about a video concern one physical object. Where does the ball end up after the cups are shuffled? Which card is the queen? How often was the mug covered? Video-language models (Video-LMs) recognise such objects in single frames but do not keep them apart over time. On real shell-game videos, open models from 8B to 235B parameters, their thinking variants, a reinforcement-learned tool agent and three training-free tool agents all stay within ten points of chance. We separate semantic identity binding from temporal identity maintenance. An object's identity should be fixed at a moment when the evidence for it is visible, and carried afterwards by a tracker. \emph{Track, Then Bind} implements this principle without training. A promptable video tracker follows every candidate object and draws it with a track number. A frozen vision-language model answers a static question about the identifying evidence, which binds the target to a track. The answer is then derived from the tracked state in text, without asking the model to reinterpret the original video during read-out. A single configuration covers all benchmarks. With Qwen3-VL-32B it solves both VET-Bench tasks, where a fine-tuned trajectory model reaches 92\% and 90\% and the same VLM voting over 16 samples stays at 30--32\%. It answers 55.4\% of the hardest Perception Test cup games, where the best published model answers 41.5\%, and, using track-derived timelines, 48.6\% of TOC-Bench questions, against 37.1\% for the same model answering directly. Drawing the same tracks on the video and asking the question directly falls 12--19 points short of the agent on real cup games.
• Abstract（参考訳）: ビデオに関する多くの質問は、1つの物理的なオブジェクトに関するものだ。 カップがシャッフルされた後、ボールはどこで終わりますか。 女王はどちらのカードですか。 マグカップはどれくらいの頻度で覆われましたか。 ビデオ言語モデル (Video-LMs) は、そのようなオブジェクトを単一のフレームで認識するが、時間とともに区別しない。 実際のシェルゲームビデオでは、8Bから235Bパラメータのオープンモデル、思考のバリエーション、強化学習ツールエージェント、3つのトレーニング不要ツールエージェントがいずれも10ポイント以内に留まっている。 意味的アイデンティティ結合と時間的アイデンティティの維持を分離する。 物体の身元は、その証拠が見える瞬間に固定され、追跡者によって引き継がれるべきである。 \emph{Track, then Bind} はこの原則をトレーニングなしで実装する。 プロンプト可能なビデオトラッカーは、すべての候補オブジェクトに従い、トラック番号で描画する。 凍結された視覚言語モデルは、標的をトラックにバインドする識別証拠に関する静的な疑問に答える。 そして、その答えはテキスト中の追跡された状態から導き出され、読み出し中に元のビデオを再解釈するようモデルに要求する。 単一の構成はすべてのベンチマークをカバーする。 Qwen3-VL-32Bでは、VET-Benchの両タスクを解決し、微調整された軌道モデルが92\%と90\%に達し、16サンプル以上のVLM投票は30-32\%に留まる。 最も難しいパーセプションテストカップゲームの55.4\%に答え、最良のモデルでは41.5\%、トラック由来のタイムラインでは48.6\%、同じモデルでは37.1\%と答えている。 ビデオで同じトラックを描いて質問すると、本物のカップゲームではエージェントより12～19ポイント低い。

関連論文リスト

• Have I Seen Enough? Frozen Video-Language Models Encode Evidence Readiness [14.606133970882352]
  凍結したビデオLLMは、タイムスタンプ付きエビデンスからラベル付けされた線形可読なエビデンス可読性信号を持つことを示す。 我々は、読み出しを、一致したビデオ時間で最大9.75ppの精度を向上する回答最適化ポリシーであるレディティーゲーティングに変換する。
  論文  参考訳（メタデータ） (2026-10-06T15:43:04Z)
• Dancing Stick Figures: An Introductory Dataset for Training Video Generation Models [0.0]
  Dancing Stick Figuresは,3つの障害に対して構築された合成ビデオデータセットだ。 スピードに関しては、64x64の64フレーム参照タスクは、単一のワークステーションGPUで実際に繰り返しトレーニングするためにサイズが大きすぎる。 アクセシビリティーのために、このリリースは4,020本のビデオクリップ-1,340本の6秒のソースモーションの0.79GBのトレーニングティアである。
  論文  参考訳（メタデータ） (2026-08-29T08:03:19Z)
• Evidence-Backed Video Question Answering [90.93225758130426]
  既存の説明可能性の取り組みは、テキストの合理性やまばらなバウンディングボックスに依存している。 E-VQA(Evidence-Backed Video Question Answering)を提案する。 これをサポートするために,識別的および生成的画素レベルのグラウンド化のための最初の人為的検証ベンチマークST-Evidenceを導入する。
  論文  参考訳（メタデータ） (2026-07-13T17:49:10Z)
• Do Video-LLMs Actually Watch? Diagnosing Character-Tracking Failures in Long-Form Video [0.2624902795082451]
  ビデオ大言語モデル(Video-LLM)のベンチマーク しかし、そのスコアは名前のついた文字を追跡することや、もっと簡単なものから来ているのだろうか? アーキテクチャ的に異なる3つのオープンソースビデオLLMに適用した9条件診断プロトコルでこれを検証する。
  論文  参考訳（メタデータ） (2026-07-13T04:37:07Z)
• VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
  マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
  論文  参考訳（メタデータ） (2026-06-05T22:06:07Z)
• What-If World: A Causal Benchmark for General World Models in Embodied Scenarios [23.527918480081013]
  ビデオ生成モデルは、運転やロボット操作といったタスクのための世界シミュレータとして、ますます使われている。 これらの設定で重要なのは、単一のビデオが正しく見えるかどうかではなく、入力が変わったときにモデルの出力が変わるかどうかです。 我々は、同じシーンを1つの物理的詳細で記述した2つのプロンプトをモデルに与え、この2つのビデオが物理の予測方法が異なるかどうかを確認することによって、これを検証した。
  論文  参考訳（メタデータ） (2026-05-26T19:02:26Z)
• TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
  TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。 ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。 GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• SoccerNet-Tracking: Multiple Object Tracking Dataset and Benchmark in Soccer Videos [62.686484228479095]
  本稿では,各30の200列からなる複数物体追跡のための新しいデータセットを提案する。 データセットは、バウンディングボックスとトラックレットIDで完全に注釈付けされている。 分析の結果,サッカービデオにおける複数の選手,審判,ボール追跡が解決されるには程遠いことがわかった。
  論文  参考訳（メタデータ） (2022-04-14T12:22:12Z)
• Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA [96.10612095576333]
  本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。 また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。 当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-05-13T16:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。