論文の概要: Think Visually Across Space and Time: Grounded Reasoning for Video Segmentation
- arxiv url: http://arxiv.org/abs/2610.25090v1
- Date: Sun, 18 Oct 2026 07:54:07 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:19:39.766013
- Title: Think Visually Across Space and Time: Grounded Reasoning for Video Segmentation
- Title（参考訳）: 空間と時間を通して視覚的に考える:ビデオセグメンテーションのためのグラウンドド推論
- Abstract要約: Video Reasoning (VRS) は暗黙的に記述されたターゲットを特定し、そのピクセルレベルのマスク軌道を予測するモデルを必要とする。
我々は,クエリ関連観測を推論チェーンに整理するビデオCoTの時間的基盤形式として,ビデオプリミティブのテキストのみのチェイン(TCoVP)を導入する。
- 参考スコア（独自算出の注目度）: 73.45102753524989
- License:
- Abstract: Video Reasoning Segmentation (VRS) requires a model to identify an implicitly described target and predict its pixel-level mask trajectory, while resolving the spatial relations and temporal events that determine the answer. Text-only Chain-of-Thought (CoT) can explain a target choice without making the underlying visual references explicit, leaving a \emph{video reference gap} between linguistic inference and the evidence distributed across frames. We introduce \textbf{Temporal Chain of Video Primitives (TCoVP)}, a spatiotemporally grounded form of Video CoT that organizes query-relevant observations into a chronological reasoning chain. Each primitive associates an entity reference with temporal support and timestamped spatial evidence, and the chain interleaves these references with language to guide reasoning about which entity is relevant, when the queried event holds, and where its evidence appears. The selected target primitives then provide box prompts and temporal support for video mask prediction. We construct TCoVP-SFT-15k and TCoVP-RL-13k to learn this representation through supervised fine-tuning and chain-aligned reinforcement learning. Extensive experiments across five VRS benchmarks and three model backbones demonstrate the strong performance of TCoVP, highlighting the effectiveness of organizing spatial and temporal evidence within the reasoning process. All models and code will be publicly released. Project page: \url{https://victor-wjw.github.io/TCoVP/}
- Abstract（参考訳）: ビデオ推論セグメンテーション(VRS)は、暗黙的に記述されたターゲットを特定し、そのピクセルレベルのマスク軌道を予測するモデルを必要とする。
テキストのみのChain-of-Thought(CoT)は、基礎となる視覚的参照を明示することなく、ターゲットの選択を説明することができ、言語推論とフレームに分散するエビデンスの間には \emph{video reference gap} が残る。
我々は,時系列推論チェーンにクエリ関連観測を整理するビデオCoTの時空間的な形式である,ビデオプリミティブの‘textbf{Temporal Chain of Video Primitives(TCoVP)’を紹介する。
それぞれのプリミティブは、エンティティ参照と時間的サポートとタイムスタンプされた空間的証拠を関連付け、チェーンはこれらの参照を言語とインターリーブして、どのエンティティが関連しているか、問い合わせイベントがいつ開催され、その証拠がどこに現れるのかを推論する。
選択されたターゲットプリミティブは、ビデオマスク予測のためのボックスプロンプトと時間的サポートを提供する。
TCoVP-SFT-15k と TCoVP-RL-13k を構築し、教師付き微調整および連鎖整列強化学習によりこの表現を学習する。
5つのVRSベンチマークと3つのモデルバックボーンにわたる広範囲な実験は、TCoVPの強い性能を示し、推論プロセスにおける空間的および時間的証拠の整理の有効性を強調している。
すべてのモデルとコードは公開されます。
プロジェクトページ: \url{https://victor-wjw.github.io/TCoVP/}
関連論文リスト
- Less from More: Reinforcing Sparse Video Reasoning from Dense References [54.08422547695236]
SAVERは、密集したビデオビューをスパースフレーム推論のトレーニング時間参照として使用する、密集した訓練後のフレームワークである。
私たちは、SAVERがフレーム予算をまたいだパフォーマンスを継続的に改善していることを示します。
これらの結果から, 時間的グラウンドディングは, スパースビデオ推論の学習に有効なエビデンス・ローカライゼーション・プロキシとして有効であることが示唆された。
論文 参考訳（メタデータ） (2026-10-07T20:51:59Z) - The Shape of Time: Video-Token Contrast for Temporal Understanding in VideoLMs [21.75029303199712]
本稿では,VTコントラスト(VT-Contrast)を提案する。
その設計は、時間的監督の行動と、それが公開すべき時間的差異を問うものである。
VT-Contrastは選択したラストフレームビデオトークンを監督する。
論文 参考訳（メタデータ） (2026-09-03T17:14:55Z) - Evidence-Backed Video Question Answering [90.93225758130426]
既存の説明可能性の取り組みは、テキストの合理性やまばらなバウンディングボックスに依存している。
E-VQA(Evidence-Backed Video Question Answering)を提案する。
これをサポートするために,識別的および生成的画素レベルのグラウンド化のための最初の人為的検証ベンチマークST-Evidenceを導入する。
論文 参考訳（メタデータ） (2026-07-13T17:49:10Z) - OpenCoF: Learning to Reason Through Video Generation [67.0484140851674]
推論は、特に信頼性の高い決定が論理的な結果を理解する必要がある場合、大規模モデルのコア機能となっている。
最近のビデオ生成モデルは、以前のChain-of-Thought(CoT)とは異なる推論パスを提供する
我々は、11のタスクファミリーにまたがる推論ビデオデータセットからなるフレームワークOpenCoFと、多様な時間的監督がCoFの振る舞いを改善するかどうかを研究するための微調整ビデオモデルWan-CoFを紹介する。
論文 参考訳（メタデータ） (2026-07-09T17:58:29Z) - TimeThink: Reasoning with Time for Video LLMs [28.549802513886046]
ビデオLLMにおける時間的エビデンス発見をガイドする強化学習フレームワークであるTimeThinkを提案する。
私たちのキーとなる考え方は、時間的手がかりステップをビデオ推論の基本的な最適化プリミティブとして扱うことです。
スケーラブルなトレーニングを実現するため,時間的エビデンスセグメントを自動的に抽出したデータセットであるTimeThink-RFT-20Kを構築した。
論文 参考訳（メタデータ） (2026-07-06T13:50:15Z) - Foresee-to-Ground: From Predictive Temporal Perception to Evidence-Driven Reasoning for Video Temporal Grounding [86.37002814396674]
ビデオ時間グラウンドのためのフォアシー・ツー・グラウンド(F2G)を提案する。
F2Gは予測的時間知覚とエビデンス駆動推論を統合している。
さまざまなベンチマークでグラウンド化の精度を一貫して向上させる。
論文 参考訳（メタデータ） (2026-05-21T04:03:25Z) - Open-o3 Video: Grounded Video Reasoning with Explicit Spatio-Temporal Evidence [70.2803680525165]
我々は、明示的な証拠をビデオ推論に統合する非エージェントフレームワークであるOpen-o3 Videoを紹介した。
このモデルは、キーオブジェクトとバウンディングボックスをその答えとともに強調し、推論を具体的な視覚的な観察で基礎付けることができる。
V-STARベンチマークでは、Open-o3 Videoは最先端のパフォーマンスを達成し、mAMを14.4%、mLタイムスタンプを24.2%向上させた。
論文 参考訳（メタデータ） (2025-10-23T14:05:56Z) - When and What: Diffusion-Grounded VideoLLM with Entity Aware Segmentation for Long Video Understanding [12.410012029024342]
我々は,3つの重要なイノベーションを導入することで,制限を克服するビデオLLMであるGrounded VideoDiTを紹介する。
第一に、拡散時間遅延(DTL)エンコーダは境界感度を高め、時間的一貫性を維持する。
第二に、オブジェクト基底表現は、クエリエンティティを局所化された視覚的エビデンスに明示的に結合し、アライメントを強化する。
第三に、離散時間的タイムスタンプトークンを持つ混合トークンスキームは明示的なモデリングを提供し、きめ細かい時間的推論を可能にする。
論文 参考訳（メタデータ） (2025-08-21T15:12:14Z) - V-STaR: Benchmarking Video-LLMs on Video Spatio-Temporal Reasoning [40.18308199837137]
これらの問題点に対処するために,ビデオS-テンポラル推論(V-STa)ベンチマークを導入する。
我々は,ビデオLLMの時空間推論プロセスを実現するためのデータセットを構築した。
14のビデオ-LLMによる実験では、現在のビデオ-LLMと、堅牢で一貫性のある推論の必要性の間に大きなギャップが示されている。
論文 参考訳（メタデータ） (2025-03-14T15:21:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。