論文の概要: Trace4D: Grounded Spatiotemporal Reasoning via 4D State Sequences

• arxiv url: http://arxiv.org/abs/2611.02759v1
• Date: Mon, 02 Nov 2026 08:41:06 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:54:34.005114
• Title: Trace4D: Grounded Spatiotemporal Reasoning via 4D State Sequences
• Title（参考訳）: Trace4D: 4次元状態系列による時空間時空間推論
• Abstract要約: textbfTrace4Dを導入し、視覚言語モデルを用いて4次元状態列の予測と時間間変化の推論を行う。 推論では、Trace4Dは参照アノテーションや外部幾何学モデルなしでビデオから4Dの状態と推論を直接予測する。
• 参考スコア（独自算出の注目度）: 52.49884778180367
• License:
• Abstract: Understanding how objects and their spatial relationships evolve in 3D space over time remains challenging for vision-language models (VLMs), particularly under changing viewpoints. Recent approaches incorporate geometric information into reasoning, but explicit supervision for temporally ordered 4D state evolution and its use as intermediate evidence remains limited. We introduce \textbf{Trace4D}, which trains VLMs to predict 4D state sequences and reason over their inter-timestep changes alongside temporal visual observations. Its 4D-grounded chain-of-thought (CoT) explicitly represents 4D states, analyzes temporal visual context, and connects both as evidence for the answer. We construct Trace4D-Train from in-the-wild videos with 600K 4D perception examples and approximately 70K grounded QA examples, and train with joint supervised fine-tuning followed by geometry-aware GRPO. At inference, Trace4D predicts 4D states and reasoning directly from video without reference annotations or an external geometric model. Experiments on Trace4D-Bench and VLM4D show improved QA accuracy over the base VLMs and benefits from reasoning over 4D state changes and temporal visual observations.
• Abstract（参考訳）: オブジェクトとその空間的関係が時間とともに3次元空間でどのように進化するかを理解することは、視覚言語モデル(VLM)において、特に視点の変化の下では困難である。 近年のアプローチでは、幾何学的情報を推論に取り入れているが、時間的に秩序づけられた4D状態の進化の明確な監督と中間的証拠としての使用は限定的である。 我々は,VLMを訓練して4次元状態列を予測し,時間間変化を時間的視覚的観察とともに推論する「textbf{Trace4D}」を紹介した。 4D-grounded chain-of- Thought(CoT)は、4D状態を明示的に表現し、時間的視覚的文脈を分析し、両者を答えの証拠として接続する。 In-the-wild video with 600K 4D perception example and approximately 70K grounded QA examples, and Train with joint supervised fine-tuning followed by geometry-aware GRPO。 推論では、Trace4Dは参照アノテーションや外部幾何学モデルなしでビデオから4Dの状態と推論を直接予測する。 Trace4D-BenchとVLM4Dの実験では、基本VLMよりもQA精度が向上し、4D状態の変化と時間的視覚的観察の推論による利点が示された。

関連論文リスト

• Temporal Forcing: 4D Representation Alignment for Vision-Language-Action Models [44.595035220827754]
  VLAモデルの4次元表示アライメント法であるTemporal Forcingを提案する。 まず,バニラVLAモデルを用いて観測履歴を時間的に認識された潜在表現に要約する履歴経路を提案する。 そして、潜在表現は、時間的に一貫した幾何学的表現を通して進化する3次元世界をキャプチャする事前訓練された4次元基礎モデルによって抽出された幾何学的特徴と整合する。
  論文  参考訳（メタデータ） (2026-08-31T11:47:29Z)
• IGGT4D: Streaming 4D Instance-Grounded Geometry Transformer [64.5765465030666]
  オンライン4Dシーン理解のためのストリーミングインスタンスグラウンド幾何変換器IGGT4Dを提案する。 IGGT4Dは、ビデオフレームを逐次処理し、因果時空間モデリングを通じて歴史的コンテキストを再利用し、カメラモーション、幾何学、オブジェクトアイデンティティの統一表現を漸進的に更新する。 3次元再構成、ポーズ推定、例空間追跡、オープンボキャブラリセグメンテーションの実験は、IGGT4Dが既存のストリーミングベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2026-07-21T16:00:01Z)
• LMM-Track4D: Eliciting 4D Dynamic Reasoning in LMMs via Trajectory-Grounded Dialogue [4.481491966887467]
  最近のモデル(LMM)は、画像の理解においてますます能力を高めつつも、4次元の連続的動的推論を維持するのに苦戦している。 そこで本研究では,提案する3次元トラジェクトリを,短いクリップ全体あるいはより長いクリップの特定のセグメントに返却しながら,問合せに応答しなければならない新しいタスクを提案する。 Track4-Trackの実験では、強いベースラインよりも一貫した改善が示されており、動的状態モデリングはLMMにおける4次元動的推論を引き出すのに有用な設計原理であることを示唆している。
  論文  参考訳（メタデータ） (2026-05-19T05:35:13Z)
• 4D-RGPT: Toward Region-level 4D Understanding via Perceptual Distillation [78.63581010756023]
  4D-RGPTは、時間知覚を増強したビデオ入力から4D表現をキャプチャするために設計された特殊なMLLMである。 P4Dは凍結したエキスパートモデルから総合的な4D知覚のために4D-RGPTに4D表現を転送するトレーニングフレームワークである。 R4D-Benchは、地域レベルのプロンプトを備えた深度対応動的シーンのベンチマークである。
  論文  参考訳（メタデータ） (2025-12-18T19:13:44Z)
• C4D: 4D Made from 3D through Dual Correspondences [77.04731692213663]
  時間的対応を利用して既存の3次元再構成を4Dに拡張するフレームワークであるC4Dを紹介する。 C4Dは、短期光学フローと長期点追跡の2種類の対応をキャプチャする。 我々は、追加の移動情報を提供する動的認識ポイントトラッカーを訓練する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:06Z)
• V4D:4D Convolutional Neural Networks for Video-level Representation Learning [58.548331848942865]
  映像表現学習用3D CNNの多くはクリップベースであるため,映像時間進化は考慮していない。 4D畳み込みを伴う長距離表現をモデル化するために,ビデオレベル4Dコナールニューラルネットワーク(V4D)を提案する。 V4Dは、最近の3D CNNよりも大きなマージンで優れた結果を得る。
  論文  参考訳（メタデータ） (2020-02-18T09:27:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。