論文の概要: LMM-Track4D: Eliciting 4D Dynamic Reasoning in LMMs via Trajectory-Grounded Dialogue

• arxiv url: http://arxiv.org/abs/2605.19390v1
• Date: Tue, 19 May 2026 05:35:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.1433
• Title: LMM-Track4D: Eliciting 4D Dynamic Reasoning in LMMs via Trajectory-Grounded Dialogue
• Title（参考訳）: LMM-Track4D:軌道周囲対話によるLMMにおける4次元動的推論の回避
• Authors: Chaoyue Li, Yongxue Xu, Jie Feng, Jiayu Ding,
• Abstract要約: 最近のモデル(LMM)は、画像の理解においてますます能力を高めつつも、4次元の連続的動的推論を維持するのに苦戦している。 そこで本研究では,提案する3次元トラジェクトリを,短いクリップ全体あるいはより長いクリップの特定のセグメントに返却しながら,問合せに応答しなければならない新しいタスクを提案する。 Track4-Trackの実験では、強いベースラインよりも一貫した改善が示されており、動的状態モデリングはLMMにおける4次元動的推論を引き出すのに有用な設計原理であることを示唆している。
• 参考スコア（独自算出の注目度）: 4.481491966887467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent large multimodal models (LMMs) have become increasingly capable on image and video understanding, yet still struggle to sustain 4D continuous spatiotemporal dynamic reasoning. To study this capability gap, we formulate trajectory-grounded multi-turn spatiotemporal dialogue, a new task in which a model must answer spatiotemporal queries while returning structured 3D target trajectories over an entire short clip or a specified segment of a longer clip, and introduce Track4D-Bench, a benchmark with 526 clip-level dialogue samples spanning 23.5k frames and 7.5k object annotations, for training and evaluation. Building on this task, we propose LMM-Track4D, which combines RTGE (Ray--Time Geometry Encoding), a dedicated streaming state token TRK for long-horizon dynamic propagation, and an Object-Slot Kinematic, Residual-Anchor (OSK-RA) decoder for stable 4-step 3D state estimation under occlusion and viewpoint variation. Experiments on Track4D-Bench show consistent improvements over strong baselines, suggesting that explicit dynamic state modeling is a useful design principle for eliciting 4D dynamic reasoning in LMMs. Our code and dataset will be publicly available at https://github.com/mikubaka88/LMM-Track4D.
• Abstract（参考訳）: 近年の大規模マルチモーダルモデル (LMM) は画像や映像の理解においてますます能力を高めつつも, 4次元時空間動的推論の持続に苦慮している。 この能力ギャップを研究するために,モデルが時空間クエリに応答する新しいタスクであるトラジェクティブ・グラウンドド・マルチターン時空間対話を定式化するとともに,23.5kフレームと7.5kオブジェクトアノテーションにまたがる526個のクリップレベルの対話サンプルを用いたTrack4D-Benchを導入し,トレーニングと評価を行う。 この課題に基づいて,RTGE(Ray-Time Geometry Encoding)と,長距離動的伝搬のための専用ストリーミング状態トークンTRKと,オクルージョンおよび視点変動下での安定した4段階状態推定のためのObject-Slot Kinematic, Residual-Anchor (OSK-RA)デコーダを組み合わせたLMM-Track4Dを提案する。 Track4D-Benchの実験では、強いベースラインよりも一貫した改善が示されており、明示的な動的状態モデリングがLMMにおける4次元動的推論を引き出す上で有用な設計原理であることを示唆している。 私たちのコードとデータセットはhttps://github.com/mikubaka88/LMM-Track4Dで公開されます。

関連論文リスト

• MLLM-4D: Towards Visual-based Spatial-Temporal Intelligence [50.11889361459544]
  人間は視覚に基づく4D空間時間知能で生まれる。 その重要性にもかかわらず、この機能は現在の大規模言語モデル(MLLM)にとって重要なボトルネックであり続けている。
  論文  参考訳（メタデータ） (2026-02-28T07:23:36Z)
• Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models [79.18306680174011]
  DSR Suiteは、データセット、ベンチマーク、モデルの各面にギャップを埋める。 そこで本研究では,DSRビデオから複数問合せペアを生成する自動パイプラインを提案する。 パイプラインは、カメラポーズ、局所点雲、オブジェクトマスク、向き、および3Dトラジェクトリを含む、豊富な幾何学的および運動的な情報を抽出する。
  論文  参考訳（メタデータ） (2025-12-23T17:56:36Z)
• C4D: 4D Made from 3D through Dual Correspondences [77.04731692213663]
  時間的対応を利用して既存の3次元再構成を4Dに拡張するフレームワークであるC4Dを紹介する。 C4Dは、短期光学フローと長期点追跡の2種類の対応をキャプチャする。 我々は、追加の移動情報を提供する動的認識ポイントトラッカーを訓練する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:06Z)
• St4RTrack: Simultaneous 4D Reconstruction and Tracking in the World [106.91539872943864]
  St4RTrackは、RGB入力から世界座標フレーム内の動的ビデオコンテンツを同時に再構成し、追跡するフレームワークである。 静的および動的シーン幾何学の両方をキャプチャして、同じ世界において、同時に両方のポイントマップを予測する。 統合されたデータ駆動フレームワークの有効性と効率を実証し、世界フレームの再構築と追跡のための新しい広範囲なベンチマークを構築します。
  論文  参考訳（メタデータ） (2025-04-17T17:55:58Z)
• Easi3R: Estimating Disentangled Motion from DUSt3R Without Training [69.51086319339662]
  Easi3Rは,4次元再構成のための簡易かつ効率的なトレーニングフリー手法である。 提案手法は,事前学習やネットワークファインチューニングの必要性を排除し,推論中の注意適応を適用した。 実世界のダイナミックビデオの実験では、従来の最先端手法よりも軽量な注意適応が著しく優れていたことが示されている。
  論文  参考訳（メタデータ） (2025-03-31T17:59:58Z)
• Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
  高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。 ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。 提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
  論文  参考訳（メタデータ） (2024-05-26T17:47:34Z)
• MAMBA4D: Efficient Long-Sequence Point Cloud Video Understanding with Disentangled Spatial-Temporal State Space Models [14.024240637175216]
  状態空間モデル(SSM)に基づく新しいポイントクラウドビデオ理解バックボーンを提案する。 具体的には,まず空間と時間を4次元ビデオシーケンスで切り離し,設計したマンバブロックと空間的時間的相関を確立する。 提案手法は, 87.5%のGPUメモリ削減と5.36倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-05-23T09:08:09Z)
• Consistent4D: Consistent 360{\deg} Dynamic Object Generation from Monocular Video [15.621374353364468]
  Consistent4Dは、モノクロビデオから4D動的オブジェクトを生成するための新しいアプローチである。 我々は、360度ダイナミックオブジェクト再構成を4次元生成問題として、退屈なマルチビューデータ収集とカメラキャリブレーションの必要性を排除した。
  論文  参考訳（メタデータ） (2023-11-06T03:26:43Z)
• NSM4D: Neural Scene Model Based Online 4D Point Cloud Sequence Understanding [20.79861588128133]
  NSM4Dと呼ばれる汎用的なオンライン4D知覚パラダイムを導入する。 NSM4Dは、既存の4Dバックボーンに適応可能なプラグアンドプレイ戦略として機能する。 屋内および屋外環境における各種オンライン知覚ベンチマークにおいて,顕著な改善が示された。
  論文  参考訳（メタデータ） (2023-10-12T13:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。