論文の概要: CL4D: Contrastive Language-4D Pretraining for Vision-Language Reasoning in Dynamic Scenes

• arxiv url: http://arxiv.org/abs/2608.18734v1
• Date: Wed, 19 Aug 2026 09:37:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.365416
• Title: CL4D: Contrastive Language-4D Pretraining for Vision-Language Reasoning in Dynamic Scenes
• Title（参考訳）: CL4D:動的シーンにおける視覚言語推論のためのコントラスト言語4D事前学習
• Abstract要約: 我々は,ダイナミックポイントクラウド上で直接動作する最初の基礎的な4DビジョンエンコーダであるCL4Dを紹介する。 動的幾何表現に基づいて言語生成を行う4次元視覚言語モデルである4DVLMを導入する。 CL4Dは最先端の性能を達成し、従来の手法よりも約16.75%向上した。
• 参考スコア（独自算出の注目度）: 2.5603340362916938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 4D understanding and reasoning is a fundamental capability for embodied AI agents operating in dynamic physical environments. However, existing vision encoders are largely limited to static 2D images or 3D point clouds without temporal modeling, or to 2D videos that lack accurate geometric depth reasoning. Consequently, current approaches fail to jointly capture spatial structure and motion evolution in dynamic scenes. We present CL4D, the first foundational 4D vision encoder that directly operates on dynamic point clouds, trained with a contrastive learning objective to align spatio-temporal geometric representations with natural language descriptions. By learning a shared embedding space between text and 4D scene dynamics, CL4D enables zero-shot motion-to-text and text-to-motion retrieval in dynamic environments and serves as a foundational 4D vision encoder for downstream 4D vision-language tasks. Building on this encoder, we introduce 4DVLM, a 4D vision-language model that conditions language generation on dynamic geometric representations. 4DVLM is the first VLM designed to operate directly on 4D point clouds without relying on 2D images, 2D videos, or static 3D point clouds. We train CL4D and subsequently 4DVLM on a newly constructed dataset termed DynAction4D capturing diverse human motions across varying object interactions and scene environments. Extensive experiments across multiple 4D human action benchmarks demonstrate that CL4D achieves state-of-the-art performance, with improvements of approximately ~16.75% over prior methods. Furthermore, 4DVLM outperforms frontier video VLMs such as Gemini and GPT-5 even when these models are provided with RGB video sequences corresponding to the same scenes represented as 4D point clouds for 4DVLM.
• Abstract（参考訳）: 4D理解と推論は、動的物理的環境で動作するAIエージェントの基本的な能力である。 しかし、既存の視覚エンコーダは、時間的モデリングなしで静的な2D画像や3Dポイントの雲、正確な幾何学的深度推論を欠く2Dビデオに限られている。 その結果、現在のアプローチでは動的シーンにおける空間構造と運動の進化を共同で捉えることができない。 本研究では,動的点雲を直接操作する最初の基礎的4次元視覚エンコーダであるCL4Dについて,時空間幾何学的表現を自然言語記述と整合させるために,対照的な学習目標を用いて訓練した。 テキストと4Dシーンのダイナミックス間の共有埋め込み空間を学習することにより、CL4Dは動的環境におけるゼロショットモーション・トゥ・テキストとテキスト・トゥ・モーション検索を可能にし、下流4D視覚言語タスクの基本的な4Dビジョンエンコーダとして機能する。 このエンコーダ上に構築された4DVLMは、4次元視覚言語モデルであり、動的幾何学的表現に基づいて言語を生成する。 4DVLMは、2Dイメージや2Dビデオ、静的な3Dポイントクラウドに頼ることなく、4Dポイントクラウドを直接運用するように設計された最初のVLMである。 CL4Dと4DVLMを新たに構築したデータセットDynAction4Dで訓練し、さまざまな物体の相互作用やシーン環境における多様な人間の動きをキャプチャする。 複数の4Dヒューマンアクションベンチマークによる大規模な実験により、CL4Dは最先端のパフォーマンスを達成し、以前の手法よりも約16.75%向上した。 さらに、4DVLMは、4DVLMの4Dポイントクラウドとして表される同じシーンに対応するRGBビデオシーケンスが提供される場合であっても、GeminiやGPT-5のようなフロンティアビデオVLMよりも優れている。

関連論文リスト

• Full-4D: Generating Full-Scope 4D Scenes from a Single-View Video [63.61099683012546]
  本稿では,同期マルチビュービデオのデータセットであるRealMV-4Dを紹介する。 次に、新しい融合時間(T)-ビュー(V)アテンション機構によって駆動される多視点ビデオ拡散モデルを訓練する。 実験により,本手法は視覚的忠実度と一貫性の両方において既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-05-25T06:59:26Z)
• 4DThinker: Thinking with 4D Imagery for Dynamic Spatial Understanding [31.082079260882896]
  視覚言語モデルを“4Dで考える”ための最初のフレームワークである4DThinkerを紹介します。 まず,生のビデオから4D推論データを合成する,スケーラブルでアノテーションのないデータ生成パイプラインを紹介する。 次に,動的視覚意味論のモデルを構築するために,テキストトークンと4Dラテントを併用した動的画像ファインタニング(DIFT)を提案する。
  論文  参考訳（メタデータ） (2026-05-07T10:48:46Z)
• Velox: Learning Representations of 4D Geometry and Appearance [37.12487786007913]
  物体の形状と外観を忠実に捉えた記述的かつ忠実な4次元オブジェクトの潜在表現を学習するためのフレームワークを提案する。 我々は,3つの下流タスク – 映像から4D生成,3次元トラッキング,および画像から4D生成による布地シミュレーション – で評価を行った。
  論文  参考訳（メタデータ） (2026-05-06T06:12:19Z)
• VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control [83.92729346325163]
  VerseCrafterは、4D対応のビデオワールドモデルであり、カメラとオブジェクトのダイナミクスの両方を明示的で一貫性のある制御を可能にする。 当社のアプローチは,静的な背景点雲を通じて世界状態をエンコードする,新しい4次元幾何制御表現を中心にしている。 これらの4D制御は、事前訓練されたビデオ拡散モデルのための条件付け信号にレンダリングされ、高忠実でビュー一貫性のあるビデオを生成することができる。
  論文  参考訳（メタデータ） (2026-01-08T17:28:52Z)
• Uni4D: A Unified Self-Supervised Learning Framework for Point Cloud Videos [70.07088203106443]
  既存の手法は運動を学ぶための明示的な知識に依存しており、結果として準最適表現をもたらす。 Masked Autoentangler (MAE)フレームワークは、4Dデータにおける低レベルの幾何学と高レベルのダイナミックスの間のギャップを埋めるのに苦労している。 本稿では,表現的,識別的,移動可能な4次元表現を学習するための,新しい自己異方性MAEを提案する。
  論文  参考訳（メタデータ） (2025-04-07T08:47:36Z)
• Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
  Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。 我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。 結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
  論文  参考訳（メタデータ） (2025-03-26T17:59:44Z)
• VG4D: Vision-Language Model Goes 4D Video Recognition [34.98194339741201]
  Webスケールのテキストイメージデータセットで事前トレーニングされた視覚言語モデル(VLM)は、きめ細かい視覚概念を学習することができる。 視覚テキスト事前学習モデルから4DポイントクラウドネットワークへVLMの知識を伝達するためのビジョンランゲージモデル Goes 4D (VG4D) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-17T17:54:49Z)
• Comp4D: LLM-Guided Compositional 4D Scene Generation [65.5810466788355]
  合成 4D 生成のための新しいフレームワーク Comp4D について述べる。 シーン全体の特異な4D表現を生成する従来の方法とは異なり、Comp4Dはシーン内の各4Dオブジェクトを革新的に別々に構築する。 提案手法は, 予め定義された軌道で導かれる合成スコア蒸留技術を用いている。
  論文  参考訳（メタデータ） (2024-03-25T17:55:52Z)
• Text-To-4D Dynamic Scene Generation [111.89517759596345]
  テキスト記述から3次元動的シーンを生成するMAV3D(Make-A-Video3D)を提案する。 提案手法では, シーンの外観, 密度, 動きの整合性に最適化された4次元動的ニューラルラジアンス場(NeRF)を用いる。 提供されるテキストから出力されるダイナミックビデオは、任意のカメラの位置と角度から見ることができ、任意の3D環境に合成することができる。
  論文  参考訳（メタデータ） (2023-01-26T18:14:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。