論文の概要: Motion4D: Learning 3D-Consistent Motion and Semantics for 4D Scene Understanding

• arxiv url: http://arxiv.org/abs/2512.03601v1
• Date: Wed, 03 Dec 2025 09:32:56 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-04 12:01:57.036664
• Title: Motion4D: Learning 3D-Consistent Motion and Semantics for 4D Scene Understanding
• Title（参考訳）: Motion4D:4Dシーン理解のための3D一貫性のあるモーションとセマンティクスの学習
• Authors: Haoran Zhou, Gim Hee Lee,
• Abstract要約: 基礎モデルからの2次元先行を統一された4次元ガウススプラッティング表現に統合する新しいフレームワークであるMotion4Dを提案する。 1) 局所的な一貫性を維持するために連続的に動き場と意味体を更新する逐次最適化,2) 長期的コヒーレンスのために全ての属性を共同で洗練するグローバル最適化,である。 提案手法は,ポイントベーストラッキング,ビデオオブジェクトセグメンテーション,新しいビュー合成など,多様なシーン理解タスクにおいて,2次元基礎モデルと既存の3Dベースアプローチの両方に優れる。
• 参考スコア（独自算出の注目度）: 54.859943475818234
• License:
• Abstract: Recent advancements in foundation models for 2D vision have substantially improved the analysis of dynamic scenes from monocular videos. However, despite their strong generalization capabilities, these models often lack 3D consistency, a fundamental requirement for understanding scene geometry and motion, thereby causing severe spatial misalignment and temporal flickering in complex 3D environments. In this paper, we present Motion4D, a novel framework that addresses these challenges by integrating 2D priors from foundation models into a unified 4D Gaussian Splatting representation. Our method features a two-part iterative optimization framework: 1) Sequential optimization, which updates motion and semantic fields in consecutive stages to maintain local consistency, and 2) Global optimization, which jointly refines all attributes for long-term coherence. To enhance motion accuracy, we introduce a 3D confidence map that dynamically adjusts the motion priors, and an adaptive resampling process that inserts new Gaussians into under-represented regions based on per-pixel RGB and semantic errors. Furthermore, we enhance semantic coherence through an iterative refinement process that resolves semantic inconsistencies by alternately optimizing the semantic fields and updating prompts of SAM2. Extensive evaluations demonstrate that our Motion4D significantly outperforms both 2D foundation models and existing 3D-based approaches across diverse scene understanding tasks, including point-based tracking, video object segmentation, and novel view synthesis. Our code is available at https://hrzhou2.github.io/motion4d-web/.
• Abstract（参考訳）: 2次元視覚の基礎モデルの最近の進歩は、モノクラービデオからの動的シーンの解析を大幅に改善した。 しかし、これらのモデルは強力な一般化能力にもかかわらず、シーンの幾何学や動きを理解するための基本的な要件である3D一貫性を欠くことが多く、複雑な3D環境において空間的不整合や時間的ひねりを引き起こす。 本稿では,基礎モデルからの2次元先行を統一された4次元ガウス分割表現に統合することにより,これらの課題に対処する新しいフレームワークであるMotion4Dを提案する。 提案手法は,2段階反復最適化フレームワークを特徴とする。 1)局所的な整合性を維持するために連続的に動きと意味を更新する逐次最適化、及び 2) 長期的なコヒーレンスのために全ての属性を共同で洗練するグローバル最適化。 動作精度を向上させるために,動的に動作先を調整できる3次元信頼マップと,画素単位のRGBとセマンティックエラーに基づいて,新しいガウスアンを非表現領域に挿入する適応的再サンプリングプロセスを導入する。 さらに,セマンティックフィールドを交互に最適化し,SAM2のプロンプトを更新することにより,セマンティック不整合を解消する反復的洗練プロセスを通じてセマンティックコヒーレンスを向上させる。 我々のMotion4Dは、ポイントベーストラッキング、ビデオオブジェクトのセグメンテーション、新しいビュー合成など、さまざまなシーン理解タスクにおいて、2Dファンデーションモデルと既存の3Dベースのアプローチの両方を著しく上回ります。 私たちのコードはhttps://hrzhou2.github.io/motion4d-web/で利用可能です。

関連論文リスト

• 4D3R: Motion-Aware Neural Reconstruction and Rendering of Dynamic Scenes from Monocular Videos [52.89084603734664]
  静的および動的コンポーネントを2段階のアプローチで分離する,ポーズフリーな動的ニューラルネットワークレンダリングフレームワークである4D3Rを提案する。 提案手法は最先端手法よりも最大1.8dBPSNRの改善を実現する。
  論文  参考訳（メタデータ） (2025-11-07T13:25:50Z)
• GSFF-SLAM: 3D Semantic Gaussian Splatting SLAM via Feature Field [17.57215792490409]
  GSFF-SLAMは3次元ガウススプラッティングに基づく新しい意味論的SLAMシステムである。 提案手法は, 様々な2次元先行情報, 特にスパース信号と雑音信号を用いた意味的再構成を支援する。 2D基底真理を利用する場合、GSFF-SLAMは95.03% mIoUで最先端のセマンティックセグメンテーション性能を達成する。
  論文  参考訳（メタデータ） (2025-04-28T01:21:35Z)
• POMATO: Marrying Pointmap Matching with Temporal Motion for Dynamic 3D Reconstruction [53.19968902152528]
  POMATOは時間運動と一致する点マップを結合して動的3次元再構成を実現するための統合フレームワークである。 具体的には,RGB画素を動的および静的の両方の領域から3次元ポイントマップにマッピングすることで,明示的なマッチング関係を学習する。 本稿では,複数の下流タスクにまたがる顕著な性能を示すことによって,提案したポイントマップマッチングと時間融合のパラダイムの有効性を示す。
  論文  参考訳（メタデータ） (2025-04-08T05:33:13Z)
• CoDa-4DGS: Dynamic Gaussian Splatting with Context and Deformation Awareness for Autonomous Driving [12.006435326659526]
  ダイナミックなシーンレンダリングを改善するために,新しい4次元ガウススプラッティング(4DGS)手法を提案する。 具体的には,2次元セマンティックセグメンテーション基盤モデルを用いて,ガウスの4次元セマンティック特徴を自己監督する。 意味的変形特徴と時間的変形特徴の両方を集約して符号化することにより、各ガウスは潜在的な変形補償のための手がかりを備える。
  論文  参考訳（メタデータ） (2025-03-09T19:58:51Z)
• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• Shape of Motion: 4D Reconstruction from a Single Video [42.42669078777769]
  本稿では,世界座標フレーム内の3次元運動軌跡を明示的かつ永続的に特徴付ける,ジェネリックダイナミックシーンの再構築手法を提案する。 まず,コンパクトなSE(3)モーションベースでシーンの動きを表現することで,3次元動作の低次元構造を利用する。 第2に,単眼深度マップや長距離2Dトラックなどの既成データ駆動の先行データを利用して,これらのノイズを効果的に処理する方法を考案する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。