論文の概要: SM4RT: Cascaded Feed-forward Model for 4D Reconstruction
- arxiv url: http://arxiv.org/abs/2611.08436v1
- Date: Thu, 05 Nov 2026 18:28:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.622278
- Title: SM4RT: Cascaded Feed-forward Model for 4D Reconstruction
- Title（参考訳）: SM4RT:4次元再構成のためのフィードフォワードモデル
- Abstract要約: RGBビデオからの動的シーン再構成のためのマルチタスク・カスケードフィードフォワードモデルSM4RTを紹介する。
それぞれのピクセルの3D動作を対応するカメラフレームで表現することで、SM4RTはカメラの動きから生じるあいまいさを減らすことができる。
我々は,5つの動的シーンデータセットの幾何再構成をベンチマークし,SM4RTが最先端手法と競合する性能を発揮することを示す。
- 参考スコア（独自算出の注目度）: 5.317197165716659
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce SM4RT, a multi-task cascade feed-forward model for dynamic scene reconstruction from RGB videos. While existing feed-forward approaches typically address geometry reconstruction and motion estimation separately--and often predict motions in a single coordinate frame that must account for camera movement--SM4RT solves these tasks sequentially by first reconstructing 3D geometry and then bootstrapping motion estimation from the predicted structure. By expressing each pixel's 3D motion in its corresponding camera frame, SM4RT reduces ambiguity arising from camera motion. To address the sparsity of real-world motion labels, SM4RT further incorporates a weakly supervised loss that regularizes unlabeled point motions using labeled point positions at the other time step. We evaluate motion estimation on three dynamic-scene datasets--Kubric, Waymo, and Point Odyssey--and SM4RT achieves the best performance on most metrics compared with prior baselines. We additionally benchmark geometry reconstruction on five dynamic scene datasets and show that SM4RT achieves competitive performance with state-of-the-art methods. Overall, our unified framework demonstrates that combining geometry reconstruction and motion estimation in a cascade not only avoids performance trade-offs but also enhances motion estimation through improved geometric reasoning.
- Abstract（参考訳）: RGBビデオからの動的シーン再構成のためのマルチタスク・カスケードフィードフォワードモデルSM4RTを紹介する。
既存のフィードフォワードアプローチでは、ジオメトリ再構成とモーション推定を別々に扱い、カメラの動きを考慮しなければならない単一の座標フレーム内の動きを予測することが多いが、-SM4RTは3次元幾何を最初に再構成し、予測された構造から動き推定をブートストラップすることで、これらのタスクを逐次解決する。
それぞれのピクセルの3D動作を対応するカメラフレームで表現することで、SM4RTはカメラの動きから生じるあいまいさを減らすことができる。
実世界のモーションラベルの空間性に対処するため、SM4RTはさらに、ラベル付けされたポイント位置を使用してラベル付けされていないポイントモーションを規則化する弱制御された損失を取り入れている。
我々は、Kubric、Waymo、Point Odysseyの3つの動的シーンデータセット上でのモーション推定を評価し、SM4RTは、以前のベースラインと比較して、ほとんどの指標で最高のパフォーマンスを達成する。
さらに,5つの動的シーンデータセットの幾何再構成をベンチマークし,SM4RTが最先端手法と競合する性能を発揮することを示す。
全体的な統合された枠組みでは、カスケード内の幾何再構成と運動推定の組み合わせは、性能のトレードオフを回避するだけでなく、幾何学的推論の改善による動き推定の強化も示している。
関連論文リスト
- SM4RT: Learning Structured Motion Geometry for 4D Reconstruction [67.18230176143263]
既存の運動知覚法の多くは、運動を物理的運動の構造的性質を無視して、独立な点方向の変位として扱う。
終端から終端までの3次元再構成と構造化された動き知覚のための構造化モーション4D再構成変換器SM4RTを提案する。
SM4RTは、シーンモーションの幾何学的構造を保ちながら、強い動き再構成性能を達成する。
論文 参考訳（メタデータ） (2026-07-24T17:59:51Z) - Flow4R: Unifying 4D Reconstruction and Tracking with Scene Flow [61.297800738187355]
Flow4Rは、Vision Transformerを用いて、画素当たりのプロパティセット3Dポイント位置、シーンフロー、ポーズウェイト、および2ビュー入力からの信頼度を最小限に予測する。
静的データセットと動的データセットを併用してトレーニングされたFlow4Rは、4D再構築とトラッキングタスクにおける最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-02-15T06:58:08Z) - Motion 3-to-4: 3D Motion Reconstruction for 4D Synthesis [53.48281548500864]
Motion 3-to-4は、単一のモノクロビデオから高品質な4Dダイナミックオブジェクトを合成するためのフィードフォワードフレームワークである。
我々のモデルは、コンパクトな動き潜在表現を学習し、フレーム単位の軌道を予測して、時間的コヒーレントな幾何である完全なロバスト性を取り戻す。
論文 参考訳（メタデータ） (2026-01-20T18:59:48Z) - 4D3R: Motion-Aware Neural Reconstruction and Rendering of Dynamic Scenes from Monocular Videos [52.89084603734664]
静的および動的コンポーネントを2段階のアプローチで分離する,ポーズフリーな動的ニューラルネットワークレンダリングフレームワークである4D3Rを提案する。
提案手法は最先端手法よりも最大1.8dBPSNRの改善を実現する。
論文 参考訳（メタデータ） (2025-11-07T13:25:50Z) - C4D: 4D Made from 3D through Dual Correspondences [77.04731692213663]
時間的対応を利用して既存の3次元再構成を4Dに拡張するフレームワークであるC4Dを紹介する。
C4Dは、短期光学フローと長期点追跡の2種類の対応をキャプチャする。
我々は、追加の移動情報を提供する動的認識ポイントトラッカーを訓練する。
論文 参考訳（メタデータ） (2025-10-16T17:59:06Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳（メタデータ） (2021-01-11T04:20:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。