論文の概要: RayCo4D: Ray-Conditioned Continuous Motion Model for Monocular 4D Dynamic Reconstruction
- arxiv url: http://arxiv.org/abs/2610.28351v2
- Date: Wed, 21 Oct 2026 07:20:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.093627
- Title: RayCo4D: Ray-Conditioned Continuous Motion Model for Monocular 4D Dynamic Reconstruction
- Title（参考訳）: RayCo4D:単眼4次元動的再構成のためのレイコンディション連続運動モデル
- Abstract要約: 単分子4次元再構成のためのレイコンディショニング連続運動モデルRayCo4Dを紹介する。
各トラックは、カメラ線に制約された基準時間3Dクエリと関連付けられ、その画像と深度観測の制約は、潜在動作ノードを共有する。
実験により、RayCo4Dは競合するノベルビュー合成の品質を実現し、高速な動きと不完全トラック下での構造的および時間的一貫性を改善し、連続時間レンダリングをサポートすることが示された。
- 参考スコア（独自算出の注目度）: 6.654245563381326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing dynamic 3D scenes from monocular video requires inferring motion from noisy and intermittently visible observations. Long-range tracks provide valuable geometric constraints, but integrating their fragmented temporal coverage into shared, continuous motion remains challenging. We introduce RayCo4D, a ray-conditioned continuous motion model for monocular 4D reconstruction that explicitly separates visual measurements from latent 3D motion states. Each track is associated with a reference-time 3D query constrained to its camera ray, and its image and depth observations constrain shared latent motion nodes through local many-to-many associations. Each node maintains an $\mathrm{SE}(3)$ pose and body-frame velocity at sparse support times. A white-noise-on-acceleration process prior couples neighboring states and defines continuous-time interpolation, allowing observations across visibility intervals to jointly constrain the same latent state sequence. The inferred shared motion is transferred to Gaussian primitives through dual-quaternion blending, while reference-anchored local $\mathrm{SE}(3)$ residuals capture fine-scale non-rigid deformation beyond the shared scaffold. Experiments on diverse monocular dynamic scenes show that RayCo4D achieves competitive novel-view synthesis quality, improves structural and temporal consistency under rapid motion and incomplete tracks, and supports continuous-time rendering.
- Abstract（参考訳）: モノクロ映像からダイナミックな3Dシーンを再構成するには、ノイズや間欠的に見える観察から動きを推測する必要がある。
長距離トラックは貴重な幾何学的制約を提供するが、断片化された時間的カバレッジを共有された連続的な動きに統合することは依然として困難である。
光学式4次元再構成のためのレイコンディショニング連続運動モデルRayCo4Dを導入し,視覚的計測を潜時3次元運動状態から明確に分離する。
各トラックは、カメラ線に制約された基準時間3Dクエリと関連付けられ、その画像と深度観測は、局所的な多対多のアソシエーションを通して、潜在運動ノードを共有する。
各ノードは、スパースサポート時に$\mathrm{SE}(3)$ poseとボディーフレーム速度を保持する。
ホワイトノイズオンアクセラレーションプロセスは、近隣のカップルに先行し、連続時間補間を定義し、可視区間をまたいで観察することで、同じ潜伏状態シーケンスを共同で制限する。
推定された共有運動は、二重四元数混合によりガウス原始体に転送され、参照アンコールされた局所$\mathrm{SE}(3)$残基は共有足場を越えて微細な非剛性変形をキャプチャする。
多様な単分子動的シーンの実験により、RayCo4Dは競争力のある新規ビュー合成品質を実現し、高速な動きと不完全トラックの下での構造的および時間的一貫性を改善し、連続的なレンダリングをサポートすることが示された。
関連論文リスト
- Causal Spatiotemporal State Evolution for Monocular 4D Reconstruction [5.389772851860212]
単眼ビデオからの因果4次元視覚幾何学学習のためのフィードフォワードフレームワークを提案する。
Causalpatiotemporal Mambaは、時間的アグリゲーションを方向性状態の伝播で強化する。
Unified Motion Supervisionはフレーム間の状態遷移を制約し、フレーム間の安定した状態の伝搬を可能にする。
論文 参考訳（メタデータ） (2026-10-20T04:00:48Z) - ASTRA: Asynchronous Spatio-Temporal Reconstruction via Trajectory Alignment [86.35109211408489]
本稿では,非同期動的再構成のための2次元運動軌跡を明示的かつテクスチャに依存しない監視として導入するフレームワークであるASTRAを提案する。
ASTRAは高周波空間の詳細を保存し、25フレームのオフセットを持つ重度の非同期でも強い堅牢性を保ち、約1.4dBのPSNRの改善を実現し、時間オフセットMAEを54.0%削減し、同期成功率をほぼ4倍にしている。
論文 参考訳（メタデータ） (2026-08-03T10:06:45Z) - Follow Your Track: Precise Skeleton Animation Controlled by 3D Trajectories [93.39170866007431]
4Dジェネレーションは、3Dオブジェクトをリアルなモーションでアニメーション化することを目的としており、アプリケーションには大きな可能性を秘めている。
既存の方法は通常、モーション合成から3Dアセット生成を分離する。
トポロジ一般骨格アニメーションのための軌道条件付きフレームワークである textttACT について述べる。
論文 参考訳（メタデータ） (2026-06-24T03:18:10Z) - RiGS: Rigid-aware 4D Gaussian Splatting from a Single Monocular Video [38.8840959968641]
我々は,複数の時間スケールにわたる動きを同時にキャプチャするRiGS(Rigid-aware 4D Gaussian Splatting)を提案する。
RiGSは、新しいビュー合成ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-05-22T14:20:39Z) - RetimeGS: Continuous-Time Reconstruction of 4D Gaussian Splatting [9.254380348086135]
テンポラリリタイピングは、スローモーション再生、テンポラリ編集、ポストプロダクションといったアプリケーションには不可欠である。
既存の4D Gaussian Splatting (4DGS) メソッドは、離散フレームのインデックスに過度に適合するが、連続時間フレームの表現に苦慮し、タイムスタンプ間の補間時にゴーストアーティファクトに繋がる。
本稿では,3次元ガウスの時間的挙動を明確に定義し,時間的エイリアスを実現するシンプルな4DGS表現であるRetimeGSを提案する。
論文 参考訳（メタデータ） (2026-03-14T06:26:27Z) - SyncTrack4D: Cross-Video Motion Alignment and Video Synchronization for Multi-Video 4D Gaussian Splatting [50.69165364520998]
実世界の非同期ビデオ集合を扱うために, マルチビデオ4Dガウススプラッティング (4DGS) 方式を提案する。
SyncTrack4Dは、4DGSの同時同期と4DGS再構成のためのキューとして動的シーンの高密度な4Dトラック表現を直接活用する。
我々はPanoptic Studio と SyncNeRF Blender に対するアプローチを評価し,0.26 フレーム以下の平均時間誤差でサブフレーム同期精度を示し,高忠実度 4D 再構成は26.3 PSNR スコアに達した。
論文 参考訳（メタデータ） (2025-12-03T23:05:01Z) - Forge4D: Feed-Forward 4D Human Reconstruction and Interpolation from Uncalibrated Sparse-view Videos [27.595035122927204]
本研究では,非校正されたスパースビュー映像からの時間的整列表現を効率よく校正するフィードフォワード4次元人間の再構成とモデルを提案する。
新たに,隣接する2つのフレーム間の3次元ガウス運動の高密度な動きを予測するための動き予測モジュールを設計した。
実験では、ドメイン内データセットとドメイン外データセットの両方において、モデルの有効性を示す。
論文 参考訳（メタデータ） (2025-09-29T02:47:14Z) - STDR: Spatio-Temporal Decoupling for Real-Time Dynamic Scene Rendering [15.873329633980015]
既存の3DGSに基づく動的再構成法は、しばしばtextbfSTDR(リアルタイムレンダリングのための空間結合デテンポラル)に悩まされる
実時間レンダリングのためのテキストbfSTDR (Spatio-coupling DeTemporal for Real-time rendering) を提案する。
論文 参考訳（メタデータ） (2025-05-28T14:26:41Z) - Shape of Motion: 4D Reconstruction from a Single Video [42.42669078777769]
本稿では,世界座標フレーム内の3次元運動軌跡を明示的かつ永続的に特徴付ける,ジェネリックダイナミックシーンの再構築手法を提案する。
まず,コンパクトなSE(3)モーションベースでシーンの動きを表現することで,3次元動作の低次元構造を利用する。
第2に,単眼深度マップや長距離2Dトラックなどの既成データ駆動の先行データを利用して,これらのノイズを効果的に処理する方法を考案する。
論文 参考訳（メタデータ） (2024-07-18T17:59:08Z) - Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。
グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。
時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
論文 参考訳（メタデータ） (2024-01-12T15:05:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。