論文の概要: ProJo4D: Progressive Joint Optimization for Sparse-View Inverse Physics Estimation
- arxiv url: http://arxiv.org/abs/2506.05317v2
- Date: Fri, 06 Jun 2025 22:04:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 11:53:35.403615
- Title: ProJo4D: Progressive Joint Optimization for Sparse-View Inverse Physics Estimation
- Title（参考訳）: ProJo4D:スパースビュー逆物理推定のためのプログレッシブジョイント最適化
- Authors: Daniel Rho, Jun Myeong Choi, Biswadip Dey, Roni Sengupta,
- Abstract要約: 物理を視覚データから推定する逆問題では、いまだに困難である。
本稿では,段階的共同最適化フレームワークProJo4Dを提案する。
ProJo4Dは, 4次元の将来の状態, 将来の状態の新たなレンダリング, 材料パラメータ推定において, 先行処理よりも優れた性能を示す。
- 参考スコア（独自算出の注目度）: 4.818571559544214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural rendering has made significant strides in 3D reconstruction and novel view synthesis. With the integration with physics, it opens up new applications. The inverse problem of estimating physics from visual data, however, still remains challenging, limiting its effectiveness for applications like physically accurate digital twin creation in robotics and XR. Existing methods that incorporate physics into neural rendering frameworks typically require dense multi-view videos as input, making them impractical for scalable, real-world use. When presented with sparse multi-view videos, the sequential optimization strategy used by existing approaches introduces significant error accumulation, e.g., poor initial 3D reconstruction leads to bad material parameter estimation in subsequent stages. Instead of sequential optimization, directly optimizing all parameters at the same time also fails due to the highly non-convex and often non-differentiable nature of the problem. We propose ProJo4D, a progressive joint optimization framework that gradually increases the set of jointly optimized parameters guided by their sensitivity, leading to fully joint optimization over geometry, appearance, physical state, and material property. Evaluations on PAC-NeRF and Spring-Gaus datasets show that ProJo4D outperforms prior work in 4D future state prediction, novel view rendering of future state, and material parameter estimation, demonstrating its effectiveness in physically grounded 4D scene understanding. For demos, please visit the project webpage: https://daniel03c1.github.io/ProJo4D/
- Abstract（参考訳）: ニューラルレンダリングは3D再構成と新しいビュー合成において大きな進歩を遂げた。
物理学との統合により、新しい応用が開かれる。
しかし、物理を視覚データから推定する逆問題はまだ困難なままであり、ロボット工学やXRにおける物理的に正確なデジタル双対生成のような応用に対する効果を制限している。
物理をニューラルネットワークのレンダリングフレームワークに組み込む既存の方法は、通常、インプットとして密集したマルチビュービデオを必要とするため、スケーラブルで現実世界での使用には実用的ではない。
スパースなマルチビュー映像を提示すると、既存のアプローチで使われる逐次最適化戦略は、例えば、初期3次元再構成が貧弱な場合には、後続の段階での材料パラメーター推定に悪影響を及ぼす。
逐次最適化の代わりに、全てのパラメータを直接最適化することは、非常に非凸でしばしば微分不可能な問題の性質のために失敗する。
本稿では,ProJo4Dを提案する。ProJo4Dは,その感度でガイドされる共同最適化パラメータの集合を徐々に増加させ,幾何学,外観,物理的状態,材料特性に対する完全共同最適化を実現する。
PAC-NeRFデータセットとSpring-Gausデータセットの評価によると、ProJo4Dは4Dの将来の状態予測、将来の状態の新たなビューレンダリング、および物質パラメータ推定において以前の作業よりも優れており、物理的に接地された4Dシーン理解におけるその効果を実証している。
デモについては、プロジェクトのWebページを参照してほしい。
関連論文リスト
- FastPhysGS: Accelerating Physics-based Dynamic 3DGS Simulation via Interior Completion and Adaptive Optimization [56.17833729527066]
我々は物理に基づく動的3DGSシミュレーションのためのフレームワークであるFastPhysGSを提案する。
FastPhysGSは、わずか7GBのランタイムメモリを使用して、1分で高忠実度物理シミュレーションを実現する。
論文 参考訳（メタデータ） (2026-02-02T07:00:42Z) - EVolSplat4D: Efficient Volume-based Gaussian Splatting for 4D Urban Scene Synthesis [43.898895514609286]
EvolSplat4Dは、ボリュームベースとピクセルベースのガウス予測を統合することで、既存のピクセル単位のパラダイムを超えたフィードフォワードフレームワークである。
EvolSplat4Dは静的環境と動的環境の両方を高い精度と一貫性で再構成し、シーンごとの最適化と最先端のフィードフォワードベースラインの両方に優れることを示す。
論文 参考訳（メタデータ） (2026-01-22T13:39:29Z) - Motion4D: Learning 3D-Consistent Motion and Semantics for 4D Scene Understanding [54.859943475818234]
基礎モデルからの2次元先行を統一された4次元ガウススプラッティング表現に統合する新しいフレームワークであるMotion4Dを提案する。
1) 局所的な一貫性を維持するために連続的に動き場と意味体を更新する逐次最適化,2) 長期的コヒーレンスのために全ての属性を共同で洗練するグローバル最適化,である。
提案手法は,ポイントベーストラッキング,ビデオオブジェクトセグメンテーション,新しいビュー合成など,多様なシーン理解タスクにおいて,2次元基礎モデルと既存の3Dベースアプローチの両方に優れる。
論文 参考訳（メタデータ） (2025-12-03T09:32:56Z) - Flux4D: Flow-based Unsupervised 4D Reconstruction [30.764886648248222]
視覚的な観察から大規模なダイナミックシーンを再構築することは、コンピュータビジョンの根本的な課題である。
大規模動的シーンの4次元再構成のためのシンプルでスケーラブルなフレームワークであるFlux4Dを紹介する。
提案手法は,数秒以内の動的シーンの効率的な再構築を可能にし,大規模データセットに効果的にスケールし,目に見えない環境によく適応する。
論文 参考訳（メタデータ） (2025-12-02T20:28:45Z) - Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconstruction Models [79.06910348413861]
Diff4Splatは、単一の画像から制御可能で明示的な4Dシーンを合成するフィードフォワード方式である。
単一の入力画像、カメラ軌跡、オプションのテキストプロンプトが与えられた場合、Diff4Splatは外見、幾何学、動きを符号化する変形可能な3Dガウス場を直接予測する。
論文 参考訳（メタデータ） (2025-11-01T11:16:25Z) - PhysGM: Large Physical Gaussian Model for Feed-Forward 4D Synthesis [37.21119648359889]
PhysGMはフィードフォワードフレームワークであり、単一の画像から3次元ガウス表現とその物理的特性を共同で予測する。
1分で1枚の画像から高忠実度4Dシミュレーションを効果的に生成する。
論文 参考訳（メタデータ） (2025-08-19T15:10:30Z) - E3D-Bench: A Benchmark for End-to-End 3D Geometric Foundation Models [78.1674905950243]
3次元幾何学基礎モデル(GFM)の総合ベンチマークを初めて提示する。
GFMは、単一のフィードフォワードパスで密度の高い3D表現を直接予測し、スローまたは未使用のカメラパラメータを不要にする。
我々は16の最先端GFMを評価し、タスクやドメイン間の長所と短所を明らかにした。
すべてのコード、評価スクリプト、処理されたデータは公開され、3D空間インテリジェンスの研究が加速される。
論文 参考訳（メタデータ） (2025-06-02T17:53:09Z) - QuickSplat: Fast 3D Surface Reconstruction via Learned Gaussian Initialization [69.50126552763157]
表面再構成はコンピュータビジョンとグラフィックスの基本であり、3Dモデリング、混合現実、ロボット工学などの応用を可能にする。
レンダリングに基づく既存のアプローチは有望な結果を得るが、シーンごとに最適化されるため、テクスチャレスな領域をモデル化するのに苦労する可能性がある。
大規模屋内シーンの2次元ガウススプラッティング最適化のための高密度初期化を生成するために,データ駆動の先行処理を学習するQuickSplatを紹介する。
論文 参考訳（メタデータ） (2025-05-08T18:43:26Z) - Predict-Optimize-Distill: A Self-Improving Cycle for 4D Object Understanding [26.65605206605145]
予測と最適化をインターリーブする自己改善フレームワークであるPredict-Distill(POD)を紹介する。
PODは、RGBフレームから局所的なポーズを予測するために、ニューラルネットワークを反復的にトレーニングする。
実世界14件, 合成対象物5件のPODを各種関節型で評価した。
論文 参考訳（メタデータ） (2025-04-24T11:03:15Z) - EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。
本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
論文 参考訳（メタデータ） (2025-03-26T02:47:27Z) - RoDyGS: Robust Dynamic Gaussian Splatting for Casual Videos [39.384910552854926]
本稿では,カジュアルビデオから動的ガウススプラッティングを最適化するRoDyGSを提案する。
動的プリミティブと静的プリミティブを分離することで、シーンの動きと下層の幾何学を効果的に学習する。
また,広視野カメラとオブジェクトモーションと同時マルチビューキャプチャを提供する,包括的なベンチマークであるKubric-MRigを導入している。
論文 参考訳（メタデータ） (2024-12-04T07:02:49Z) - GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-11-18T08:18:44Z) - Self-Calibrating 4D Novel View Synthesis from Monocular Videos Using Gaussian Splatting [14.759265492381509]
本稿では,カメラパラメータの自己校正による高忠実度 4D GS シーン表現の学習手法を提案する。
3次元構造を頑健に表現する2次元点特徴の抽出を含む。
その結果,4次元新規ビュー合成における最先端手法の大幅な改善が示された。
論文 参考訳（メタデータ） (2024-06-03T06:52:35Z) - EG4D: Explicit Generation of 4D Object without Score Distillation [105.63506584772331]
DG4Dは、スコア蒸留なしで高品質で一貫した4Dアセットを生成する新しいフレームワークである。
私たちのフレームワークは、世代品質のベースラインをかなりのマージンで上回ります。
論文 参考訳（メタデータ） (2024-05-28T12:47:22Z) - InstantSplat: Sparse-view Gaussian Splatting in Seconds [91.77050739918037]
InstantSplatは,光速でスパークビュー3Dシーンを再現する新しい手法である。
InstantSplatでは,3Dシーン表現とカメラポーズを最適化する,自己管理フレームワークを採用している。
3D-GSの従来のSfMと比較して、30倍以上の再現を達成し、視覚的品質(SSIM)を0.3755から0.7624に改善する。
論文 参考訳（メタデータ） (2024-03-29T17:29:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。