論文の概要: ProJo4D: Progressive Joint Optimization for Sparse-View Inverse Physics Estimation

• arxiv url: http://arxiv.org/abs/2506.05317v1
• Date: Thu, 05 Jun 2025 17:55:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.885539
• Title: ProJo4D: Progressive Joint Optimization for Sparse-View Inverse Physics Estimation
• Title（参考訳）: ProJo4D:スパースビュー逆物理推定のためのプログレッシブジョイント最適化
• Authors: Daniel Rho, Jun Myeong Choi, Biswadip Dey, Roni Sengupta,
• Abstract要約: 物理を視覚データから推定する逆問題では、いまだに困難である。 本稿では,段階的共同最適化フレームワークProJo4Dを提案する。 ProJo4Dは, 4次元の将来の状態, 将来の状態の新たなレンダリング, 材料パラメータ推定において, 先行処理よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 4.818571559544214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural rendering has made significant strides in 3D reconstruction and novel view synthesis. With the integration with physics, it opens up new applications. The inverse problem of estimating physics from visual data, however, still remains challenging, limiting its effectiveness for applications like physically accurate digital twin creation in robotics and XR. Existing methods that incorporate physics into neural rendering frameworks typically require dense multi-view videos as input, making them impractical for scalable, real-world use. When presented with sparse multi-view videos, the sequential optimization strategy used by existing approaches introduces significant error accumulation, e.g., poor initial 3D reconstruction leads to bad material parameter estimation in subsequent stages. Instead of sequential optimization, directly optimizing all parameters at the same time also fails due to the highly non-convex and often non-differentiable nature of the problem. We propose ProJo4D, a progressive joint optimization framework that gradually increases the set of jointly optimized parameters guided by their sensitivity, leading to fully joint optimization over geometry, appearance, physical state, and material property. Evaluations on PAC-NeRF and Spring-Gaus datasets show that ProJo4D outperforms prior work in 4D future state prediction, novel view rendering of future state, and material parameter estimation, demonstrating its effectiveness in physically grounded 4D scene understanding. For demos, please visit the project webpage: https://daniel03c1.github.io/ProJo4D/
• Abstract（参考訳）: ニューラルレンダリングは3D再構成と新しいビュー合成において大きな進歩を遂げた。 物理学との統合により、新しい応用が開かれる。 しかし、物理を視覚データから推定する逆問題はまだ困難なままであり、ロボット工学やXRにおける物理的に正確なデジタル双対生成のような応用に対する効果を制限している。 物理をニューラルネットワークのレンダリングフレームワークに組み込む既存の方法は、通常、インプットとして密集したマルチビュービデオを必要とするため、スケーラブルで現実世界での使用には実用的ではない。 スパースなマルチビュー映像を提示すると、既存のアプローチで使われる逐次最適化戦略は、例えば、初期3次元再構成が貧弱な場合には、後続の段階での材料パラメーター推定に悪影響を及ぼす。 逐次最適化の代わりに、全てのパラメータを直接最適化することは、非常に非凸でしばしば微分不可能な問題の性質のために失敗する。 本稿では,ProJo4Dを提案する。ProJo4Dは,その感度でガイドされる共同最適化パラメータの集合を徐々に増加させ,幾何学,外観,物理的状態,材料特性に対する完全共同最適化を実現する。 PAC-NeRFデータセットとSpring-Gausデータセットの評価によると、ProJo4Dは4Dの将来の状態予測、将来の状態の新たなビューレンダリング、および物質パラメータ推定において以前の作業よりも優れており、物理的に接地された4Dシーン理解におけるその効果を実証している。 デモについては、プロジェクトのWebページを参照してほしい。

関連論文リスト

• E3D-Bench: A Benchmark for End-to-End 3D Geometric Foundation Models [78.1674905950243]
  3次元幾何学基礎モデル(GFM)の総合ベンチマークを初めて提示する。 GFMは、単一のフィードフォワードパスで密度の高い3D表現を直接予測し、スローまたは未使用のカメラパラメータを不要にする。 我々は16の最先端GFMを評価し、タスクやドメイン間の長所と短所を明らかにした。 すべてのコード、評価スクリプト、処理されたデータは公開され、3D空間インテリジェンスの研究が加速される。
  論文  参考訳（メタデータ） (2025-06-02T17:53:09Z)
• QuickSplat: Fast 3D Surface Reconstruction via Learned Gaussian Initialization [69.50126552763157]
  表面再構成はコンピュータビジョンとグラフィックスの基本であり、3Dモデリング、混合現実、ロボット工学などの応用を可能にする。 レンダリングに基づく既存のアプローチは有望な結果を得るが、シーンごとに最適化されるため、テクスチャレスな領域をモデル化するのに苦労する可能性がある。 大規模屋内シーンの2次元ガウススプラッティング最適化のための高密度初期化を生成するために,データ駆動の先行処理を学習するQuickSplatを紹介する。
  論文  参考訳（メタデータ） (2025-05-08T18:43:26Z)
• Predict-Optimize-Distill: A Self-Improving Cycle for 4D Object Understanding [26.65605206605145]
  予測と最適化をインターリーブする自己改善フレームワークであるPredict-Distill(POD)を紹介する。 PODは、RGBフレームから局所的なポーズを予測するために、ニューラルネットワークを反復的にトレーニングする。 実世界14件, 合成対象物5件のPODを各種関節型で評価した。
  論文  参考訳（メタデータ） (2025-04-24T11:03:15Z)
• EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
  既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。 本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
  論文  参考訳（メタデータ） (2025-03-26T02:47:27Z)
• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• Self-Calibrating 4D Novel View Synthesis from Monocular Videos Using Gaussian Splatting [14.759265492381509]
  本稿では,カメラパラメータの自己校正による高忠実度 4D GS シーン表現の学習手法を提案する。 3次元構造を頑健に表現する2次元点特徴の抽出を含む。 その結果,4次元新規ビュー合成における最先端手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2024-06-03T06:52:35Z)
• EG4D: Explicit Generation of 4D Object without Score Distillation [105.63506584772331]
  DG4Dは、スコア蒸留なしで高品質で一貫した4Dアセットを生成する新しいフレームワークである。 私たちのフレームワークは、世代品質のベースラインをかなりのマージンで上回ります。
  論文  参考訳（メタデータ） (2024-05-28T12:47:22Z)
• InstantSplat: Sparse-view Gaussian Splatting in Seconds [91.77050739918037]
  InstantSplatは,光速でスパークビュー3Dシーンを再現する新しい手法である。 InstantSplatでは,3Dシーン表現とカメラポーズを最適化する,自己管理フレームワークを採用している。 3D-GSの従来のSfMと比較して、30倍以上の再現を達成し、視覚的品質(SSIM)を0.3755から0.7624に改善する。
  論文  参考訳（メタデータ） (2024-03-29T17:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。