論文の概要: PhyRecon: Physically Plausible Neural Scene Reconstruction
- arxiv url: http://arxiv.org/abs/2404.16666v1
- Date: Thu, 25 Apr 2024 15:06:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 13:20:37.323180
- Title: PhyRecon: Physically Plausible Neural Scene Reconstruction
- Title(参考訳): PhyRecon: 物理的に可塑性のニューラルシーン再構築
- Authors: Junfeng Ni, Yixin Chen, Bohan Jing, Nan Jiang, Bin Wang, Bo Dai, Yixin Zhu, Song-Chun Zhu, Siyuan Huang,
- Abstract要約: 我々はPhyReconを紹介した。これは、異なるレンダリングと微分可能な物理シミュレーションを利用して、暗黙的な表面表現を学習する。
本フレームワークは,ニューラル暗黙表現とシームレスに統合された,新しい微分可能なパーティクルベース物理シミュレータを提案する。
我々の再構成結果は、Isaac Gym氏によって検証され、すべてのデータセットで少なくとも40%改善された、優れた物理的安定性をもたらす。
- 参考スコア(独自算出の注目度): 83.26912712054391
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While neural implicit representations have gained popularity in multi-view 3D reconstruction, previous work struggles to yield physically plausible results, thereby limiting their applications in physics-demanding domains like embodied AI and robotics. The lack of plausibility originates from both the absence of physics modeling in the existing pipeline and their inability to recover intricate geometrical structures. In this paper, we introduce PhyRecon, which stands as the first approach to harness both differentiable rendering and differentiable physics simulation to learn implicit surface representations. Our framework proposes a novel differentiable particle-based physical simulator seamlessly integrated with the neural implicit representation. At its core is an efficient transformation between SDF-based implicit representation and explicit surface points by our proposed algorithm, Surface Points Marching Cubes (SP-MC), enabling differentiable learning with both rendering and physical losses. Moreover, we model both rendering and physical uncertainty to identify and compensate for the inconsistent and inaccurate monocular geometric priors. The physical uncertainty additionally enables a physics-guided pixel sampling to enhance the learning of slender structures. By amalgamating these techniques, our model facilitates efficient joint modeling with appearance, geometry, and physics. Extensive experiments demonstrate that PhyRecon significantly outperforms all state-of-the-art methods in terms of reconstruction quality. Our reconstruction results also yield superior physical stability, verified by Isaac Gym, with at least a 40% improvement across all datasets, opening broader avenues for future physics-based applications.
- Abstract(参考訳): ニューラルな暗黙の表現は多視点の3D再構成で人気を得ているが、これまでの作業は物理的に妥当な結果を得るのに苦労しているため、エンボディドAIやロボティクスといった物理要求の領域での応用は制限されている。
妥当性の欠如は、既存のパイプラインにおける物理モデリングの欠如と、複雑な幾何学的構造を回復できないことが原因である。
本稿では、微分可能なレンダリングと微分可能な物理シミュレーションを併用し、暗黙的な表面表現を学習する最初のアプローチであるPhyReconを紹介する。
本フレームワークは,ニューラル暗黙表現とシームレスに統合された,新しい微分可能なパーティクルベース物理シミュレータを提案する。
その中核は、SDFに基づく暗黙の表現と、提案したアルゴリズムであるSurface Points Marching Cubes (SP-MC)による明示的な表面点との効率的な変換であり、レンダリングと物理的損失の両方で微分可能な学習を可能にする。
さらに,不整合および不整合な単色幾何学的先行を識別・補償するために,レンダリングと物理的不確実性の両方をモデル化する。
この物理的不確実性により、物理誘導された画素サンプリングにより、細い構造の学習が促進される。
これらの手法をマージすることにより, 外観, 幾何学, 物理を併用した効率的な関節モデルの構築が促進される。
大規模な実験により、PhyReconは再建の質という点で最先端の手法を著しく上回っていることが示された。
我々の再構成結果は、Isaac Gym氏によって検証され、すべてのデータセットで少なくとも40%改善され、将来の物理学ベースのアプリケーションのための幅広い道を開く。
関連論文リスト
- Building Flexible Machine Learning Models for Scientific Computing at
Scale [36.50343666079548]
我々は科学計算の基礎モデル構築のためのパラダイムシフトアプローチであるOmniArchを紹介する。
包括的なPDEBenchデータセットで事前トレーニングされたOmniArchは、新しいパフォーマンスベンチマークを1D、2D、3D PDE用に設定する。
モデルの表現はさらに逆問題解決にまで拡張され、AI対応科学コンピューティング(AI4SC)の変革の可能性を強調している。
論文 参考訳(メタデータ) (2024-02-25T07:19:01Z) - DeepSimHO: Stable Pose Estimation for Hand-Object Interaction via
Physics Simulation [81.11585774044848]
我々は、前方物理シミュレーションと後方勾配近似とニューラルネットワークを組み合わせた新しいディープラーニングパイプラインであるDeepSimHOを紹介する。
提案手法は, 評価の安定性を著しく向上し, テスト時間最適化よりも優れた効率性を実現する。
論文 参考訳(メタデータ) (2023-10-11T05:34:36Z) - Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。
ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。
本稿では,物理統合復元ネットワーク(PiRN)を提案する。
論文 参考訳(メタデータ) (2023-07-20T05:49:21Z) - PAC-NeRF: Physics Augmented Continuum Neural Radiance Fields for
Geometry-Agnostic System Identification [64.61198351207752]
ビデオからのシステム同定(オブジェクトの物理的パラメータを推定する)への既存のアプローチは、既知のオブジェクトジオメトリを仮定する。
本研究では,オブジェクトの形状やトポロジを仮定することなく,多視点ビデオの集合から物理系を特徴付けるパラメータを同定することを目的とする。
マルチビュービデオから高ダイナミックな物体の未知の幾何学的パラメータと物理的パラメータを推定するために,Physics Augmented Continuum Neural Radiance Fields (PAC-NeRF)を提案する。
論文 参考訳(メタデータ) (2023-03-09T18:59:50Z) - Differentiable Dynamics for Articulated 3d Human Motion Reconstruction [29.683633237503116]
DiffPhyは、映像から3次元の人間の動きを再現する物理モデルである。
モノクロ映像から物理的に可視な3次元動作を正確に再現できることを実証し,本モデルの有効性を検証した。
論文 参考訳(メタデータ) (2022-05-24T17:58:37Z) - {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model [69.27632025495512]
Shape-from-Template (SfT) 法では、単一の単眼RGBカメラから3次元表面の変形を推定する。
本稿では,物理シミュレーションによる2次元観察を解説する新しいSfT手法を提案する。
論文 参考訳(メタデータ) (2022-03-22T17:59:57Z) - DiffSDFSim: Differentiable Rigid-Body Dynamics With Implicit Shapes [9.119424247289857]
微分物理学は、シーンの理解と相互作用の推論のためのコンピュータとロボティクスの強力なツールである。
既存のアプローチは、前もって単純な形状や形状のオブジェクトに限られていることが多い。
論文 参考訳(メタデータ) (2021-11-30T11:56:24Z) - Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。
この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
論文 参考訳(メタデータ) (2020-04-30T19:35:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。