論文の概要: PhyRecon: Physically Plausible Neural Scene Reconstruction

• arxiv url: http://arxiv.org/abs/2404.16666v3
• Date: Mon, 3 Jun 2024 02:07:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 15:08:25.652757
• Title: PhyRecon: Physically Plausible Neural Scene Reconstruction
• Title（参考訳）: PhyRecon: 物理的に可塑性のニューラルシーン再構築
• Authors: Junfeng Ni, Yixin Chen, Bohan Jing, Nan Jiang, Bin Wang, Bo Dai, Puhao Li, Yixin Zhu, Song-Chun Zhu, Siyuan Huang,
• Abstract要約: 我々は、微分可能レンダリングと微分可能物理シミュレーションの両方を活用する最初のアプローチであるPhyReconを導入し、暗黙的な表面表現を学習する。 PhyReconは、ニューラルな暗黙の表現に基づいて構築された、新しい微分可能な粒子ベースの物理シミュレータを備えている。 また,物理シミュレータの安定性も向上し,全データセットに対して少なくとも40%の改善が得られた。
• 参考スコア（独自算出の注目度）: 81.73129450090684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural implicit representations have gained popularity in multi-view 3D reconstruction. However, most previous work struggles to yield physically plausible results, limiting their utility in domains requiring rigorous physical accuracy, such as embodied AI and robotics. This lack of plausibility stems from the absence of physics modeling in existing methods and their inability to recover intricate geometrical structures. In this paper, we introduce PhyRecon, the first approach to leverage both differentiable rendering and differentiable physics simulation to learn implicit surface representations. PhyRecon features a novel differentiable particle-based physical simulator built on neural implicit representations. Central to this design is an efficient transformation between SDF-based implicit representations and explicit surface points via our proposed Surface Points Marching Cubes (SP-MC), enabling differentiable learning with both rendering and physical losses. Additionally, PhyRecon models both rendering and physical uncertainty to identify and compensate for inconsistent and inaccurate monocular geometric priors. This physical uncertainty further facilitates a novel physics-guided pixel sampling to enhance the learning of slender structures. By integrating these techniques, our model supports differentiable joint modeling of appearance, geometry, and physics. Extensive experiments demonstrate that PhyRecon significantly outperforms all state-of-the-art methods. Our results also exhibit superior physical stability in physical simulators, with at least a 40% improvement across all datasets, paving the way for future physics-based applications.
• Abstract（参考訳）: ニューラルな暗黙の表現は多視点3D再構成で人気を博している。 しかし、これまでのほとんどの作業は物理的に妥当な結果を得るのに苦労し、具体化されたAIやロボット工学のような厳密な物理的精度を必要とする領域において、その実用性を制限した。 この妥当性の欠如は、既存の方法における物理モデリングの欠如と、複雑な幾何学的構造を回復できないことに起因する。 本稿では、微分可能なレンダリングと微分可能な物理シミュレーションを併用して暗黙的な表面表現を学習する最初のアプローチであるPhyReconを紹介する。 PhyReconは、ニューラルな暗黙の表現に基づいて構築された、新しい微分可能な粒子ベースの物理シミュレータを備えている。 この設計の中心は、SDFに基づく暗黙の表現と、提案したSurface Points Marching Cubes (SP-MC)による明示的な表面点との効率的な変換であり、レンダリングと物理的損失の両方で微分可能な学習を可能にする。 さらに、PhyReconはレンダリングと物理的不確実性の両方をモデル化し、矛盾と不正確な単色幾何学的先行を識別し補う。 この物理的不確実性により、新しい物理誘導画素サンプリングが促進され、細い構造の学習が促進される。 これらの手法を統合することで、我々のモデルは外観、幾何学、物理学の異なる関節モデリングをサポートする。 大規模な実験により、PhyReconはすべての最先端手法を著しく上回っていることが示された。 また,物理シミュレータの物理的安定性も向上し,全データセットに対して少なくとも40%の改善が達成され,将来的な物理ベースアプリケーションへの道が開かれた。

関連論文リスト

• Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video [58.043569985784806]
  本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。 単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。 我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
  論文  参考訳（メタデータ） (2024-06-18T16:37:44Z)
• Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion [35.71595369663293]
  ビデオ拡散モデルを用いて3Dオブジェクトの様々な物理的特性を学習する新しい手法である textbfPhysics3D を提案する。 本手法では,粘弾性材料モデルに基づく高一般化物理シミュレーションシステムを設計する。 弾性材料とプラスチック材料の両方を用いて, 本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-06T17:59:47Z)
• DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors [77.34056839349076]
  本稿では,3次元ガウス散乱の物理特性をビデオ拡散先行値で推定するDreamPhysicsを提案する。 本手法は,適切な物理パラメータを持つ物質点法シミュレータに基づいて,現実的な動きを持つ4次元コンテンツを生成する。
  論文  参考訳（メタデータ） (2024-06-03T16:05:25Z)
• Physically Compatible 3D Object Modeling from a Single Image [109.98124149566927]
  単一画像を3次元物理オブジェクトに変換するフレームワークを提案する。 我々のフレームワークは、リコンストラクションプロセスに物理的な互換性を組み込む。 既存の手法よりも3Dモデルの物理的リアリズムを一貫して強化する。
  論文  参考訳（メタデータ） (2024-05-30T21:59:29Z)
• DeepSimHO: Stable Pose Estimation for Hand-Object Interaction via Physics Simulation [81.11585774044848]
  我々は、前方物理シミュレーションと後方勾配近似とニューラルネットワークを組み合わせた新しいディープラーニングパイプラインであるDeepSimHOを紹介する。 提案手法は, 評価の安定性を著しく向上し, テスト時間最適化よりも優れた効率性を実現する。
  論文  参考訳（メタデータ） (2023-10-11T05:34:36Z)
• Differentiable Dynamics for Articulated 3d Human Motion Reconstruction [29.683633237503116]
  DiffPhyは、映像から3次元の人間の動きを再現する物理モデルである。 モノクロ映像から物理的に可視な3次元動作を正確に再現できることを実証し,本モデルの有効性を検証した。
  論文  参考訳（メタデータ） (2022-05-24T17:58:37Z)
• {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model [69.27632025495512]
  Shape-from-Template (SfT) 法では、単一の単眼RGBカメラから3次元表面の変形を推定する。 本稿では,物理シミュレーションによる2次元観察を解説する新しいSfT手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T17:59:57Z)
• DiffSDFSim: Differentiable Rigid-Body Dynamics With Implicit Shapes [9.119424247289857]
  微分物理学は、シーンの理解と相互作用の推論のためのコンピュータとロボティクスの強力なツールである。 既存のアプローチは、前もって単純な形状や形状のオブジェクトに限られていることが多い。
  論文  参考訳（メタデータ） (2021-11-30T11:56:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。