論文の概要: NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos
- arxiv url: http://arxiv.org/abs/2210.12352v1
- Date: Sat, 22 Oct 2022 04:57:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 15:33:36.194513
- Title: NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos
- Title（参考訳）: NeuPhysics:単眼ビデオからの編集可能なニューラルジオメトリと物理
- Authors: Yi-Ling Qiao, Alexander Gao, and Ming C. Lin
- Abstract要約: 本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。
実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
- 参考スコア（独自算出の注目度）: 82.74918564737591
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a method for learning 3D geometry and physics parameters of a
dynamic scene from only a monocular RGB video input. To decouple the learning
of underlying scene geometry from dynamic motion, we represent the scene as a
time-invariant signed distance function (SDF) which serves as a reference
frame, along with a time-conditioned deformation field. We further bridge this
neural geometry representation with a differentiable physics simulator by
designing a two-way conversion between the neural field and its corresponding
hexahedral mesh, enabling us to estimate physics parameters from the source
video by minimizing a cycle consistency loss. Our method also allows a user to
interactively edit 3D objects from the source video by modifying the recovered
hexahedral mesh, and propagating the operation back to the neural field
representation. Experiments show that our method achieves superior mesh and
video reconstruction of dynamic scenes compared to competing Neural Field
approaches, and we provide extensive examples which demonstrate its ability to
extract useful 3D representations from videos captured with consumer-grade
cameras.
- Abstract（参考訳）: 本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。
基礎となるシーン幾何の学習を動的動作から切り離すため、シーンを時間条件変形場とともに参照フレームとして機能する時間不変符号付き距離関数(sdf)として表現する。
さらに,ニューラルネットワークとそれに対応するヘキサヘドラルメッシュの双方向変換を設計すれば,このニューラルジオメトリ表現を微分可能な物理シミュレータで橋渡しし,サイクル一貫性損失を最小化することにより,ソースビデオから物理パラメータを推定できる。
また,再生されたヘキサヘドラルメッシュを修正し,その操作をニューラルフィールド表現に伝達することで,ソースビデオからインタラクティブに3dオブジェクトを編集することができる。
実験により, 提案手法は, 競合するニューラルフィールドアプローチと比較して, ダイナミックシーンのメッシュとビデオの再構成に優れており, コンシューマグレードのカメラで撮影した映像から有用な3D表現を抽出できることを実証する広範な例を示している。
関連論文リスト
- SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes [7.590932716513324]
本稿では,3次元ガウススティング(3DGS)と物理ベースレンダリング(PBR)と変形場を組み合わせた新しいアプローチであるSpectroMotionを提案する。
論文 参考訳（メタデータ） (2024-10-22T17:59:56Z) - Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。
ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。
提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
論文 参考訳（メタデータ） (2024-07-30T15:33:58Z) - Physics-guided Shape-from-Template: Monocular Video Perception through Neural Surrogate Models [4.529832252085145]
トレーニング済みニューラルネットワークを用いた布のSfT再構成アルゴリズムを提案する。
シミュレーションメッシュの異なるレンダリングにより、再構成と対象のビデオシーケンスの画素ワイズ比較が可能になる。
これにより、$phi$-SfTに比べて400-500の係数でランタイムを削減しつつ、正確で安定した、スムーズな再構築された幾何を維持することができる。
論文 参考訳（メタデータ） (2023-11-21T18:59:58Z) - Differentiable Blocks World: Qualitative 3D Decomposition by Rendering
Primitives [70.32817882783608]
本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。
既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。
得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
論文 参考訳（メタデータ） (2023-07-11T17:58:31Z) - Neural Groundplans: Persistent Neural Scene Representations from a
Single Image [90.04272671464238]
本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。
本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
論文 参考訳（メタデータ） (2022-07-22T17:41:24Z) - Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。
我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。
我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文 参考訳（メタデータ） (2022-04-21T03:42:31Z) - Space-time Neural Irradiance Fields for Free-Viewpoint Video [54.436478702701244]
本稿では,1つのビデオから動的シーンのニューラル照度場を学習する手法を提案する。
私たちの学習した表現は、入力ビデオのフリービューレンダリングを可能にします。
論文 参考訳（メタデータ） (2020-11-25T18:59:28Z) - Multiview Neural Surface Reconstruction by Disentangling Geometry and
Appearance [46.488713939892136]
我々は、未知の幾何学、カメラパラメータ、および表面からカメラに向かって反射された光を近似するニューラルネットワークを同時に学習するニューラルネットワークを導入する。
我々は、DTU MVSデータセットから、異なる素材特性、照明条件、ノイズの多いカメラ素材を実世界の2D画像でトレーニングした。
論文 参考訳（メタデータ） (2020-03-22T10:20:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。