論文の概要: Nerfies: Deformable Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2011.12948v5
• Date: Fri, 10 Sep 2021 03:30:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 03:40:30.962437
• Title: Nerfies: Deformable Neural Radiance Fields
• Title（参考訳）: nerfies: 変形可能な神経放射場
• Authors: Keunhong Park, Utkarsh Sinha, Jonathan T. Barron, Sofien Bouaziz, Dan B Goldman, Steven M. Seitz, Ricardo Martin-Brualla
• Abstract要約: 携帯電話からカジュアルに撮影した写真やビデオを用いて、変形可能なシーンをリアルに再構築する最初の方法を提案する。 提案手法は、観測された各点を正準5D NeRFに湾曲する追加の連続体積変形場を最適化することにより、ニューラルラジアンス場(NeRF)を増強する。 提案手法は,非厳密な場面を忠実に再構築し,不明瞭な視点を高い忠実度で再現する。
• 参考スコア（独自算出の注目度）: 44.923025540903886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the first method capable of photorealistically reconstructing deformable scenes using photos/videos captured casually from mobile phones. Our approach augments neural radiance fields (NeRF) by optimizing an additional continuous volumetric deformation field that warps each observed point into a canonical 5D NeRF. We observe that these NeRF-like deformation fields are prone to local minima, and propose a coarse-to-fine optimization method for coordinate-based models that allows for more robust optimization. By adapting principles from geometry processing and physical simulation to NeRF-like models, we propose an elastic regularization of the deformation field that further improves robustness. We show that our method can turn casually captured selfie photos/videos into deformable NeRF models that allow for photorealistic renderings of the subject from arbitrary viewpoints, which we dub "nerfies." We evaluate our method by collecting time-synchronized data using a rig with two mobile phones, yielding train/validation images of the same pose at different viewpoints. We show that our method faithfully reconstructs non-rigidly deforming scenes and reproduces unseen views with high fidelity.
• Abstract（参考訳）: 携帯電話からカジュアルに撮影した写真やビデオを用いて、変形可能なシーンをリアルに再構築する最初の方法を提案する。 提案手法は、観測された各点を正準5D NeRFに湾曲する追加の連続体積変形場を最適化することにより、ニューラルラジアンス場(NeRF)を増強する。 我々はこれらのNeRFのような変形場が局所最小化の傾向にあることを観察し、より堅牢な最適化を可能にする座標モデルに対する粗大な最適化法を提案する。 幾何学処理や物理シミュレーションの原理をnerf様モデルに適用することにより, 変形場の弾性的正則化を行い, 強靭性をさらに向上させる。 提案手法は, カジュアルに捉えた自撮り写真や動画を変形可能なNeRFモデルに変換し, 任意の視点から被写体の写実的レンダリングを可能にする。 本手法は,2台の携帯電話を用いたリグを用いて時間同期データを収集し,異なる視点で同一ポーズの列車/評価画像を得る。 提案手法は,非厳密な場面を忠実に再構築し,不明瞭な視点を高い忠実度で再現する。

関連論文リスト

• $R^2$-Mesh: Reinforcement Learning Powered Mesh Reconstruction via Geometry and Appearance Refinement [5.810659946867557]
  Neural Radiance Fields (NeRF)に基づくメッシュ再構成は、コンピュータグラフィックス、仮想現実、医療画像などの様々なアプリケーションで人気がある。 マルチビュー画像からメッシュを段階的に生成し,最適化する新しいアルゴリズムを提案する。 本手法は,メッシュレンダリングの品質と幾何学的品質の両方において,高い競争力とロバストな性能を提供する。
  論文  参考訳（メタデータ） (2024-08-19T16:33:17Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
  我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。 実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
  論文  参考訳（メタデータ） (2023-08-16T09:50:35Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• GeCoNeRF: Few-shot Neural Radiance Fields via Geometric Consistency [31.22435282922934]
  我々は、幾何認識整合性正規化を伴う数ショット設定でニューラルラジアンス場(NeRF)を正則化する新しいフレームワークを提案する。 本研究では,最新の数発のNeRFモデルと比較して,競争力のある結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-01-26T05:14:12Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• Spherical Image Inpainting with Frame Transformation and Data-driven Prior Deep Networks [13.406134708071345]
  本研究では,深層学習に基づく正規化器を用いた球面画像の塗布作業に焦点をあてる。 我々は,高速な球面ハールフレームレット変換を採用し,フレームレット変換のスパース性仮定に基づく新しい最適化フレームワークを開発した。 提案アルゴリズムは、損傷した球面画像を大幅に復元し、深層学習デノイザとプラグ・アンド・プレイモデルを用いて、純粋に最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-09-29T07:51:27Z)
• VMRF: View Matching Neural Radiance Fields [57.93631771072756]
  VMRFは、カメラポーズやカメラポーズの分布に関する事前知識を必要とせずに、効果的なNeRFトレーニングを可能にする、革新的な視野マッチングNeRFである。 VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像をランダムにカメラのポーズで対応する実画像にマッピングする特徴輸送計画を生成する。 特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズを予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
  論文  参考訳（メタデータ） (2022-07-06T12:26:40Z)
• NeRF, meet differential geometry! [10.269997499911668]
  微分幾何学は、NeRFのようなモデルを頑健に訓練するための正規化ツールをいかに提供できるかを示す。 これらのツールが,従来提案されていたNeRF変種を直接数学的定式化して,課題のある条件下での性能向上を図る方法を示す。
  論文  参考訳（メタデータ） (2022-06-29T22:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。