論文の概要: Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion

• arxiv url: http://arxiv.org/abs/2211.11674v2
• Date: Mon, 20 Mar 2023 11:33:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 01:47:39.483987
• Title: Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion
• Title（参考訳）: ブートストラップ型放射場インバージョンによる単一画像からの形状, 姿勢, 出現
• Authors: Dario Pavllo, David Joseph Tan, Marie-Julie Rakotosaona, Federico Tombari
• Abstract要約: 提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
• 参考スコア（独自算出の注目度）: 54.151979979158085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) coupled with GANs represent a promising direction in the area of 3D reconstruction from a single view, owing to their ability to efficiently model arbitrary topologies. Recent work in this area, however, has mostly focused on synthetic datasets where exact ground-truth poses are known, and has overlooked pose estimation, which is important for certain downstream applications such as augmented reality (AR) and robotics. We introduce a principled end-to-end reconstruction framework for natural images, where accurate ground-truth poses are not available. Our approach recovers an SDF-parameterized 3D shape, pose, and appearance from a single image of an object, without exploiting multiple views during training. More specifically, we leverage an unconditional 3D-aware generator, to which we apply a hybrid inversion scheme where a model produces a first guess of the solution which is then refined via optimization. Our framework can de-render an image in as few as 10 steps, enabling its use in practical scenarios. We demonstrate state-of-the-art results on a variety of real and synthetic benchmarks.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)とGANを結合させることは、任意のトポロジを効率的にモデル化する能力のため、単一の視点から3次元再構成の領域において有望な方向を示す。 しかし、この領域での最近の研究は、主に正確な接地姿勢が分かっている合成データセットに焦点を当てており、拡張現実(ar)やロボティクスのような下流アプリケーションで重要なポーズ推定を見逃している。 提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入する。 本手法は,SDFによる3次元形状,ポーズ,外観を,トレーニング中に複数のビューを活用せずに再現する。 より具体的には、条件のない3d-aware generatorを利用して、モデルが解の最初の推測を生成し、最適化によって洗練するハイブリッドインバージョンスキームを適用する。 私たちのフレームワークは、画像を10ステップでデレンダリングでき、実用的なシナリオで使用できます。 様々な実および合成ベンチマークで最先端の結果を示す。

関連論文リスト

• SG-NeRF: Neural Surface Reconstruction with Scene Graph Optimization [16.460851701725392]
  本稿では,外乱ポーズの影響を軽減するため,シーングラフを用いた放射場最適化手法を提案する。 本手法では,シーングラフに基づく適応型不整合・不整合信頼度推定手法を取り入れた。 また、カメラのポーズと表面形状を最適化するために、効果的な交叉結合(IoU)損失を導入する。
  論文  参考訳（メタデータ） (2024-07-17T15:50:17Z)
• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• Zero-1-to-3: Zero-shot One Image to 3D Object [30.455300183998247]
  単一のRGB画像のみを与えられたオブジェクトのカメラ視点を変更するためのフレームワークであるZero-1-to-3を紹介する。 条件拡散モデルは、合成データセットを用いて、相対カメラ視点の制御を学習する。 提案手法は,インターネット規模の事前学習を活用して,最先端の1次元3次元再構成と新しいビュー合成モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-03-20T17:59:50Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• ERF: Explicit Radiance Field Reconstruction From Scratch [12.254150867994163]
  センサのポーズとキャリブレーションでシーンの一連の画像を処理し,フォトリアルなデジタルモデルを推定する,新しい高密度3次元再構成手法を提案する。 重要な革新の1つは、根底にある体積表現が完全に明示的であることである。 我々は,本手法が汎用的かつ実用的であることを示し,撮影に高度に制御された実験室の設置は必要とせず,多種多様な物体でシーンを再構築することができることを示した。
  論文  参考訳（メタデータ） (2022-02-28T19:37:12Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis [43.4859484191223]
  近年,単一シーンの新規なビュー合成に成功している放射場生成モデルを提案する。 マルチスケールのパッチベース判別器を導入し,非姿勢の2次元画像からモデルを訓練しながら高解像度画像の合成を実演する。
  論文  参考訳（メタデータ） (2020-07-05T20:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。