論文の概要: ProbNeRF: Uncertainty-Aware Inference of 3D Shapes from 2D Images
- arxiv url: http://arxiv.org/abs/2210.17415v1
- Date: Thu, 27 Oct 2022 22:35:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 16:06:13.102689
- Title: ProbNeRF: Uncertainty-Aware Inference of 3D Shapes from 2D Images
- Title（参考訳）: ProbNeRF:2次元画像からの3次元形状の不確かさ認識
- Authors: Matthew D. Hoffman, Tuan Anh Le, Pavel Sountsov, Christopher Suter,
Ben Lee, Vikash K. Mansinghka, Rif A. Saurous
- Abstract要約: 条件付きニューラルレイディアンス場(NeRF)モデルは、単一の2次元画像から3次元モデルの良点推定を推測することができる。
ProbNeRFは変分オートエンコーダとして訓練されているが、テスト時にはハミルトンモンテカルロ(HMC)を用いて推論を行う。
ProbNeRFの成功の鍵は、 (i) 決定論的レンダリングスキーム、 (ii) 焼鈍HMC戦略、 (iii) ハイパーネットワークベースのデコーダアーキテクチャ、 (iv) 完全なNeRF重みに対して推論を行うことである。
- 参考スコア（独自算出の注目度）: 19.423108873761972
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The problem of inferring object shape from a single 2D image is
underconstrained. Prior knowledge about what objects are plausible can help,
but even given such prior knowledge there may still be uncertainty about the
shapes of occluded parts of objects. Recently, conditional neural radiance
field (NeRF) models have been developed that can learn to infer good point
estimates of 3D models from single 2D images. The problem of inferring
uncertainty estimates for these models has received less attention. In this
work, we propose probabilistic NeRF (ProbNeRF), a model and inference strategy
for learning probabilistic generative models of 3D objects' shapes and
appearances, and for doing posterior inference to recover those properties from
2D images. ProbNeRF is trained as a variational autoencoder, but at test time
we use Hamiltonian Monte Carlo (HMC) for inference. Given one or a few 2D
images of an object (which may be partially occluded), ProbNeRF is able not
only to accurately model the parts it sees, but also to propose realistic and
diverse hypotheses about the parts it does not see. We show that key to the
success of ProbNeRF are (i) a deterministic rendering scheme, (ii) an
annealed-HMC strategy, (iii) a hypernetwork-based decoder architecture, and
(iv) doing inference over a full set of NeRF weights, rather than just a
low-dimensional code.
- Abstract（参考訳）: 単一の2次元画像から物体形状を推定する問題は、過小評価される。
しかし、そのような事前の知識を考えると、物体の閉塞した部分の形状についてはまだ不確実性があるかもしれない。
近年, 単一2次元画像から3次元モデルの良点推定を推定できる条件付きニューラル放射場(NeRF)モデルが開発されている。
これらのモデルに対する不確実性を推定する問題は、あまり注目されていない。
本研究では,3次元物体の形状と外観の確率的生成モデルを学習し,その特性を2次元画像から再現するためのモデルと推論戦略である確率的NeRF(ProbNeRF)を提案する。
ProbNeRFは変分オートエンコーダとして訓練されているが、テスト時にはハミルトンモンテカルロ(HMC)を用いて推論を行う。
ProbNeRFは、物体の1つまたは数つの2D画像(一部は隠されているかもしれない)を与えられた場合、その部分の正確なモデル化だけでなく、見えない部分に関する現実的で多様な仮説を提案することができる。
ProbNeRFの成功の鍵は何かを示す。
(i)決定論的レンダリングスキーム
(II)焼鈍HMC戦略
(iii)ハイパーネットワークベースのデコーダアーキテクチャ、及び
(iv) 単に低次元のコードではなく、一組のNeRF重みに対して推論を行う。
関連論文リスト
- DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。
本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文 参考訳（メタデータ） (2024-06-17T21:15:13Z) - Probing the 3D Awareness of Visual Foundation Models [56.68380136809413]
視覚基礎モデルの3次元認識を解析する。
凍結した特徴に対するタスク固有プローブとゼロショット推論手法を用いて実験を行う。
論文 参考訳（メタデータ） (2024-04-12T17:58:04Z) - MultiPlaneNeRF: Neural Radiance Field with Non-Trainable Representation [11.049528513775968]
NeRFは2D画像から3Dオブジェクトを効率的に表現する人気モデルである。
上記の問題を同時に解くモデルとして,MultiPlaneNeRFを提案する。
論文 参考訳（メタデータ） (2023-05-17T21:27:27Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。
異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。
本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
論文 参考訳（メタデータ） (2023-04-17T13:49:04Z) - Likelihood-Based Generative Radiance Field with Latent Space
Energy-Based Model for 3D-Aware Disentangled Image Representation [43.41596483002523]
本稿では,Neural Radiance Fields (NeRF) による3次元表現と,可変ボリュームレンダリングによる2次元画像処理を併用した3次元画像生成モデルを提案する。
いくつかのベンチマークデータセットの実験では、NeRF-LEBMは2D画像から3Dオブジェクト構造を推測し、新しいビューとオブジェクトで2D画像を生成し、不完全な2D画像から学び、未知のカメラポーズで2D画像から学ぶことができる。
論文 参考訳（メタデータ） (2023-04-16T23:44:41Z) - HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。
我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
論文 参考訳（メタデータ） (2023-03-29T07:35:56Z) - FeatureNeRF: Learning Generalizable NeRFs by Distilling Foundation
Models [21.523836478458524]
一般化可能なNeRFに関する最近の研究は、単一または少数の画像からの新規なビュー合成に関する有望な結果を示している。
本研究では,事前学習された視覚モデルを蒸留することにより,一般化可能なNeRFを学習するためのFeatureNeRFという新しいフレームワークを提案する。
一般化可能な3次元特徴抽出器としてのFeatureNeRFの有効性を実証した。
論文 参考訳（メタデータ） (2023-03-22T17:57:01Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-20T17:12:00Z) - Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape
Laplacian [58.704089101826774]
形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。
点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。
実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
論文 参考訳（メタデータ） (2022-03-29T04:57:18Z) - NeRF-Pose: A First-Reconstruct-Then-Regress Approach for
Weakly-supervised 6D Object Pose Estimation [44.42449011619408]
トレーニング中に2次元オブジェクトセグメンテーションと既知の相対カメラポーズしか必要としないNeRF-Poseという,弱教師付き再構築型パイプラインを提案する。
予測応答から安定かつ正確なポーズを推定するために、NeRF対応RAN+SACアルゴリズムを用いる。
LineMod-Occlusion 実験の結果,提案手法は6次元ポーズ推定法と比較して最先端の精度を持つことがわかった。
論文 参考訳（メタデータ） (2022-03-09T15:28:02Z) - FiG-NeRF: Figure-Ground Neural Radiance Fields for 3D Object Category
Modelling [11.432178728985956]
我々はNeural Radiance Fields (NeRF) を用いて、入力画像のコレクションから高品質な3Dオブジェクトカテゴリモデルを学習する。
本手法は,測光とカジュアルキャプチャによる画像のみを用いて,高精度な3dオブジェクトカテゴリモデルを学習できることを示す。
論文 参考訳（メタデータ） (2021-04-17T01:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。