論文の概要: Behind the Scenes: Density Fields for Single View Reconstruction
- arxiv url: http://arxiv.org/abs/2301.07668v3
- Date: Wed, 19 Apr 2023 15:01:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 17:19:20.362229
- Title: Behind the Scenes: Density Fields for Single View Reconstruction
- Title(参考訳): 舞台裏:単一視点再構成のための密度場
- Authors: Felix Wimbauer, Nan Yang, Christian Rupprecht, Daniel Cremers
- Abstract要約: 単一の画像から有意義な幾何学的シーン表現を推定することは、コンピュータビジョンの根本的な問題である。
本稿では,入力画像のフラストラム内のすべての位置を体積密度にマッピングする。
提案手法は,入力画像に隠された領域に対して有意な幾何を予測できることを示す。
- 参考スコア(独自算出の注目度): 63.40484647325238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inferring a meaningful geometric scene representation from a single image is
a fundamental problem in computer vision. Approaches based on traditional depth
map prediction can only reason about areas that are visible in the image.
Currently, neural radiance fields (NeRFs) can capture true 3D including color,
but are too complex to be generated from a single image. As an alternative, we
propose to predict implicit density fields. A density field maps every location
in the frustum of the input image to volumetric density. By directly sampling
color from the available views instead of storing color in the density field,
our scene representation becomes significantly less complex compared to NeRFs,
and a neural network can predict it in a single forward pass. The prediction
network is trained through self-supervision from only video data. Our
formulation allows volume rendering to perform both depth prediction and novel
view synthesis. Through experiments, we show that our method is able to predict
meaningful geometry for regions that are occluded in the input image.
Additionally, we demonstrate the potential of our approach on three datasets
for depth prediction and novel-view synthesis.
- Abstract(参考訳): 単一の画像から有意義な幾何学的シーン表現を推測することは、コンピュータビジョンにおける根本的な問題である。
従来の深度マップ予測に基づくアプローチは、画像で見える領域のみを推論できる。
現在、neural radiance field(nerfs)はカラーを含む真の3dをキャプチャできるが、単一の画像から生成するには複雑すぎる。
代替として、暗黙の密度場を予測することを提案する。
密度場は入力画像のフラスタム内の全ての位置を体積密度にマッピングする。
密度場に色を格納する代わりに、利用可能なビューから直接色をサンプリングすることにより、私たちのシーン表現はNeRFよりもはるかに複雑になり、ニューラルネットワークはそれを単一の前方通過で予測できる。
予測ネットワークはビデオデータのみから自己スーパービジョンにより訓練される。
我々の定式化により、ボリュームレンダリングは深度予測と新しいビュー合成の両方を行うことができる。
実験により,入力画像にオクルードされた領域に対して有意な形状を予測できることを示す。
さらに,深度予測と新しい視点合成のための3つのデータセットに対するアプローチの可能性を示す。
関連論文リスト
- Learning Neural Implicit through Volume Rendering with Attentive Depth
Fusion Priors [32.63878457242185]
我々は,多視点RGBD画像からの暗黙的表現を,暗黙的深度融合によるボリュームレンダリングにより学習する。
注意機構は、シーン全体を表す1回溶融TSDFか、部分シーンを表す漸増溶融TSDFで機能する。
合成および実世界のスキャンを含む広く使われているベンチマークの評価は、最新のニューラル暗黙法よりも優れていることを示している。
論文 参考訳(メタデータ) (2023-10-17T21:45:51Z) - One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
ロボット工学のための統一的でコンパクトなシーン表現を提案する。
シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。
この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
論文 参考訳(メタデータ) (2022-10-21T17:33:14Z) - S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a
Single Viewpoint [22.42916940712357]
本手法は,シーンの3次元形状とBRDFを表現するために,ニューラルリフレクタンス場を学習する。
本手法は,一視点画像からシーンの可視部分と可視部分の両方を含む3次元形状を復元することができる。
新規ビュー合成やリライトといったアプリケーションをサポートする。
論文 参考訳(メタデータ) (2022-10-17T11:01:52Z) - Learning Generalizable Light Field Networks from Few Images [7.672380267651058]
ニューラル光場表現に基づく数発の新規ビュー合成のための新しい戦略を提案する。
提案手法は,最先端のニューラルラジアンスフィールドに基づく競合に対して,合成および実MVSデータ上での競合性能を実現する。
論文 参考訳(メタデータ) (2022-07-24T14:47:11Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳(メタデータ) (2022-07-12T17:52:04Z) - Light Field Networks: Neural Scene Representations with
Single-Evaluation Rendering [60.02806355570514]
2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。
そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。
LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
論文 参考訳(メタデータ) (2021-06-04T17:54:49Z) - NeMI: Unifying Neural Radiance Fields with Multiplane Images for Novel
View Synthesis [69.19261797333635]
単一画像からの高密度3次元再構成による新しいビュー合成と深度推定を行う手法を提案する。
我々のNeMIはマルチプレーン画像(MPI)とニューラル放射場(NeRF)を統一する
iBims-1およびNYU-v2の深さ推定でも、注釈付き深度監視なしで競争力のある結果が得られます。
論文 参考訳(メタデータ) (2021-03-27T13:41:00Z) - NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
本稿では,複雑なシーンの新たなビューを合成する手法を提案する。
提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。
ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
論文 参考訳(メタデータ) (2020-03-19T17:57:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。