論文の概要: Laser: Latent Set Representations for 3D Generative Modeling
- arxiv url: http://arxiv.org/abs/2301.05747v1
- Date: Fri, 13 Jan 2023 20:03:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-18 19:11:42.626317
- Title: Laser: Latent Set Representations for 3D Generative Modeling
- Title(参考訳): レーザー: 3次元生成モデリングのための潜在集合表現
- Authors: Pol Moreno, Adam R. Kosiorek, Heiko Strathmann, Daniel Zoran, Rosalia
G. Schneider, Bj\"orn Winckler, Larisa Markeeva, Th\'eophane Weber, Danilo J.
Rezende
- Abstract要約: NeRFは、任意の視点から3Dシーンをレンダリングする、新規ビュー合成の非並列な忠実性を提供する。
これまでのアプローチは、過度に単純なシーンに適用されたり、観測されていない部分をレンダリングするのに苦労していたりした。
本稿では,高モデル化能力を実現する生成モデルであるLaser-NVを紹介する。
- 参考スコア(独自算出の注目度): 15.538056563481872
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: NeRF provides unparalleled fidelity of novel view synthesis: rendering a 3D
scene from an arbitrary viewpoint. NeRF requires training on a large number of
views that fully cover a scene, which limits its applicability. While these
issues can be addressed by learning a prior over scenes in various forms,
previous approaches have been either applied to overly simple scenes or
struggling to render unobserved parts. We introduce Laser-NV: a generative
model which achieves high modelling capacity, and which is based on a
set-valued latent representation modelled by normalizing flows. Similarly to
previous amortized approaches, Laser-NV learns structure from multiple scenes
and is capable of fast, feed-forward inference from few views. To encourage
higher rendering fidelity and consistency with observed views, Laser-NV further
incorporates a geometry-informed attention mechanism over the observed views.
Laser-NV further produces diverse and plausible completions of occluded parts
of a scene while remaining consistent with observations. Laser-NV shows
state-of-the-art novel-view synthesis quality when evaluated on ShapeNet and on
a novel simulated City dataset, which features high uncertainty in the
unobserved regions of the scene.
- Abstract(参考訳): NeRFは、任意の視点から3Dシーンをレンダリングする、新規ビュー合成の非並列な忠実性を提供する。
NeRFはシーンを完全にカバーする多数のビューをトレーニングする必要があるため、適用性が制限される。
これらの問題は、様々な形態のシーンで事前学習することで対処できるが、以前のアプローチは、あまりにも単純なシーンに適用されるか、観察できない部分のレンダリングに苦労している。
本研究では,高モデリング能力を達成し,流れの正規化をモデルとした集合値潜在表現に基づく生成モデルであるlaser-nvを提案する。
従来のアモールト化アプローチと同様に、Laser-NVは複数のシーンから構造を学び、少数のビューから高速でフィードフォワード推論を行うことができる。
観察されたビューに対するレンダリングの忠実さと一貫性を高めるために、Laser-NVはさらに、観察されたビューに幾何学的インフォームドアテンション機構を組み込む。
レーザー-NVはさらに、観察と整合性を維持しながら、シーンの隠蔽部分の多様かつ可視的な完了を発生させる。
レーザ-NVは、ShapeNetや、未観測領域で高い不確実性を特徴とする、新しいシミュレートされた都市データセット上での評価において、最先端のノベルビュー合成品質を示す。
関連論文リスト
- Template-free Articulated Neural Point Clouds for Reposable View
Synthesis [11.535440791891217]
本研究では,マルチビュー映像から動的NeRFと関連する骨格モデルを共同で学習する新しい手法を提案する。
我々のフォワードウォーピングアプローチは、新しいビューやポーズを合成する際に、最先端の視覚的忠実度を達成する。
論文 参考訳(メタデータ) (2023-05-30T14:28:08Z) - Neural Radiance Fields (NeRFs): A Review and Some Recent Developments [0.0]
Neural Radiance Field(NeRF)は、完全に接続されたニューラルネットワークの重みの3Dシーンを表すフレームワークである。
ベースフレームワークの性能と能力を拡張する最近の開発によって、NeRFはポピュラーな研究分野になってきた。
論文 参考訳(メタデータ) (2023-04-30T03:23:58Z) - Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。
スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。
対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
論文 参考訳(メタデータ) (2023-04-17T17:40:52Z) - Generative Novel View Synthesis with 3D-Aware Diffusion Models [96.78397108732233]
単一入力画像から3D対応の新規ビュー合成のための拡散モデルを提案する。
提案手法は既存の2次元拡散バックボーンを利用するが,重要な点として,幾何学的先行を3次元特徴体積の形で組み込む。
新たなビュー生成に加えて,本手法は3次元一貫性シーケンスを自己回帰的に合成する機能を備えている。
論文 参考訳(メタデータ) (2023-04-05T17:15:47Z) - Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。
本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。
合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-03-03T06:32:55Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳(メタデータ) (2022-09-02T17:44:50Z) - Cascaded and Generalizable Neural Radiance Fields for Fast View
Synthesis [35.035125537722514]
ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。
DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。
CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
論文 参考訳(メタデータ) (2022-08-09T12:23:48Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳(メタデータ) (2022-07-12T17:52:04Z) - Control-NeRF: Editable Feature Volumes for Scene Rendering and
Manipulation [58.16911861917018]
高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。
モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。
我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
論文 参考訳(メタデータ) (2022-04-22T17:57:00Z) - RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from
Sparse Inputs [79.00855490550367]
我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。
我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。
我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
論文 参考訳(メタデータ) (2021-12-01T18:59:46Z) - Light Field Networks: Neural Scene Representations with
Single-Evaluation Rendering [60.02806355570514]
2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。
そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。
LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
論文 参考訳(メタデータ) (2021-06-04T17:54:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。