論文の概要: CompNVS: Novel View Synthesis with Scene Completion
- arxiv url: http://arxiv.org/abs/2207.11467v1
- Date: Sat, 23 Jul 2022 09:03:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 13:25:22.584309
- Title: CompNVS: Novel View Synthesis with Scene Completion
- Title（参考訳）: CompNVS: シーン補完による新しいビュー合成
- Authors: Zuoyue Li, Tianxing Fan, Zhenqiang Li, Zhaopeng Cui, Yoichi Sato, Marc
Pollefeys, Martin R. Oswald
- Abstract要約: 本稿では,スパースグリッドに基づくニューラルシーン表現を用いた生成パイプラインを提案する。
画像特徴を3次元空間に符号化し、幾何学的完備化ネットワークとその後のテクスチャ塗布ネットワークを用いて、欠落した領域を外挿する。
フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
- 参考スコア（独自算出の注目度）: 83.19663671794596
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a scalable framework for novel view synthesis from RGB-D images
with largely incomplete scene coverage. While generative neural approaches have
demonstrated spectacular results on 2D images, they have not yet achieved
similar photorealistic results in combination with scene completion where a
spatial 3D scene understanding is essential. To this end, we propose a
generative pipeline performing on a sparse grid-based neural scene
representation to complete unobserved scene parts via a learned distribution of
scenes in a 2.5D-3D-2.5D manner. We process encoded image features in 3D space
with a geometry completion network and a subsequent texture inpainting network
to extrapolate the missing area. Photorealistic image sequences can be finally
obtained via consistency-relevant differentiable rendering. Comprehensive
experiments show that the graphical outputs of our method outperform the state
of the art, especially within unobserved scene parts.
- Abstract（参考訳）: 本稿では,RGB-D画像からの新規ビュー合成のためのスケーラブルなフレームワークを提案する。
生成的ニューラルアプローチは2次元画像において顕著な結果を示したが、空間的3次元シーン理解が不可欠であるシーン完了と組み合わせて、類似したフォトリアリスティックな結果がまだ得られていない。
そこで本研究では,2.5D-3D-2.5D方式でシーンの学習分布を学習することにより,未観測シーンを完全化するために,スパースグリッドベースのニューラルシーン表現を用いた生成パイプラインを提案する。
3次元空間における符号化画像の特徴を幾何完備ネットワークとテクスチャインペインティングネットワークを用いて処理し,欠落領域を外挿する。
フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
総合的な実験により,本手法のグラフィカルアウトプットは,特に未観測シーンにおいて,技術状況よりも優れていた。
関連論文リスト
- Behind the Veil: Enhanced Indoor 3D Scene Reconstruction with Occluded Surfaces Completion [15.444301186927142]
そこで本研究では,室内の3次元再構成法について述べる。
本手法は,閉鎖されたシーン表面を仕上げる作業に取り組み,完全な3次元シーンメッシュを実現する。
提案手法を3D完全ルームシーン(3D-CRS)とiTHORデータセットで評価した。
論文 参考訳（メタデータ） (2024-04-03T21:18:27Z) - Denoising Diffusion via Image-Based Rendering [54.20828696348574]
実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。
まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。
第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-05T19:00:45Z) - Blocks2World: Controlling Realistic Scenes with Editable Primitives [5.541644538483947]
我々は3Dシーンのレンダリングと編集のための新しい方法であるBlocks2Worldを提案する。
本手法は,コンベックス分解を用いて,各シーンの様々な物体から3次元並列入力を抽出することから始める。
次のステージでは、2Dレンダリングされた凸プリミティブから画像を生成することを学ぶ条件付きモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-07-07T21:38:50Z) - SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。
提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。
本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
論文 参考訳（メタデータ） (2023-02-07T17:47:52Z) - SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。
フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
論文 参考訳（メタデータ） (2023-02-02T18:59:16Z) - 3inGAN: Learning a 3D Generative Model from Images of a Self-similar
Scene [34.2144933185175]
3inGANは、単一の自己相似3Dシーンの2D画像から訓練された無条件3D生成モデルである。
実地および合成源から得られた,様々なスケールと複雑さの半確率的な場面での結果を示す。
論文 参考訳（メタデータ） (2022-11-27T18:03:21Z) - Realistic Image Synthesis with Configurable 3D Scene Layouts [59.872657806747576]
本稿では,3次元シーンレイアウトに基づくリアルな画像合成手法を提案する。
提案手法では, セマンティッククラスラベルを入力として3Dシーンを抽出し, 3Dシーンの描画ネットワークを訓練する。
訓練された絵画ネットワークにより、入力された3Dシーンのリアルな外観の画像を描画し、操作することができる。
論文 参考訳（メタデータ） (2021-08-23T09:44:56Z) - SceneGraphFusion: Incremental 3D Scene Graph Prediction from RGB-D
Sequences [76.28527350263012]
rgb-dフレームのシーケンスを与えられた3次元環境から意味的シーングラフを漸進的に構築する手法を提案する。
我々は、グラフニューラルネットワークを用いて、プリミティブシーンコンポーネントからpointnet機能を集約する。
提案手法は,35hzで動作する他の3dセマンティクスおよびパンオプティカルセグメンテーション法と同等の精度で,高いマージンで3dシーングラフ予測手法を上回る。
論文 参考訳（メタデータ） (2021-03-27T13:00:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。