論文の概要: Deep Multi Depth Panoramas for View Synthesis
- arxiv url: http://arxiv.org/abs/2008.01815v1
- Date: Tue, 4 Aug 2020 20:29:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-03 01:09:01.286648
- Title: Deep Multi Depth Panoramas for View Synthesis
- Title（参考訳）: ビュー合成のための深層多層パノラマ
- Authors: Kai-En Lin, Zexiang Xu, Ben Mildenhall, Pratul P. Srinivasan, Yannick
Hold-Geoffroy, Stephen DiVerdi, Qi Sun, Kalyan Sunkavalli, and Ravi
Ramamoorthi
- Abstract要約: 本稿では,複数のRGBD$alpha$panoramasからなる新しいシーン表現であるMultiple Depth Panorama(MDP)を提案する。
MDPは従来の3Dシーン表現よりもコンパクトであり、高品質で効率的な新しいビューレンダリングを可能にする。
- 参考スコア（独自算出の注目度）: 70.9125433400375
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a learning-based approach for novel view synthesis for
multi-camera 360$^{\circ}$ panorama capture rigs. Previous work constructs RGBD
panoramas from such data, allowing for view synthesis with small amounts of
translation, but cannot handle the disocclusions and view-dependent effects
that are caused by large translations. To address this issue, we present a
novel scene representation - Multi Depth Panorama (MDP) - that consists of
multiple RGBD$\alpha$ panoramas that represent both scene geometry and
appearance. We demonstrate a deep neural network-based method to reconstruct
MDPs from multi-camera 360$^{\circ}$ images. MDPs are more compact than
previous 3D scene representations and enable high-quality, efficient new view
rendering. We demonstrate this via experiments on both synthetic and real data
and comparisons with previous state-of-the-art methods spanning both
learning-based approaches and classical RGBD-based methods.
- Abstract（参考訳）: マルチカメラ360$^{\circ}$ Panorama capture rigs のための新しいビュー合成のための学習に基づくアプローチを提案する。
以前の研究は、そのようなデータからRGBDパノラマを構築し、少量の翻訳でビューを合成できるが、大きな翻訳によって引き起こされる排除やビュー依存効果には対処できない。
この問題に対処するため,我々は,複数のrgbd$\alpha$パノラマで構成され,シーンの形状と外観の両方を表現する,新しいシーン表現であるマルチ深度パノラマ(mdp)を提案する。
マルチカメラ360$^{\circ}$画像からMDPを再構成するディープニューラルネットワークを用いた手法を実証する。
MDPは従来の3Dシーン表現よりもコンパクトであり、高品質で効率的な新しいビューレンダリングを可能にする。
我々は,合成データと実データの両方について実験を行い,学習に基づくアプローチと古典的なrgbdベースの手法の両方にまたがる従来の最先端手法との比較を行った。
関連論文リスト
- Pano2Room: Novel View Synthesis from a Single Indoor Panorama [20.262621556667852]
Pano2Roomは、1枚のパノラマ画像から高品質な3D屋内シーンを自動的に再構築するように設計されている。
鍵となるアイデアは、最初に入力パノラマから予備メッシュを構築し、パノラマRGBDインペイントを使用して反復的にこのメッシュを洗練することである。
精巧なメッシュは3次元ガウス散乱場に変換され、収集された擬似ノベルビューで訓練される。
論文 参考訳（メタデータ） (2024-08-21T08:19:12Z) - MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。
提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
論文 参考訳（メタデータ） (2024-04-04T17:59:57Z) - Novel View Synthesis from a Single RGBD Image for Indoor Scenes [4.292698270662031]
単一RGBD(Red Green Blue-Depth)入力から新しいビューイメージを合成する手法を提案する。
本手法では,RGBD画像を点雲に変換し,異なる視点からレンダリングし,NVSタスクを画像翻訳問題に変換する。
論文 参考訳（メタデータ） (2023-11-02T08:34:07Z) - PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。
本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。
PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
論文 参考訳（メタデータ） (2023-10-25T17:59:01Z) - Single-View View Synthesis in the Wild with Learned Adaptive Multiplane
Images [15.614631883233898]
既存の手法では, 単分子深度推定と層状深度表現による色塗布による有望な結果が示されている。
マルチプレーン画像(MPI)表現に基づく新しい手法を提案する。
合成データと実データの両方の実験により、我々のトレーニングされたモデルは驚くほどうまく機能し、最先端の結果が得られます。
論文 参考訳（メタデータ） (2022-05-24T02:57:16Z) - Urban Radiance Fields [77.43604458481637]
本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。
提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。
これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
論文 参考訳（メタデータ） (2021-11-29T15:58:16Z) - Semantic View Synthesis [56.47999473206778]
我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。
まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。
次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
論文 参考訳（メタデータ） (2020-08-24T17:59:46Z) - 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。
学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。
結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
論文 参考訳（メタデータ） (2020-04-09T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。