論文の概要: Layout-Guided Novel View Synthesis from a Single Indoor Panorama
- arxiv url: http://arxiv.org/abs/2103.17022v1
- Date: Wed, 31 Mar 2021 12:12:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 14:31:58.000864
- Title: Layout-Guided Novel View Synthesis from a Single Indoor Panorama
- Title(参考訳): 単一屋内パノラマからのレイアウト誘導型新規ビュー合成
- Authors: Jiale Xu and Jia Zheng and Yanyu Xu and Rui Tang and Shenghua Gao
- Abstract要約: 我々は1つの屋内パノラマから新しいビューを生成する最初の試みを行う。
CNNは、深い特徴を抽出し、ソースビュー画像から深度マップを推定するために使用される。
また、生成したターゲットビュー画像の部屋配置を制約し、幾何的整合性を強制する。
- 参考スコア(独自算出の注目度): 41.627708450356614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing view synthesis methods mainly focus on the perspective images and
have shown promising results. However, due to the limited field-of-view of the
pinhole camera, the performance quickly degrades when large camera movements
are adopted. In this paper, we make the first attempt to generate novel views
from a single indoor panorama and take the large camera translations into
consideration. To tackle this challenging problem, we first use Convolutional
Neural Networks (CNNs) to extract the deep features and estimate the depth map
from the source-view image. Then, we leverage the room layout prior, a strong
structural constraint of the indoor scene, to guide the generation of target
views. More concretely, we estimate the room layout in the source view and
transform it into the target viewpoint as guidance. Meanwhile, we also
constrain the room layout of the generated target-view images to enforce
geometric consistency. To validate the effectiveness of our method, we further
build a large-scale photo-realistic dataset containing both small and large
camera translations. The experimental results on our challenging dataset
demonstrate that our method achieves state-of-the-art performance. The project
page is at https://github.com/bluestyle97/PNVS.
- Abstract(参考訳): 既存のビュー合成法は主に視点画像に焦点をあて、有望な結果を示した。
しかし、ピンホールカメラの視野が限られているため、大きなカメラの動きを採用すると性能が急速に低下する。
本稿では,屋内パノラマ1台から新しいビューを生成し,大規模なカメラ翻訳を考慮に入れた最初の試みを行う。
この課題に対処するために、まず畳み込みニューラルネットワーク(CNN)を用いて、深い特徴を抽出し、ソースビューイメージから深度マップを推定する。
そこで,室内環境の強い構造的制約である事前の部屋配置を利用して,ターゲットビューの生成を誘導する。
より具体的には、ソースビューの部屋配置を推定し、誘導として対象視点に変換する。
また,生成したターゲットビュー画像の空間配置を制約し,幾何的整合性を実現する。
提案手法の有効性を検証するため,小型・大型のカメラ翻訳を含む大規模写真リアルなデータセットをさらに構築する。
実験結果から,本手法が最先端性能を実現することを示す。
プロジェクトページはhttps://github.com/bluestyle97/pnvs。
関連論文リスト
- GasMono: Geometry-Aided Self-Supervised Monocular Depth Estimation for
Indoor Scenes [47.76269541664071]
本稿では,フレームと低テクスチャの大きな回転に起因する屋内シーンにおける自己教師型単眼深度推定の課題に対処する。
モノクラーシーケンスから粗いカメラポーズを多視点形状で取得し,前者に対応する。
低テクスチャの効果を和らげるために、視覚変換器のグローバルな推論と過度に適合する反復的な自己蒸留機構を組み合わせる。
論文 参考訳(メタデータ) (2023-09-26T17:59:57Z) - SparseGNV: Generating Novel Views of Indoor Scenes with Sparse Input
Views [16.72880076920758]
SparseGNVは3次元構造と画像生成モデルを組み合わせて新しいビューを生成する学習フレームワークである。
SparseGNVは、大規模な屋内シーンデータセットでトレーニングされ、一般化可能な事前学習を行う。
フィードフォワード方式で、見えない屋内シーンの斬新なビューを効率よく生成することができる。
論文 参考訳(メタデータ) (2023-05-11T17:58:37Z) - Monocular Spherical Depth Estimation with Explicitly Connected Weak
Layout Cues [27.15511982413305]
幾何的視覚(360V)データセットを生成し、複数のモジュラリティ、多視点ステレオデータ、そして、自動的に弱レイアウトキューを生成する。
我々は、深さに基づくレイアウトの再構築とレイアウトに基づく深さの注意に頼り、両方のタスクにまたがるパフォーマンスの向上を示す。
360度カメラで部屋をスキャンすることで、ファクシブルで素早く3Dスキャンする機会が生まれる。
論文 参考訳(メタデータ) (2022-06-22T20:10:45Z) - DeepPanoContext: Panoramic 3D Scene Understanding with Holistic Scene
Context Graph and Relation-based Optimization [66.25948693095604]
本研究では,パノラマ画像から各オブジェクトの3次元空間配置と形状,ポーズ,位置,意味的カテゴリを復元するパノラマ3次元シーン理解手法を提案する。
実験により, この手法は, パノラマシーン理解において, 幾何学的精度とオブジェクト配置の両方の観点から, 既存の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2021-08-24T13:55:29Z) - Free View Synthesis [100.86844680362196]
本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。
本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
論文 参考訳(メタデータ) (2020-08-12T18:16:08Z) - Shape and Viewpoint without Keypoints [63.26977130704171]
本研究では,1枚の画像から3次元形状,ポーズ,テクスチャを復元する学習フレームワークを提案する。
我々は,3次元形状,マルチビュー,カメラ視点,キーポイントの監督なしに画像収集を訓練した。
我々は、最先端のカメラ予測結果を取得し、オブジェクト間の多様な形状やテクスチャを予測することを学べることを示す。
論文 参考訳(メタデータ) (2020-07-21T17:58:28Z) - Single-View View Synthesis with Multiplane Images [64.46556656209769]
深層学習を応用して、既知の視点で2つ以上の入力画像が与えられた多面体画像を生成する。
本手法は,単一画像入力から直接多面体画像を予測することを学習する。
さらに、適切な深度マップを生成し、背景層の前景オブジェクトのエッジの背後にあるコンテンツを埋める。
論文 参考訳(メタデータ) (2020-04-23T17:59:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。