論文の概要: Layout-Guided Novel View Synthesis from a Single Indoor Panorama

• arxiv url: http://arxiv.org/abs/2103.17022v1
• Date: Wed, 31 Mar 2021 12:12:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-01 14:31:58.000864
• Title: Layout-Guided Novel View Synthesis from a Single Indoor Panorama
• Title（参考訳）: 単一屋内パノラマからのレイアウト誘導型新規ビュー合成
• Authors: Jiale Xu and Jia Zheng and Yanyu Xu and Rui Tang and Shenghua Gao
• Abstract要約: 我々は1つの屋内パノラマから新しいビューを生成する最初の試みを行う。 CNNは、深い特徴を抽出し、ソースビュー画像から深度マップを推定するために使用される。 また、生成したターゲットビュー画像の部屋配置を制約し、幾何的整合性を強制する。
• 参考スコア（独自算出の注目度）: 41.627708450356614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing view synthesis methods mainly focus on the perspective images and have shown promising results. However, due to the limited field-of-view of the pinhole camera, the performance quickly degrades when large camera movements are adopted. In this paper, we make the first attempt to generate novel views from a single indoor panorama and take the large camera translations into consideration. To tackle this challenging problem, we first use Convolutional Neural Networks (CNNs) to extract the deep features and estimate the depth map from the source-view image. Then, we leverage the room layout prior, a strong structural constraint of the indoor scene, to guide the generation of target views. More concretely, we estimate the room layout in the source view and transform it into the target viewpoint as guidance. Meanwhile, we also constrain the room layout of the generated target-view images to enforce geometric consistency. To validate the effectiveness of our method, we further build a large-scale photo-realistic dataset containing both small and large camera translations. The experimental results on our challenging dataset demonstrate that our method achieves state-of-the-art performance. The project page is at https://github.com/bluestyle97/PNVS.
• Abstract（参考訳）: 既存のビュー合成法は主に視点画像に焦点をあて、有望な結果を示した。 しかし、ピンホールカメラの視野が限られているため、大きなカメラの動きを採用すると性能が急速に低下する。 本稿では,屋内パノラマ1台から新しいビューを生成し,大規模なカメラ翻訳を考慮に入れた最初の試みを行う。 この課題に対処するために、まず畳み込みニューラルネットワーク(CNN)を用いて、深い特徴を抽出し、ソースビューイメージから深度マップを推定する。 そこで,室内環境の強い構造的制約である事前の部屋配置を利用して,ターゲットビューの生成を誘導する。 より具体的には、ソースビューの部屋配置を推定し、誘導として対象視点に変換する。 また,生成したターゲットビュー画像の空間配置を制約し,幾何的整合性を実現する。 提案手法の有効性を検証するため,小型・大型のカメラ翻訳を含む大規模写真リアルなデータセットをさらに構築する。 実験結果から,本手法が最先端性能を実現することを示す。 プロジェクトページはhttps://github.com/bluestyle97/pnvs。

関連論文リスト

• Pano2Room: Novel View Synthesis from a Single Indoor Panorama [20.262621556667852]
  Pano2Roomは、1枚のパノラマ画像から高品質な3D屋内シーンを自動的に再構築するように設計されている。 鍵となるアイデアは、最初に入力パノラマから予備メッシュを構築し、パノラマRGBDインペイントを使用して反復的にこのメッシュを洗練することである。 精巧なメッシュは3次元ガウス散乱場に変換され、収集された擬似ノベルビューで訓練される。
  論文  参考訳（メタデータ） (2024-08-21T08:19:12Z)
• SPVLoc: Semantic Panoramic Viewport Matching for 6D Camera Localization in Unseen Environments [4.2603120588176635]
  SPVLocは、クエリ画像の6Dカメラポーズを正確に決定するグローバル屋内ローカライズ手法である。 本手法では、視点カメラのビューポートをローカライズするために、新しいマッチング手法を用いる。 技術手法と比較して位置決め精度が優れており、カメラのポーズの自由度も高いと推定される。
  論文  参考訳（メタデータ） (2024-04-16T12:55:15Z)
• MetaCap: Meta-learning Priors from Multi-View Imagery for Sparse-view Human Performance Capture and Rendering [91.76893697171117]
  そこで本研究では, 高精度かつ高品質な幾何復元と新規なビュー合成手法を提案する。 私たちのキーとなるアイデアは、低解像度のマルチビュービデオからのみ、放射界の重みをメタラーニングすることです。 新しいデータセットWildDynaCap(ワイルドダイナキャップ)は、密集したカメラドームと細いカメラリグの両方に収まる被写体を含んでいる。
  論文  参考訳（メタデータ） (2024-03-27T17:59:54Z)
• GasMono: Geometry-Aided Self-Supervised Monocular Depth Estimation for Indoor Scenes [47.76269541664071]
  本稿では,フレームと低テクスチャの大きな回転に起因する屋内シーンにおける自己教師型単眼深度推定の課題に対処する。 モノクラーシーケンスから粗いカメラポーズを多視点形状で取得し,前者に対応する。 低テクスチャの効果を和らげるために、視覚変換器のグローバルな推論と過度に適合する反復的な自己蒸留機構を組み合わせる。
  論文  参考訳（メタデータ） (2023-09-26T17:59:57Z)
• Free View Synthesis [100.86844680362196]
  本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。 本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
  論文  参考訳（メタデータ） (2020-08-12T18:16:08Z)
• Shape and Viewpoint without Keypoints [63.26977130704171]
  本研究では,1枚の画像から3次元形状,ポーズ,テクスチャを復元する学習フレームワークを提案する。 我々は,3次元形状,マルチビュー,カメラ視点,キーポイントの監督なしに画像収集を訓練した。 我々は、最先端のカメラ予測結果を取得し、オブジェクト間の多様な形状やテクスチャを予測することを学べることを示す。
  論文  参考訳（メタデータ） (2020-07-21T17:58:28Z)
• Single-View View Synthesis with Multiplane Images [64.46556656209769]
  深層学習を応用して、既知の視点で2つ以上の入力画像が与えられた多面体画像を生成する。 本手法は,単一画像入力から直接多面体画像を予測することを学習する。 さらに、適切な深度マップを生成し、背景層の前景オブジェクトのエッジの背後にあるコンテンツを埋める。
  論文  参考訳（メタデータ） (2020-04-23T17:59:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。