論文の概要: 360-Degree Panorama Generation from Few Unregistered NFoV Images
- arxiv url: http://arxiv.org/abs/2308.14686v1
- Date: Mon, 28 Aug 2023 16:21:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 13:05:32.138553
- Title: 360-Degree Panorama Generation from Few Unregistered NFoV Images
- Title(参考訳): 未登録NFoV画像からの360度パノラマ生成
- Authors: Jionghao Wang, Ziyu Chen, Jun Ling, Rong Xie and Li Song
- Abstract要約: 360$circ$パノラマはコンピュータグラフィックスの環境光源として広く利用されている。
360ドル ドル タイムス 180ドル パノラマは 特殊で高価な装置のために 困難を招きます
パノディフと呼ばれる新しいパイプラインを提案し、パノラマを360ドル円で効率よく生成する。
- 参考スコア(独自算出の注目度): 16.05306624008911
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 360$^\circ$ panoramas are extensively utilized as environmental light sources
in computer graphics. However, capturing a 360$^\circ$ $\times$ 180$^\circ$
panorama poses challenges due to the necessity of specialized and costly
equipment, and additional human resources. Prior studies develop various
learning-based generative methods to synthesize panoramas from a single Narrow
Field-of-View (NFoV) image, but they are limited in alterable input patterns,
generation quality, and controllability. To address these issues, we propose a
novel pipeline called PanoDiff, which efficiently generates complete
360$^\circ$ panoramas using one or more unregistered NFoV images captured from
arbitrary angles. Our approach has two primary components to overcome the
limitations. Firstly, a two-stage angle prediction module to handle various
numbers of NFoV inputs. Secondly, a novel latent diffusion-based panorama
generation model uses incomplete panorama and text prompts as control signals
and utilizes several geometric augmentation schemes to ensure geometric
properties in generated panoramas. Experiments show that PanoDiff achieves
state-of-the-art panoramic generation quality and high controllability, making
it suitable for applications such as content editing.
- Abstract(参考訳): 360$^\circ$ Panoramasはコンピュータグラフィックスの環境光源として広く利用されている。
しかし、360$^\circ$\times$ 180$^\circ$ Panoramaを捕獲することは、特殊で費用のかかる機器と追加の人的資源を必要とするため、課題を引き起こす。
先行研究では、単一の狭視野画像(nfov)からパノラマを合成する様々な学習に基づく生成法を開発したが、それらは変化可能な入力パターン、生成品質、制御性に制限されている。
そこで我々は,任意の角度から撮影した1つ以上の未登録のnfov画像を用いて,360$^\circ$パノラマを効率的に生成する新しいパイプラインpanodiffを提案する。
このアプローチには、制限を克服する2つの主要なコンポーネントがあります。
まず、様々なNFoV入力を処理する2段階の角度予測モジュール。
第2に,不完全パノラマとテキストプロンプトを制御信号として用い,生成パノラマの幾何学的特性を確保するために幾何的拡張スキームを使用している。
パノディフは最新のパノラマ生成品質と高い制御性を実現し、コンテンツ編集などのアプリケーションに適していることを示す実験である。
関連論文リスト
- Scaled 360 layouts: Revisiting non-central panoramas [5.2178708158547025]
非中央パノラマを用いた室内環境の3次元レイアウト復元手法を提案する。
我々は、新しい幾何学的処理において、非中央プロジェクションシステムの特性を利用して、スケールしたレイアウトを復元する。
論文 参考訳(メタデータ) (2024-02-02T14:55:36Z) - PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。
本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。
PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
論文 参考訳(メタデータ) (2023-10-25T17:59:01Z) - PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline
Panoramas [54.4948540627471]
広帯域パノラマのための一般化可能な球面放射場パノGRFを提案する。
パノGRFは、視線画像に基づいて訓練された一般化可能な放射場とは異なり、パノラマからパースペクティブへの変換から情報損失を回避する。
複数のパノラマデータセットの結果は、パノGRFが最先端の一般化可能なビュー合成法よりも著しく優れていることを示している。
論文 参考訳(メタデータ) (2023-06-02T13:35:07Z) - PanoGen: Text-Conditioned Panoramic Environment Generation for
Vision-and-Language Navigation [96.8435716885159]
VLN(Vision-and-Language Navigation)は、エージェントが3D環境をナビゲートするために言語命令に従う必要がある。
VLNの主な課題のひとつは、トレーニング環境の可用性が限定されていることだ。
パノジェネレーション(PanoGen)は、テキストに条件付けされた多様なパノラマ環境を無限に生成できる生成方法である。
論文 参考訳(メタデータ) (2023-05-30T16:39:54Z) - Panoramic Image-to-Image Translation [37.9486466936501]
パノラマ画像変換(Pano-I2I)の課題に初めて取り組む。
この課題は、パノラマ画像の幾何学的歪みと、天候や時間といった様々な条件のパノラマ画像データセットが欠如しているために困難である。
ピンホール画像から参照するグローバルなスタイルを一貫して翻訳しながらパノラマ画像の構造を保存するパノラマ歪み認識型I2Iモデルを提案する。
論文 参考訳(メタデータ) (2023-04-11T04:08:58Z) - GPR-Net: Multi-view Layout Estimation via a Geometry-aware Panorama
Registration Network [44.06968418800436]
一対のパノラマからパノラマ登録とレイアウト推定を共同で学習する完全パノラマレイアウト推定フレームワークを提案する。
PSMNetに対する大きな改善は、新しいGeometry-aware Panorama Registration Network(GPR-Net)によるものである。
実験結果から,大規模な屋内パノラマデータセットZInDにおけるパノラマ登録とレイアウト推定の両面での最先端性能が得られた。
論文 参考訳(メタデータ) (2022-10-20T17:10:41Z) - Behind Every Domain There is a Shift: Adapting Distortion-aware Vision
Transformers for Panoramic Semantic Segmentation [73.54717196840907]
パノラマ的セマンティックセマンティックセグメンテーションは2つの重要な課題により未探索である。
まず,パノラマ意味論,すなわち Trans4PASS+ のための改良版 Transformer を提案する。
第2に,Multual Prototypeal Adaptation(MPA)戦略を強化する。
第3に、Pinhole-to-Panoramic(Pin2Pan)適応とは別に、9,080パノラマ画像を備えた新しいデータセット(SynPASS)を作成します。
論文 参考訳(メタデータ) (2022-07-25T00:42:38Z) - Moving in a 360 World: Synthesizing Panoramic Parallaxes from a Single
Panorama [13.60790015417166]
パララックス対応の新規パノラマビュー合成のための最初の手法であるOmniNeRF(OmniNeRF)を提案する。
仮想カメラの位置が異なる3次元世界と異なる2次元パノラマ座標の間を前後に投影することで、単一のRGB-Dパノラマを増大させることを提案する。
その結果、提案したOmniNeRFは、パララックス効果を示す新しいパノラマビューの説得力のあるレンダリングを実現する。
論文 参考訳(メタデータ) (2021-06-21T05:08:34Z) - Deep Multi Depth Panoramas for View Synthesis [70.9125433400375]
本稿では,複数のRGBD$alpha$panoramasからなる新しいシーン表現であるMultiple Depth Panorama(MDP)を提案する。
MDPは従来の3Dシーン表現よりもコンパクトであり、高品質で効率的な新しいビューレンダリングを可能にする。
論文 参考訳(メタデータ) (2020-08-04T20:29:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。