論文の概要: PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline Panoramas

• arxiv url: http://arxiv.org/abs/2306.01531v2
• Date: Wed, 6 Dec 2023 03:39:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 18:46:26.889456
• Title: PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline Panoramas
• Title（参考訳）: panogrf:広基線パノラマの一般化可能な球面放射場
• Authors: Zheng Chen, Yan-Pei Cao, Yuan-Chen Guo, Chen Wang, Ying Shan, Song-Hai Zhang
• Abstract要約: 広帯域パノラマのための一般化可能な球面放射場パノGRFを提案する。 パノGRFは、視線画像に基づいて訓練された一般化可能な放射場とは異なり、パノラマからパースペクティブへの変換から情報損失を回避する。 複数のパノラマデータセットの結果は、パノGRFが最先端の一般化可能なビュー合成法よりも著しく優れていることを示している。
• 参考スコア（独自算出の注目度）: 54.4948540627471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving an immersive experience enabling users to explore virtual environments with six degrees of freedom (6DoF) is essential for various applications such as virtual reality (VR). Wide-baseline panoramas are commonly used in these applications to reduce network bandwidth and storage requirements. However, synthesizing novel views from these panoramas remains a key challenge. Although existing neural radiance field methods can produce photorealistic views under narrow-baseline and dense image captures, they tend to overfit the training views when dealing with \emph{wide-baseline} panoramas due to the difficulty in learning accurate geometry from sparse $360^{\circ}$ views. To address this problem, we propose PanoGRF, Generalizable Spherical Radiance Fields for Wide-baseline Panoramas, which construct spherical radiance fields incorporating $360^{\circ}$ scene priors. Unlike generalizable radiance fields trained on perspective images, PanoGRF avoids the information loss from panorama-to-perspective conversion and directly aggregates geometry and appearance features of 3D sample points from each panoramic view based on spherical projection. Moreover, as some regions of the panorama are only visible from one view while invisible from others under wide baseline settings, PanoGRF incorporates $360^{\circ}$ monocular depth priors into spherical depth estimation to improve the geometry features. Experimental results on multiple panoramic datasets demonstrate that PanoGRF significantly outperforms state-of-the-art generalizable view synthesis methods for wide-baseline panoramas (e.g., OmniSyn) and perspective images (e.g., IBRNet, NeuRay).
• Abstract（参考訳）: 6自由度(6DoF)で仮想環境を探索できる没入型体験を実現することは、仮想現実(VR)のような様々なアプリケーションに不可欠である。 広帯域パノラマは、ネットワーク帯域幅とストレージ要求を減らすために一般的に使用される。 しかし、これらのパノラマから新しい視点を合成することは重要な課題である。 既存のニューラルラディアンス場法は、細いベースラインと密集したイメージキャプチャーの下でフォトリアリスティックなビューを生成することができるが、スパース360^{\circ}$ビューから正確な幾何学を学ぶのが難しいため、 'emph{wide-baseline} panoramas' を扱う場合、トレーニングビューに適合する傾向にある。 この問題に対処するため,我々は,360^{\circ}$シーンプリエントを含む球面ラミアンス場を構成する広基線パノラマに対して,一般化可能な球面ラミアンスフィールドであるpanogrfを提案する。 パースペクティブ画像で訓練された一般化された放射輝度場とは異なり、パノラマからパースペクティブへの変換による情報損失を回避し、球面投影に基づく各パノラマ視点からの3dサンプル点の形状と外観の特徴を直接集約する。 さらに、パノラマの一部の領域は1つの視点でしか見えず、他の領域からは広いベースライン設定で見えないため、パノラマは360^{\circ}$単眼深度を球面深度推定に組み込んで幾何学的特徴を改善する。 複数のパノラマデータセットの実験的結果は、panogrfが広帯域パノラマ(例えばomnisyn)とパースペクティブ画像(例えばibrnet、neuray)の最先端の汎用ビュー合成法を大幅に上回っていることを示している。

関連論文リスト

• DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
  本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。 DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:57:02Z)
• LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation [105.52153675890408]
  3D没入型シーン生成はコンピュータビジョンとグラフィックスにおいて難しいが重要な課題である。 LayerPano3Dは、単一のテキストプロンプトからフルビューで探索可能なパノラマ3Dシーンを生成するための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-23T17:50:23Z)
• PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
  PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。 本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。 PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
  論文  参考訳（メタデータ） (2023-10-25T17:59:01Z)
• 360-Degree Panorama Generation from Few Unregistered NFoV Images [16.05306624008911]
  360$circ$パノラマはコンピュータグラフィックスの環境光源として広く利用されている。 360ドル ドル タイムス 180ドル パノラマは 特殊で高価な装置のために 困難を招きます パノディフと呼ばれる新しいパイプラインを提案し、パノラマを360ドル円で効率よく生成する。
  論文  参考訳（メタデータ） (2023-08-28T16:21:51Z)
• OmniSyn: Synthesizing 360 Videos with Wide-baseline Panoramas [27.402727637562403]
  GoogleストリートビューとBingストリートサイドは、大量のパノラマのコレクションを備えた没入型地図を提供している。 これらのパノラマは、取得した経路に沿って狭い間隔でしか利用できないため、ナビゲーション中に視覚的不連続が生じる。 ワイドベースラインパノラマ間の360度視光合成のための新しいパイプラインであるOmniSynを提案する。
  論文  参考訳（メタデータ） (2022-02-17T16:44:17Z)
• Moving in a 360 World: Synthesizing Panoramic Parallaxes from a Single Panorama [13.60790015417166]
  パララックス対応の新規パノラマビュー合成のための最初の手法であるOmniNeRF(OmniNeRF)を提案する。 仮想カメラの位置が異なる3次元世界と異なる2次元パノラマ座標の間を前後に投影することで、単一のRGB-Dパノラマを増大させることを提案する。 その結果、提案したOmniNeRFは、パララックス効果を示す新しいパノラマビューの説得力のあるレンダリングを実現する。
  論文  参考訳（メタデータ） (2021-06-21T05:08:34Z)
• Deep Multi Depth Panoramas for View Synthesis [70.9125433400375]
  本稿では,複数のRGBD$alpha$panoramasからなる新しいシーン表現であるMultiple Depth Panorama(MDP)を提案する。 MDPは従来の3Dシーン表現よりもコンパクトであり、高品質で効率的な新しいビューレンダリングを可能にする。
  論文  参考訳（メタデータ） (2020-08-04T20:29:15Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。