論文の概要: Splatter-360: Generalizable 360$^{\circ}$ Gaussian Splatting for Wide-baseline Panoramic Images

• arxiv url: http://arxiv.org/abs/2412.06250v1
• Date: Mon, 09 Dec 2024 06:58:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 23:11:44.253345
• Title: Splatter-360: Generalizable 360$^{\circ}$ Gaussian Splatting for Wide-baseline Panoramic Images
• Title（参考訳）: Splatter-360: Generalizable 360$^{\circ}$ Gaussian Splatting for Wide-baseline Panoramic Images
• Authors: Zheng Chen, Chenming Wu, Zhelun Shen, Chen Zhao, Weicai Ye, Haocheng Feng, Errui Ding, Song-Hai Zhang,
• Abstract要約: textitSplatter-360は、ワイドベースラインパノラマ画像を扱うための、エンドツーエンドの汎用3DGSフレームワークである。 パノラマ画像に固有の歪みを緩和する3D対応複投影エンコーダを提案する。 これにより、堅牢な3D対応機能表現とリアルタイムレンダリングが可能になる。
• 参考スコア（独自算出の注目度）: 52.48351378615057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wide-baseline panoramic images are frequently used in applications like VR and simulations to minimize capturing labor costs and storage needs. However, synthesizing novel views from these panoramic images in real time remains a significant challenge, especially due to panoramic imagery's high resolution and inherent distortions. Although existing 3D Gaussian splatting (3DGS) methods can produce photo-realistic views under narrow baselines, they often overfit the training views when dealing with wide-baseline panoramic images due to the difficulty in learning precise geometry from sparse 360$^{\circ}$ views. This paper presents \textit{Splatter-360}, a novel end-to-end generalizable 3DGS framework designed to handle wide-baseline panoramic images. Unlike previous approaches, \textit{Splatter-360} performs multi-view matching directly in the spherical domain by constructing a spherical cost volume through a spherical sweep algorithm, enhancing the network's depth perception and geometry estimation. Additionally, we introduce a 3D-aware bi-projection encoder to mitigate the distortions inherent in panoramic images and integrate cross-view attention to improve feature interactions across multiple viewpoints. This enables robust 3D-aware feature representations and real-time rendering capabilities. Experimental results on the HM3D~\cite{hm3d} and Replica~\cite{replica} demonstrate that \textit{Splatter-360} significantly outperforms state-of-the-art NeRF and 3DGS methods (e.g., PanoGRF, MVSplat, DepthSplat, and HiSplat) in both synthesis quality and generalization performance for wide-baseline panoramic images. Code and trained models are available at \url{https://3d-aigc.github.io/Splatter-360/}.
• Abstract（参考訳）: ワイドベースラインパノラマ画像は、労働コストとストレージニーズを最小化するために、VRやシミュレーションのようなアプリケーションで頻繁に使用される。 しかしながら、これらのパノラマ画像からの新規なビューをリアルタイムで合成することは、特にパノラマ画像の高分解能と固有の歪みのために重要な課題である。 既存の3Dガウススプラッティング(3DGS)法は、細いベースラインの下で写真リアリスティックなビューを生成することができるが、スパルス360$^{\circ}$ビューから正確な幾何学を学ぶのが難しいため、広いベースラインパノラマ画像を扱う場合、しばしばトレーニングビューに適合する。 本稿では,ワイドベースラインパノラマ画像を扱うために設計された,新しいエンドツーエンド汎用3DGSフレームワークであるtextit{Splatter-360}を提案する。 従来のアプローチとは異なり、 \textit{Splatter-360} は、球面スイープアルゴリズムによって球面コストボリュームを構築し、ネットワークの深さ知覚と幾何推定を強化することで、球面領域で直接マルチビューマッチングを行う。 さらに,パノラマ画像に固有の歪みを緩和し,複数視点にまたがる特徴的相互作用を改善するために,視野横断の注意を組み込む3D対応複射エンコーダを導入する。 これにより、堅牢な3D対応機能表現とリアルタイムレンダリングが可能になる。 HM3D~\cite{hm3d} と Replica~\cite{replica} の実験結果から, 広基パノラマ画像の合成品質と一般化性能の両方において, 最先端のNeRF法と3DGS法(例: PanoGRF, MVSplat, DepthSplat, HiSplat)を著しく上回った。 コードとトレーニングされたモデルは、 \url{https://3d-aigc.github.io/Splatter-360/} で利用可能である。

関連論文リスト

• You Need a Transition Plane: Bridging Continuous Panoramic 3D Reconstruction with Perspective Gaussian Splatting [57.44295803750027]
  本稿では,連続的なパノラマ3次元シーンをガウススプラッティングで橋渡しするための新しいフレームワークTPGSを提案する。 具体的には、個々の立方体面内で3Dガウスを最適化し、縫合されたパノラマ空間でそれらを微調整する。 屋内、屋外、エゴセントリック、ローミングのベンチマークデータセットの実験は、我々のアプローチが既存の最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-12T03:42:50Z)
• SceneDreamer360: Text-Driven 3D-Consistent Scene Generation with Panoramic Gaussian Splatting [53.32467009064287]
  テキスト駆動型3D一貫性シーン生成モデルSceneDreamer360を提案する。 提案手法は,テキスト駆動パノラマ画像生成モデルを3次元シーン生成の先行モデルとして活用する。 SceneDreamer360はそのパノラマ画像生成と3DGSにより、より高品質で空間的に整合性があり、視覚的に魅力的な3Dシーンを任意のテキストプロンプトから生成できることを示した。
  論文  参考訳（メタデータ） (2024-08-25T02:56:26Z)
• LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation [105.52153675890408]
  3D没入型シーン生成はコンピュータビジョンとグラフィックスにおいて難しいが重要な課題である。 Layerpano3Dは、単一のテキストプロンプトからフルビューで探索可能なパノラマ3Dシーンを生成するための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-23T17:50:23Z)
• DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
  テキストから3D 360$circ$のシーン生成パイプラインを提示する。 提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。 当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
  論文  参考訳（メタデータ） (2024-04-10T10:46:59Z)
• 360-GS: Layout-guided Panoramic Gaussian Splatting For Indoor Roaming [15.62029018680868]
  3D Gaussian Splatting (3D-GS) はリアルタイムおよびフォトリアリスティックレンダリングで注目されている。 限定的なパノラマ入力に対する360円のガウススプラッティングである360-GSを提案する。 360-GSではパノラマレンダリングが可能であり、新しいビュー合成におけるアーティファクトの少ない最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-01T16:52:21Z)
• PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline Panoramas [54.4948540627471]
  広帯域パノラマのための一般化可能な球面放射場パノGRFを提案する。 パノGRFは、視線画像に基づいて訓練された一般化可能な放射場とは異なり、パノラマからパースペクティブへの変換から情報損失を回避する。 複数のパノラマデータセットの結果は、パノGRFが最先端の一般化可能なビュー合成法よりも著しく優れていることを示している。
  論文  参考訳（メタデータ） (2023-06-02T13:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。