論文の概要: Splatter-360: Generalizable 360$^{\circ}$ Gaussian Splatting for Wide-baseline Panoramic Images

• arxiv url: http://arxiv.org/abs/2412.06250v1
• Date: Mon, 09 Dec 2024 06:58:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:53:19.834755
• Title: Splatter-360: Generalizable 360$^{\circ}$ Gaussian Splatting for Wide-baseline Panoramic Images
• Title（参考訳）: Splatter-360: Generalizable 360$^{\circ}$ Gaussian Splatting for Wide-baseline Panoramic Images
• Authors: Zheng Chen, Chenming Wu, Zhelun Shen, Chen Zhao, Weicai Ye, Haocheng Feng, Errui Ding, Song-Hai Zhang,
• Abstract要約: textitSplatter-360は、ワイドベースラインパノラマ画像を扱うための、エンドツーエンドの汎用3DGSフレームワークである。 パノラマ画像に固有の歪みを緩和する3D対応複投影エンコーダを提案する。 これにより、堅牢な3D対応機能表現とリアルタイムレンダリングが可能になる。
• 参考スコア（独自算出の注目度）: 52.48351378615057
• License:
• Abstract: Wide-baseline panoramic images are frequently used in applications like VR and simulations to minimize capturing labor costs and storage needs. However, synthesizing novel views from these panoramic images in real time remains a significant challenge, especially due to panoramic imagery's high resolution and inherent distortions. Although existing 3D Gaussian splatting (3DGS) methods can produce photo-realistic views under narrow baselines, they often overfit the training views when dealing with wide-baseline panoramic images due to the difficulty in learning precise geometry from sparse 360$^{\circ}$ views. This paper presents \textit{Splatter-360}, a novel end-to-end generalizable 3DGS framework designed to handle wide-baseline panoramic images. Unlike previous approaches, \textit{Splatter-360} performs multi-view matching directly in the spherical domain by constructing a spherical cost volume through a spherical sweep algorithm, enhancing the network's depth perception and geometry estimation. Additionally, we introduce a 3D-aware bi-projection encoder to mitigate the distortions inherent in panoramic images and integrate cross-view attention to improve feature interactions across multiple viewpoints. This enables robust 3D-aware feature representations and real-time rendering capabilities. Experimental results on the HM3D~\cite{hm3d} and Replica~\cite{replica} demonstrate that \textit{Splatter-360} significantly outperforms state-of-the-art NeRF and 3DGS methods (e.g., PanoGRF, MVSplat, DepthSplat, and HiSplat) in both synthesis quality and generalization performance for wide-baseline panoramic images. Code and trained models are available at \url{https://3d-aigc.github.io/Splatter-360/}.
• Abstract（参考訳）: ワイドベースラインパノラマ画像は、労働コストとストレージニーズを最小化するために、VRやシミュレーションのようなアプリケーションで頻繁に使用される。 しかしながら、これらのパノラマ画像からの新規なビューをリアルタイムで合成することは、特にパノラマ画像の高分解能と固有の歪みのために重要な課題である。 既存の3Dガウススプラッティング(3DGS)法は、細いベースラインの下で写真リアリスティックなビューを生成することができるが、スパルス360$^{\circ}$ビューから正確な幾何学を学ぶのが難しいため、広いベースラインパノラマ画像を扱う場合、しばしばトレーニングビューに適合する。 本稿では,ワイドベースラインパノラマ画像を扱うために設計された,新しいエンドツーエンド汎用3DGSフレームワークであるtextit{Splatter-360}を提案する。 従来のアプローチとは異なり、 \textit{Splatter-360} は、球面スイープアルゴリズムによって球面コストボリュームを構築し、ネットワークの深さ知覚と幾何推定を強化することで、球面領域で直接マルチビューマッチングを行う。 さらに,パノラマ画像に固有の歪みを緩和し,複数視点にまたがる特徴的相互作用を改善するために,視野横断の注意を組み込む3D対応複射エンコーダを導入する。 これにより、堅牢な3D対応機能表現とリアルタイムレンダリングが可能になる。 HM3D~\cite{hm3d} と Replica~\cite{replica} の実験結果から, 広基パノラマ画像の合成品質と一般化性能の両方において, 最先端のNeRF法と3DGS法(例: PanoGRF, MVSplat, DepthSplat, HiSplat)を著しく上回った。 コードとトレーニングされたモデルは、 \url{https://3d-aigc.github.io/Splatter-360/} で利用可能である。

関連論文リスト

• SceneDreamer360: Text-Driven 3D-Consistent Scene Generation with Panoramic Gaussian Splatting [53.32467009064287]
  テキスト駆動型3D一貫性シーン生成モデルSceneDreamer360を提案する。 提案手法は,テキスト駆動パノラマ画像生成モデルを3次元シーン生成の先行モデルとして活用する。 SceneDreamer360はそのパノラマ画像生成と3DGSにより、より高品質で空間的に整合性があり、視覚的に魅力的な3Dシーンを任意のテキストプロンプトから生成できることを示した。
  論文  参考訳（メタデータ） (2024-08-25T02:56:26Z)
• FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
  FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。 ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-28T08:40:14Z)
• DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
  テキストから3D 360$circ$のシーン生成パイプラインを提示する。 提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。 当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
  論文  参考訳（メタデータ） (2024-04-10T10:46:59Z)
• 360-GS: Layout-guided Panoramic Gaussian Splatting For Indoor Roaming [15.62029018680868]
  3D Gaussian Splatting (3D-GS) はリアルタイムおよびフォトリアリスティックレンダリングで注目されている。 限定的なパノラマ入力に対する360円のガウススプラッティングである360-GSを提案する。 360-GSではパノラマレンダリングが可能であり、新しいビュー合成におけるアーティファクトの少ない最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-01T16:52:21Z)
• PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
  PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。 本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。 PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
  論文  参考訳（メタデータ） (2023-10-25T17:59:01Z)
• PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline Panoramas [54.4948540627471]
  広帯域パノラマのための一般化可能な球面放射場パノGRFを提案する。 パノGRFは、視線画像に基づいて訓練された一般化可能な放射場とは異なり、パノラマからパースペクティブへの変換から情報損失を回避する。 複数のパノラマデータセットの結果は、パノGRFが最先端の一般化可能なビュー合成法よりも著しく優れていることを示している。
  論文  参考訳（メタデータ） (2023-06-02T13:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。