論文の概要: 360-GS: Layout-guided Panoramic Gaussian Splatting For Indoor Roaming
- arxiv url: http://arxiv.org/abs/2402.00763v1
- Date: Thu, 1 Feb 2024 16:52:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 14:26:04.386374
- Title: 360-GS: Layout-guided Panoramic Gaussian Splatting For Indoor Roaming
- Title（参考訳）: 360-gs: 屋内ローミングのためのレイアウト誘導パノラマガウスプレート
- Authors: Jiayang Bai, Letian Huang, Jie Guo, Wen Gong, Yuanqi Li, Yanwen Guo
- Abstract要約: 3D Gaussian Splatting (3D-GS) はリアルタイムおよびフォトリアリスティックレンダリングで注目されている。
限定的なパノラマ入力に対する360円のガウススプラッティングである360-GSを提案する。
360-GSではパノラマレンダリングが可能であり、新しいビュー合成におけるアーティファクトの少ない最先端の手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 15.62029018680868
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D Gaussian Splatting (3D-GS) has recently attracted great attention with
real-time and photo-realistic renderings. This technique typically takes
perspective images as input and optimizes a set of 3D elliptical Gaussians by
splatting them onto the image planes, resulting in 2D Gaussians. However,
applying 3D-GS to panoramic inputs presents challenges in effectively modeling
the projection onto the spherical surface of ${360^\circ}$ images using 2D
Gaussians. In practical applications, input panoramas are often sparse, leading
to unreliable initialization of 3D Gaussians and subsequent degradation of
3D-GS quality. In addition, due to the under-constrained geometry of
texture-less planes (e.g., walls and floors), 3D-GS struggles to model these
flat regions with elliptical Gaussians, resulting in significant floaters in
novel views. To address these issues, we propose 360-GS, a novel $360^{\circ}$
Gaussian splatting for a limited set of panoramic inputs. Instead of splatting
3D Gaussians directly onto the spherical surface, 360-GS projects them onto the
tangent plane of the unit sphere and then maps them to the spherical
projections. This adaptation enables the representation of the projection using
Gaussians. We guide the optimization of 360-GS by exploiting layout priors
within panoramas, which are simple to obtain and contain strong structural
information about the indoor scene. Our experimental results demonstrate that
360-GS allows panoramic rendering and outperforms state-of-the-art methods with
fewer artifacts in novel view synthesis, thus providing immersive roaming in
indoor scenarios.
- Abstract（参考訳）: 3D Gaussian Splatting (3D-GS)は、最近リアルタイムおよびフォトリアリスティックレンダリングで大きな注目を集めている。
この技術は通常、視点像を入力として取り、画像平面上に配置することで3次元楕円ガウスの集合を最適化する。
しかし、パノラマ入力に3d-gsを適用すると、2次元ガウス系を用いて{360^\circ}$画像の球面への投影を効果的にモデル化することが困難となる。
実用的な応用では、入力パノラマは希薄であり、3Dガウスの信頼できない初期化とその後の3D-GSの品質低下につながる。
さらに、テクスチャのない平面(例えば壁や床)の非拘束な形状のため、3D-GSは楕円ガウスでこれらの平坦な領域をモデル化するのに苦労している。
この問題を解決するために、360-gsという、限られたパノラマ入力に対して360^{\circ}$ gaussian splattingを提案する。
3dガウスを球面に直接配置する代わりに、360-gsはそれらを単位球面の接面に投影し、それらを球面に投影する。
この適応はガウスを用いた射影の表現を可能にする。
室内シーンに関する強固な構造情報を得ることで,パノラマ内のレイアウトプリエントを活用し,360-gsの最適化を指導する。
実験結果から,360-gsではパノラマレンダリングが可能であり,新しい映像合成のアーチファクトの少ない最先端手法よりも優れており,屋内での没入ローミングが可能となった。
関連論文リスト
- 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。
3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。
本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
論文 参考訳（メタデータ） (2024-11-22T14:31:39Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
テキストから3D 360$circ$のシーン生成パイプラインを提示する。
提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。
当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
論文 参考訳（メタデータ） (2024-04-10T10:46:59Z) - Z-Splat: Z-Axis Gaussian Splatting for Camera-Sonar Fusion [20.464224937528222]
3Dシーンを再構成するためのコンピュータビジョンとグラフィックにおいて、微分可能な3D-ガウススプラッティング(GS)が顕著な技術として登場している。
GSはよく知られた「抜ける円錐」問題に悩まされており、深さ軸に沿った再建が不十分である。
RGBカメラデータとソナーデータを同時に利用する融合アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-06T17:23:43Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-26T17:21:24Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
論文 参考訳（メタデータ） (2024-02-24T17:22:15Z) - Identifying Unnecessary 3D Gaussians using Clustering for Fast Rendering of 3D Gaussian Splatting [2.878831747437321]
3D-GSは、速度と画質の両方においてニューラル放射場(NeRF)を上回った新しいレンダリングアプローチである。
本研究では,現在のビューをレンダリングするために,不要な3次元ガウスをリアルタイムに識別する計算量削減手法を提案する。
Mip-NeRF360データセットの場合、提案手法は2次元画像投影の前に平均して3次元ガウスの63%を排除し、ピーク信号対雑音比(PSNR)を犠牲にすることなく全体のレンダリングを約38.3%削減する。
提案されたアクセラレータは、GPUと比較して10.7倍のスピードアップも達成している。
論文 参考訳（メタデータ） (2024-02-21T14:16:49Z) - NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting
Guidance [59.08521048003009]
本稿では,3次元ガウススプラッティングから高精細な表面を復元する神経暗黙的表面再構成パイプラインを提案する。
3Dガウススプラッティングの利点は、詳細な構造を持つ高密度の点雲を生成することができることである。
我々は3次元ガウスを極端に薄くすることで、表面に近い中心を引っ張るスケール正則化器を導入する。
論文 参考訳（メタデータ） (2023-12-01T07:04:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。