論文の概要: Semantics-Controlled Gaussian Splatting for Outdoor Scene Reconstruction and Rendering in Virtual Reality

• arxiv url: http://arxiv.org/abs/2409.15959v1
• Date: Tue, 24 Sep 2024 10:44:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 07:51:56.979669
• Title: Semantics-Controlled Gaussian Splatting for Outdoor Scene Reconstruction and Rendering in Virtual Reality
• Title（参考訳）: バーチャルリアリティにおける屋外シーン再構成とレンダリングのためのセマンティックス制御ガウススメッティング
• Authors: Hannah Schieber, Jacob Young, Tobias Langlotz, Stefanie Zollmann, Daniel Roth,
• Abstract要約: Gaussian Splatting (GS)はバーチャルリアリティー(VR)における新しいビュー合成とリアルタイムレンダリングを可能にする シーンエンハンスメントや3Dアセットを組み込むためには、クラスごとのガウスのセグメンテーションが不可欠である。 本研究ではセグメンテーション駆動型GSアプローチであるSemantics-Controlled GS (SCGS)を提案する。
• 参考スコア（独自算出の注目度）: 9.91168705662535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advancements in 3D rendering like Gaussian Splatting (GS) allow novel view synthesis and real-time rendering in virtual reality (VR). However, GS-created 3D environments are often difficult to edit. For scene enhancement or to incorporate 3D assets, segmenting Gaussians by class is essential. Existing segmentation approaches are typically limited to certain types of scenes, e.g., ''circular'' scenes, to determine clear object boundaries. However, this method is ineffective when removing large objects in non-''circling'' scenes such as large outdoor scenes. We propose Semantics-Controlled GS (SCGS), a segmentation-driven GS approach, enabling the separation of large scene parts in uncontrolled, natural environments. SCGS allows scene editing and the extraction of scene parts for VR. Additionally, we introduce a challenging outdoor dataset, overcoming the ''circling'' setup. We outperform the state-of-the-art in visual quality on our dataset and in segmentation quality on the 3D-OVS dataset. We conducted an exploratory user study, comparing a 360-video, plain GS, and SCGS in VR with a fixed viewpoint. In our subsequent main study, users were allowed to move freely, evaluating plain GS and SCGS. Our main study results show that participants clearly prefer SCGS over plain GS. We overall present an innovative approach that surpasses the state-of-the-art both technically and in user experience.
• Abstract（参考訳）: Gaussian Splatting (GS)のような3Dレンダリングの進歩は、バーチャルリアリティ(VR)における新しいビュー合成とリアルタイムレンダリングを可能にする。 しかし、GSで作られた3D環境は編集が難しいことが多い。 シーンエンハンスメントや3Dアセットを組み込むためには、クラスごとのガウスのセグメンテーションが不可欠である。 既存のセグメンテーションアプローチは通常、明確なオブジェクト境界を決定するために、特定のタイプのシーンに限られる。 しかし、大規模な屋外シーンなど「周囲」以外のシーンで大物を取り除く場合、この方法は効果がない。 本研究ではセグメンテーション駆動型GSアプローチであるSemantics-Controlled GS (SCGS)を提案する。 SCGSは、VR用のシーン編集とシーン部分の抽出を可能にする。 さらに、'circling'セットアップを克服する、挑戦的な屋外データセットも導入しています。 3D-OVSデータセットでは、データセットの視覚的品質とセグメンテーション品質で、最先端のパフォーマンスを実現しています。 我々は,VRにおける360度ビデオ,プレーンGS,SCGSを固定視点で比較し,探索的ユーザスタディを行った。 その後のメインスタディでは、ユーザーは自由に移動することができ、プレーンGSとSCGSを評価した。 本研究の主目的は, SCGS よりも SCGS が好まれることである。 われわれは、技術的にもユーザーエクスペリエンスにおいても最先端のアプローチを超越した革新的アプローチを総合的に提示する。

関連論文リスト

• VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points [4.962171160815189]
  仮想現実システムの高性能な要求は、3DGSのような高速なシーン表現を活用する上で課題となる。 これらの障害に対する有望な解決策として、ファベレーテッドレンダリングを提案する。 本手法では, 周辺視の3DGSのスムーズなレンダリングと融合した, 周辺領域の神経点レンダリングのシャープで詳細な出力を生かした, 仮想現実感のための新たなファブリックレンダリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-23T14:54:48Z)
• GigaGS: Scaling up Planar-Based 3D Gaussians for Large Scene Surface Reconstruction [71.08607897266045]
  3D Gaussian Splatting (3DGS) は新規なビュー合成において有望な性能を示した。 本研究は,大規模な景観表面再構築の課題に取り組むための最初の試みである。 3DGSを用いた大規模シーンのための高品質な表面再構成手法であるGigaGSを提案する。
  論文  参考訳（メタデータ） (2024-09-10T17:51:39Z)
• HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
  RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。 我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。 提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
  論文  参考訳（メタデータ） (2024-03-19T13:39:05Z)
• BerfScene: Bev-conditioned Equivariant Radiance Fields for Infinite 3D Scene Generation [96.58789785954409]
  本研究では,同変放射場と鳥眼視図のガイダンスを組み込んだ実用的で効率的な3次元表現を提案する。 局所的なシーンを合成し、スムーズな一貫性で縫い合わせることで、大規模で無限スケールの3Dシーンを作ります。
  論文  参考訳（メタデータ） (2023-12-04T18:56:10Z)
• DORSal: Diffusion for Object-centric Representations of Scenes et al [28.181157214966493]
  最近の3Dシーン理解の進歩は、多様なシーンの大きなデータセットにわたる表現のスケーラブルな学習を可能にする。 本研究では,凍結したオブジェクト中心のスロットベースのシーン表現を条件とした3次元シーン生成にビデオ拡散アーキテクチャを適用したDORSalを提案する。
  論文  参考訳（メタデータ） (2023-06-13T18:32:35Z)
• CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
  シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。 パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。 生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
  論文  参考訳（メタデータ） (2023-05-25T17:39:13Z)
• DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis [90.32352050266104]
  DisCoSceneは高品質で制御可能なシーン合成のための3Daware生成モデルである。 グローバルな局所的差別を伴う2次元画像のみを学習することで、シーン全体をオブジェクト中心の生成フィールドに分解する。 挑戦的な屋外データセットを含む多くのシーンデータセットで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:59:59Z)
• Decoupled Spatial Temporal Graphs for Generic Visual Grounding [120.66884671951237]
  この研究は、与えられた表現を満たすすべてのオブジェクトをマイニングすることを目的とした、より一般的な設定、一般的な視覚接地を調査します。 我々は,(1)空間表現と時間表現を分解し,すべての側面の手がかりを収集し,正確な接地を行う,単純かつ効果的なアプローチであるdstgを提案する。 さらに、遠距離ビデオによる参照ケースに挑戦する、新しいビデオデータセットであるGVGについて詳しく述べる。
  論文  参考訳（メタデータ） (2021-03-18T11:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。