論文の概要: SPC-GS: Gaussian Splatting with Semantic-Prompt Consistency for Indoor Open-World Free-view Synthesis from Sparse Inputs

• arxiv url: http://arxiv.org/abs/2503.12535v1
• Date: Sun, 16 Mar 2025 14:59:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:30:57.775710
• Title: SPC-GS: Gaussian Splatting with Semantic-Prompt Consistency for Indoor Open-World Free-view Synthesis from Sparse Inputs
• Title（参考訳）: SPC-GS:スパース入力からのオープンワールド自由ビュー合成のためのセマンティック・プロンプト整合性を持つガウス的スプラッティング
• Authors: Guibiao Liao, Qing Li, Zhenyu Bao, Guoping Qiu, Kanglin Liu,
• Abstract要約: 3Dガウススプラッティングを用いた屋内自由世界自由視合成法は,高密度入力画像で顕著な性能を示した。 スパース入力を用いたオープンワールド自由視点合成のためのシーンベースガウス初期化(SGI)とセマンティックプロンプト一貫性(SPC)正規化を提案する。
• 参考スコア（独自算出の注目度）: 16.802397237672572
• License:
• Abstract: 3D Gaussian Splatting-based indoor open-world free-view synthesis approaches have shown significant performance with dense input images. However, they exhibit poor performance when confronted with sparse inputs, primarily due to the sparse distribution of Gaussian points and insufficient view supervision. To relieve these challenges, we propose SPC-GS, leveraging Scene-layout-based Gaussian Initialization (SGI) and Semantic-Prompt Consistency (SPC) Regularization for open-world free view synthesis with sparse inputs. Specifically, SGI provides a dense, scene-layout-based Gaussian distribution by utilizing view-changed images generated from the video generation model and view-constraint Gaussian points densification. Additionally, SPC mitigates limited view supervision by employing semantic-prompt-based consistency constraints developed by SAM2. This approach leverages available semantics from training views, serving as instructive prompts, to optimize visually overlapping regions in novel views with 2D and 3D consistency constraints. Extensive experiments demonstrate the superior performance of SPC-GS across Replica and ScanNet benchmarks. Notably, our SPC-GS achieves a 3.06 dB gain in PSNR for reconstruction quality and a 7.3% improvement in mIoU for open-world semantic segmentation.
• Abstract（参考訳）: 3Dガウススプラッティングを用いた屋内自由世界自由視合成法は,高密度入力画像で顕著な性能を示した。 しかし、粗い入力に直面するとパフォーマンスが悪く、主にガウス点の粗い分布と視界の監督が不十分なためである。 これらの課題を解消するために,SPC-GSを提案する。SGI(Scene-layout-based Gaussian Initialization)とSPC(Semantic-Prompt Consistency)を利用して,スパース入力によるオープンワールド自由ビュー合成を行う。 具体的には、映像生成モデルから生成されたビュー変化画像とビュー制約ガウス点の密度化を利用して、シーンレイアウトに基づく濃密なガウス分布を提供する。 さらに、SPCはSAM2によって開発されたセマンティックプロンプトベースの一貫性制約を利用することで、限られた視点の監視を緩和する。 このアプローチは、トレーニングビューから利用可能なセマンティクスを活用し、インストラクティブプロンプトとして機能し、2Dと3Dの一貫性の制約のある新しいビューで視覚的に重複する領域を最適化する。 大規模な実験は、ReplicaとScanNetベンチマークにおけるSPC-GSの優れたパフォーマンスを示している。 特に,我々のSPC-GSは,PSNRの再現品質が3.06dB向上し,mIoUのオープンワールドセマンティックセマンティックセグメンテーションが7.3%向上した。

関連論文リスト

• See In Detail: Enhancing Sparse-view 3D Gaussian Splatting with Local Depth and Semantic Regularization [14.239772421978373]
  3次元ガウス散乱(3DGS)は、新規なビュー合成において顕著な性能を示した。 しかし、そのレンダリング品質は、粗いインフットビューによって劣化し、歪んだコンテンツと細部が減少する。 本稿では,事前情報を取り入れたスパースビュー3DGS法を提案する。 LLFFデータセット上でPSNRを最大0.4dB改善し、最先端の新規ビュー合成手法より優れる。
  論文  参考訳（メタデータ） (2025-01-20T14:30:38Z)
• G2SDF: Surface Reconstruction from Explicit Gaussians with Implicit SDFs [84.07233691641193]
  G2SDFはニューラル暗黙の符号付き距離場をガウススプラッティングフレームワークに統合する新しいアプローチである。 G2SDFは, 3DGSの効率を維持しつつ, 従来よりも優れた品質を実現する。
  論文  参考訳（メタデータ） (2024-11-25T20:07:07Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Binocular-Guided 3D Gaussian Splatting with View Consistency for Sparse View Synthesis [53.702118455883095]
  本稿では,ガウススプラッティングを用いたスパースビューから新しいビューを合成する新しい手法を提案する。 私たちのキーとなるアイデアは、両眼画像間の両眼立体的一貫性に固有の自己超越を探索することにあります。 我々の手法は最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T15:10:27Z)
• MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
  3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。 既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。 本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
  論文  参考訳（メタデータ） (2024-10-15T08:39:05Z)
• Optimizing 3D Gaussian Splatting for Sparse Viewpoint Scene Reconstruction [11.840097269724792]
  3D Gaussian Splatting (3DGS)は3Dシーン表現の有望なアプローチとして登場し、Neural Radiance Fields (NeRF)と比較して計算オーバーヘッドの低減を実現している。 SVS-GSは,3次元ガウス平滑化フィルタを統合して人工物を抑制する,スパースビューポイントシーン再構築のための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-09-05T03:18:04Z)
• LoopSparseGS: Loop Based Sparse-View Friendly Gaussian Splatting [18.682864169561498]
  LoopSparseGSは、疎結合なビュー合成タスクのためのループベースの3DGSフレームワークである。 Sparse-Friended Smpling (SFS) 戦略を導入し,ガウス楕円体を過剰に処理し,画素誤差が大きくなった。 4つのデータセットの実験により、LoopSparseGSはスパース・インプット・ノベルビューの合成において既存の最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-01T03:26:50Z)
• FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
  FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。 ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-28T08:40:14Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。