論文の概要: TSGaussian: Semantic and Depth-Guided Target-Specific Gaussian Splatting from Sparse Views

• arxiv url: http://arxiv.org/abs/2412.10051v1
• Date: Fri, 13 Dec 2024 11:26:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:03:58.214185
• Title: TSGaussian: Semantic and Depth-Guided Target-Specific Gaussian Splatting from Sparse Views
• Title（参考訳）: TSGaussian:Sparse Viewsからのセマンティックおよびディープスガイド型ターゲット特異的ガウススプレイティング
• Authors: Liang Zhao, Zehan Bao, Yi Xie, Hong Chen, Yaohui Chen, Weifu Li,
• Abstract要約: TSGaussianは、新しいビュー合成タスクにおける幾何学的劣化を避けるために、意味的制約と深さ事前の制約を組み合わせる新しいフレームワークである。 提案手法は,バックグラウンドアロケーションを最小化しながら,指定された目標に対する計算資源の優先順位付けを行う。 大規模な実験により、TSGaussianは3つの標準データセット上で最先端の手法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 18.050257821756148
• License:
• Abstract: Recent advances in Gaussian Splatting have significantly advanced the field, achieving both panoptic and interactive segmentation of 3D scenes. However, existing methodologies often overlook the critical need for reconstructing specified targets with complex structures from sparse views. To address this issue, we introduce TSGaussian, a novel framework that combines semantic constraints with depth priors to avoid geometry degradation in challenging novel view synthesis tasks. Our approach prioritizes computational resources on designated targets while minimizing background allocation. Bounding boxes from YOLOv9 serve as prompts for Segment Anything Model to generate 2D mask predictions, ensuring semantic accuracy and cost efficiency. TSGaussian effectively clusters 3D gaussians by introducing a compact identity encoding for each Gaussian ellipsoid and incorporating 3D spatial consistency regularization. Leveraging these modules, we propose a pruning strategy to effectively reduce redundancy in 3D gaussians. Extensive experiments demonstrate that TSGaussian outperforms state-of-the-art methods on three standard datasets and a new challenging dataset we collected, achieving superior results in novel view synthesis of specific objects. Code is available at: https://github.com/leon2000-ai/TSGaussian.
• Abstract（参考訳）: ガウススプラッティングの最近の進歩は、パノプティクスとインタラクティブな3Dシーンのセグメンテーションを両立させ、この分野を著しく進歩させてきた。 しかし、既存の方法論は、スパースビューから複雑な構造を持つ特定のターゲットを再構築する重要な必要性をしばしば見落としている。 この問題に対処するために, TSGaussianという, 難解なビュー合成タスクにおける幾何学的劣化を避けるために, セマンティック制約と奥行き制約を組み合わせた新しいフレームワークを紹介した。 提案手法は,バックグラウンドアロケーションを最小化しながら,指定された目標に対する計算資源の優先順位付けを行う。 YOLOv9からのボックスのバウンディングは、セグメンション・任意のモデルが2Dマスク予測を生成し、セグメンテーション精度とコスト効率を確保するためのプロンプトとして機能する。 TSGaussianは、ガウス楕円体ごとにコンパクトなアイデンティティ符号化を導入し、3次元空間整合正則化を導入することで、3Dガウスを効果的にクラスタ化する。 これらのモジュールを活用することで、3Dガウスの冗長性を効果的に低減するプルーニング戦略を提案する。 大規模な実験により、TSGaussianは3つの標準データセットと、私たちが収集した新しい挑戦的なデータセットに対して最先端の手法より優れており、特定のオブジェクトの新規なビュー合成において優れた結果が得られている。 コードは、https://github.com/leon2000-ai/TSGaussian.comで入手できる。

関連論文リスト

• CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes [53.107474952492396]
  CityGaussianV2は大規模なシーン再構築のための新しいアプローチである。 分解段階の密度化・深さ回帰手法を実装し, ぼやけたアーチファクトを除去し, 収束を加速する。 本手法は, 視覚的品質, 幾何学的精度, ストレージ, トレーニングコストの両立を図っている。
  論文  参考訳（メタデータ） (2024-11-01T17:59:31Z)
• TranSplat: Generalizable 3D Gaussian Splatting from Sparse Multi-View Images with Transformers [14.708092244093665]
  我々は,正確な局所特徴マッチングを導くために,予測深度信頼マップを利用する戦略を開発する。 本稿では,RealEstate10KベンチマークとACIDベンチマークの両方で最高の性能を示すTranSplatという新しいG-3DGS手法を提案する。
  論文  参考訳（メタデータ） (2024-08-25T08:37:57Z)
• ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining [104.34751911174196]
  ShapeNetとModelNetを用いた大規模3DGSデータセットを構築した。 データセットのShapeSplatは、87のユニークなカテゴリから65Kのオブジェクトで構成されています。 textbftextitGaussian-MAEを導入し、ガウスパラメータからの表現学習の独特な利点を強調した。
  論文  参考訳（メタデータ） (2024-08-20T14:49:14Z)
• Implicit Gaussian Splatting with Efficient Multi-Level Tri-Plane Representation [45.582869951581785]
  Implicit Gaussian Splatting (IGS)は、明示的なポイントクラウドと暗黙的な機能埋め込みを統合する革新的なハイブリッドモデルである。 本稿では,空間正規化を具体化したレベルベースプログレッシブトレーニング手法を提案する。 我々のアルゴリズムは、数MBしか使用せず、ストレージ効率とレンダリング忠実さを効果的にバランスして、高品質なレンダリングを実現することができる。
  論文  参考訳（メタデータ） (2024-08-19T14:34:17Z)
• SA-GS: Semantic-Aware Gaussian Splatting for Large Scene Reconstruction with Geometry Constrain [43.80789481557894]
  セマンティック・アウェアな3Dガウス・スプラットを用いた細粒度3次元幾何再構成のためのSA-GSという新しい手法を提案する。 我々はSAMやDINOのような大きな視覚モデルに格納された事前情報を利用してセマンティックマスクを生成する。 我々は,新しい確率密度に基づく抽出法を用いて点雲を抽出し,ガウススプラッツを下流タスクに不可欠な点雲に変換する。
  論文  参考訳（メタデータ） (2024-05-27T08:15:10Z)
• CLIP-GS: CLIP-Informed Gaussian Splatting for Real-time and View-consistent 3D Semantic Understanding [32.76277160013881]
  コントラスト言語画像事前学習(CLIP)のセマンティクスをガウススプラッティングに統合するCLIP-GSを提案する。 SACはオブジェクト内の固有の統一意味論を利用して、3Dガウスのコンパクトで効果的な意味表現を学ぶ。 また,3次元モデルから得られた多視点一貫性を利用して,3次元コヒーレント自己学習(3DCS)戦略を導入する。
  論文  参考訳（メタデータ） (2024-04-22T15:01:32Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• Learning Segmented 3D Gaussians via Efficient Feature Unprojection for Zero-shot Neural Scene Segmentation [16.57158278095853]
  ゼロショットニューラルシーンセグメンテーションはシーン理解に有効な方法である。 既存のモデル、特に効率的な3Dガウス法は、コンパクトなセグメンテーションの結果を生み出すのに苦労している。 セグメンテーションフィールドとしてFeature UnprojectionとFusionモジュールを提案する。 本モデルでは,ゼロショットセマンティックセグメンテーションタスクのベースラインを超越し,最良ベースラインよりも10%mIoU向上を図っている。
  論文  参考訳（メタデータ） (2024-01-11T14:05:01Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)
• LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
  光ガウシアン(LightGaussian)は、3次元ガウシアンをよりコンパクトなフォーマットに変換する方法である。 ネットワーク・プルーニングにインスパイアされたLightGaussianは、ガウシアンをシーン再構築において最小限のグローバルな重要性で特定した。 LightGaussian は 3D-GS フレームワークで FPS を 144 から 237 に上げながら,平均 15 倍の圧縮率を達成する。
  論文  参考訳（メタデータ） (2023-11-28T21:39:20Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。