論文の概要: FHGS: Feature-Homogenized Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2505.19154v1
• Date: Sun, 25 May 2025 14:08:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.939574
• Title: FHGS: Feature-Homogenized Gaussian Splatting
• Title（参考訳）: FHGS: 特徴均質化ガウススプラッティング
• Authors: Q. G. Duan, Benyun Zhao, Mingqiao Han Yijun Huang, Ben M. Chen,
• Abstract要約: $textitFHGS$は物理モデルにインスパイアされた新しい3D機能融合フレームワークである。 3DGSのリアルタイムレンダリング効率を保ちながら、事前訓練されたモデルから3Dシーンへの任意の2D特徴の高精度マッピングを実現することができる。
• 参考スコア（独自算出の注目度）: 7.238124816235862
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Scene understanding based on 3D Gaussian Splatting (3DGS) has recently achieved notable advances. Although 3DGS related methods have efficient rendering capabilities, they fail to address the inherent contradiction between the anisotropic color representation of gaussian primitives and the isotropic requirements of semantic features, leading to insufficient cross-view feature consistency. To overcome the limitation, we proposes $\textit{FHGS}$ (Feature-Homogenized Gaussian Splatting), a novel 3D feature fusion framework inspired by physical models, which can achieve high-precision mapping of arbitrary 2D features from pre-trained models to 3D scenes while preserving the real-time rendering efficiency of 3DGS. Specifically, our $\textit{FHGS}$ introduces the following innovations: Firstly, a universal feature fusion architecture is proposed, enabling robust embedding of large-scale pre-trained models' semantic features (e.g., SAM, CLIP) into sparse 3D structures. Secondly, a non-differentiable feature fusion mechanism is introduced, which enables semantic features to exhibit viewpoint independent isotropic distributions. This fundamentally balances the anisotropic rendering of gaussian primitives and the isotropic expression of features; Thirdly, a dual-driven optimization strategy inspired by electric potential fields is proposed, which combines external supervision from semantic feature fields with internal primitive clustering guidance. This mechanism enables synergistic optimization of global semantic alignment and local structural consistency. More interactive results can be accessed on: https://fhgs.cuastro.org/.
• Abstract（参考訳）: 3D Gaussian Splatting(3DGS)に基づくシーン理解は,近年顕著な進歩を遂げている。 3DGS関連の手法は効率的なレンダリング機能を備えているが、ガウス原始体の異方性色表現と意味的特徴の等方性要件との固有の矛盾に対処できず、クロスビュー特徴の整合性は不十分である。 物理モデルに触発された新しい3次元特徴融合フレームワークである$\textit{FHGS}$ (Feature-Homogenized Gaussian Splatting)を提案する。 まず、大規模な事前訓練されたモデルのセマンティック機能(SAM、CLIPなど)をスパース3D構造に堅牢な埋め込みを可能にする、普遍的な機能融合アーキテクチャが提案されます。 第二に、非微分不可能な特徴融合機構を導入し、意味的特徴が視点独立等方性分布を示すことを可能にする。 これはガウス的プリミティブの異方的レンダリングと特徴の等方的表現とを根本的にバランスさせ、第3に、電位場にインスパイアされた二重駆動最適化戦略を提案し、セマンティックな特徴場からの外部監督と内部のプリミティブクラスタリングガイダンスを組み合わせた。 このメカニズムは、大域的な意味的アライメントと局所的な構造的一貫性の相乗的最適化を可能にする。 よりインタラクティブな結果は、https://fhgs.cuastro.org/.comでアクセスできます。

関連論文リスト

• GSFF-SLAM: 3D Semantic Gaussian Splatting SLAM via Feature Field [17.57215792490409]
  GSFF-SLAMは3次元ガウススプラッティングに基づく新しい意味論的SLAMシステムである。 提案手法は, 様々な2次元先行情報, 特にスパース信号と雑音信号を用いた意味的再構成を支援する。 2D基底真理を利用する場合、GSFF-SLAMは95.03% mIoUで最先端のセマンティックセグメンテーション性能を達成する。
  論文  参考訳（メタデータ） (2025-04-28T01:21:35Z)
• econSG: Efficient and Multi-view Consistent Open-Vocabulary 3D Semantic Gaussians [56.85804719947]
  3DGSを用いたオープン語彙セマンティックセマンティックセグメンテーションのためのeconSGを提案する。 筆者らのeconSGは,既存手法と比較して,4つのベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2025-04-08T13:12:31Z)
• Bootstraping Clustering of Gaussians for View-consistent 3D Scene Understanding [59.51535163599723]
  FreeGSは、教師なしセマンティック組み込み3DGSフレームワークで、2Dラベルを必要とせずに、ビュー一貫性のある3Dシーン理解を実現する。 FreeGSは複雑なデータ前処理のワークロードを避けながら、最先端のメソッドと互換性がある。
  論文  参考訳（メタデータ） (2024-11-29T08:52:32Z)
• Geometric Algebra Planes: Convex Implicit Neural Volumes [70.12234371845445]
  GA-Planes はスパース低ランク係数と低分解能行列と等価であることを示す。 また,GA-Planeは既存の表現にも適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-20T18:21:58Z)
• Implicit Gaussian Splatting with Efficient Multi-Level Tri-Plane Representation [45.582869951581785]
  Implicit Gaussian Splatting (IGS)は、明示的なポイントクラウドと暗黙的な機能埋め込みを統合する革新的なハイブリッドモデルである。 本稿では,空間正規化を具体化したレベルベースプログレッシブトレーニング手法を提案する。 我々のアルゴリズムは、数MBしか使用せず、ストレージ効率とレンダリング忠実さを効果的にバランスして、高品質なレンダリングを実現することができる。
  論文  参考訳（メタデータ） (2024-08-19T14:34:17Z)
• CLIP-GS: CLIP-Informed Gaussian Splatting for Real-time and View-consistent 3D Semantic Understanding [32.76277160013881]
  コントラスト言語画像事前学習(CLIP)のセマンティクスをガウススプラッティングに統合するCLIP-GSを提案する。 SACはオブジェクト内の固有の統一意味論を利用して、3Dガウスのコンパクトで効果的な意味表現を学ぶ。 また,3次元モデルから得られた多視点一貫性を利用して,3次元コヒーレント自己学習(3DCS)戦略を導入する。
  論文  参考訳（メタデータ） (2024-04-22T15:01:32Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。