論文の概要: FHGS: Feature-Homogenized Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2505.19154v1
- Date: Sun, 25 May 2025 14:08:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:42.939574
- Title: FHGS: Feature-Homogenized Gaussian Splatting
- Title（参考訳）: FHGS: 特徴均質化ガウススプラッティング
- Authors: Q. G. Duan, Benyun Zhao, Mingqiao Han Yijun Huang, Ben M. Chen,
- Abstract要約: $textitFHGS$は物理モデルにインスパイアされた新しい3D機能融合フレームワークである。
3DGSのリアルタイムレンダリング効率を保ちながら、事前訓練されたモデルから3Dシーンへの任意の2D特徴の高精度マッピングを実現することができる。
- 参考スコア（独自算出の注目度）: 7.238124816235862
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Scene understanding based on 3D Gaussian Splatting (3DGS) has recently achieved notable advances. Although 3DGS related methods have efficient rendering capabilities, they fail to address the inherent contradiction between the anisotropic color representation of gaussian primitives and the isotropic requirements of semantic features, leading to insufficient cross-view feature consistency. To overcome the limitation, we proposes $\textit{FHGS}$ (Feature-Homogenized Gaussian Splatting), a novel 3D feature fusion framework inspired by physical models, which can achieve high-precision mapping of arbitrary 2D features from pre-trained models to 3D scenes while preserving the real-time rendering efficiency of 3DGS. Specifically, our $\textit{FHGS}$ introduces the following innovations: Firstly, a universal feature fusion architecture is proposed, enabling robust embedding of large-scale pre-trained models' semantic features (e.g., SAM, CLIP) into sparse 3D structures. Secondly, a non-differentiable feature fusion mechanism is introduced, which enables semantic features to exhibit viewpoint independent isotropic distributions. This fundamentally balances the anisotropic rendering of gaussian primitives and the isotropic expression of features; Thirdly, a dual-driven optimization strategy inspired by electric potential fields is proposed, which combines external supervision from semantic feature fields with internal primitive clustering guidance. This mechanism enables synergistic optimization of global semantic alignment and local structural consistency. More interactive results can be accessed on: https://fhgs.cuastro.org/.
- Abstract（参考訳）: 3D Gaussian Splatting(3DGS)に基づくシーン理解は,近年顕著な進歩を遂げている。
3DGS関連の手法は効率的なレンダリング機能を備えているが、ガウス原始体の異方性色表現と意味的特徴の等方性要件との固有の矛盾に対処できず、クロスビュー特徴の整合性は不十分である。
物理モデルに触発された新しい3次元特徴融合フレームワークである$\textit{FHGS}$ (Feature-Homogenized Gaussian Splatting)を提案する。
まず、大規模な事前訓練されたモデルのセマンティック機能(SAM、CLIPなど)をスパース3D構造に堅牢な埋め込みを可能にする、普遍的な機能融合アーキテクチャが提案されます。
第二に、非微分不可能な特徴融合機構を導入し、意味的特徴が視点独立等方性分布を示すことを可能にする。
これはガウス的プリミティブの異方的レンダリングと特徴の等方的表現とを根本的にバランスさせ、第3に、電位場にインスパイアされた二重駆動最適化戦略を提案し、セマンティックな特徴場からの外部監督と内部のプリミティブクラスタリングガイダンスを組み合わせた。
このメカニズムは、大域的な意味的アライメントと局所的な構造的一貫性の相乗的最適化を可能にする。
よりインタラクティブな結果は、https://fhgs.cuastro.org/.comでアクセスできます。
関連論文リスト
- TIGaussian: Disentangle Gaussians for Spatial-Awared Text-Image-3D Alignment [58.46706158310462]
TIGaussian は 3D Gaussian Splatting (3DGS) 特性を利用して、相互モダリティアライメントを強化する。
我々のマルチブランチ3DGSトークン化器は、3DGS構造の固有の性質をコンパクトな潜在表現に分解する。
テキスト3D投影モジュールは、テキスト3Dアライメントを改善するために、3D機能をテキスト埋め込みスペースに適応的にマッピングする。
論文 参考訳（メタデータ） (2026-01-27T06:30:32Z) - StdGEN++: A Comprehensive System for Semantic-Decomposed 3D Character Generation [57.06461272772509]
StdGEN++は、多種多様な入力から高忠実で意味的に分解された3D文字を生成するための、新しく包括的なシステムである。
最先端の性能を達成し、幾何学的精度と意味的絡み合いにおいて既存の手法を著しく上回っている。
結果として、非破壊的な編集、物理学に準拠したアニメーション、視線追跡など、より進んだ下流の機能をアンロックする。
論文 参考訳（メタデータ） (2026-01-12T15:41:27Z) - Joint Semantic and Rendering Enhancements in 3D Gaussian Modeling with Anisotropic Local Encoding [86.55824709875598]
本稿では,セマンティックとレンダリングの両方を相乗化する3次元セマンティックガウスモデリングのための統合拡張フレームワークを提案する。
従来の点雲形状符号化とは異なり、細粒度3次元形状を捉えるために異方性3次元ガウシアン・チェビシェフ記述子を導入する。
我々は、学習した形状パターンを継続的に更新するために、クロスシーンの知識伝達モジュールを使用し、より高速な収束と堅牢な表現を可能にします。
論文 参考訳（メタデータ） (2026-01-05T18:33:50Z) - SegSplat: Feed-forward Gaussian Splatting and Open-Set Semantic Segmentation [114.57192386025373]
SegSplatは、高速でフィードフォワードな3D再構成とリッチでオープンなセマンティック理解のギャップを埋めるために設計された、新しいフレームワークである。
この研究は、意味的に認識された3D環境の実践的でオンザフライな生成に向けた重要なステップである。
論文 参考訳（メタデータ） (2025-11-23T10:26:38Z) - Learning Unified Representation of 3D Gaussian Splatting [15.792493458115016]
十分に設計されたベクトル化表現は、3Dガウススプラッティングに固有の学習システムにとって不可欠である。
本稿では,ガウス原始体の固有情報をカプセル化した連続部分多様体場に基づく3DGSの埋め込み表現を提案する。
論文 参考訳（メタデータ） (2025-09-26T20:44:59Z) - GraphGSOcc: Semantic-Geometric Graph Transformer with Dynamic-Static Decoupling for 3D Gaussian Splatting-based Occupancy Prediction [2.3239379129613535]
GraphGSOccは、意味グラフと幾何学グラフを組み合わせ、動的静的オブジェクトを分離する新しいフレームワークである。
SurroundOcc-nuScenes、Occ3D-nuScenes、OpenOcc、KITTIの占有ベンチマークで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-06-13T06:09:57Z) - GSFF-SLAM: 3D Semantic Gaussian Splatting SLAM via Feature Field [17.57215792490409]
GSFF-SLAMは3次元ガウススプラッティングに基づく新しい意味論的SLAMシステムである。
提案手法は, 様々な2次元先行情報, 特にスパース信号と雑音信号を用いた意味的再構成を支援する。
2D基底真理を利用する場合、GSFF-SLAMは95.03% mIoUで最先端のセマンティックセグメンテーション性能を達成する。
論文 参考訳（メタデータ） (2025-04-28T01:21:35Z) - econSG: Efficient and Multi-view Consistent Open-Vocabulary 3D Semantic Gaussians [56.85804719947]
3DGSを用いたオープン語彙セマンティックセマンティックセグメンテーションのためのeconSGを提案する。
筆者らのeconSGは,既存手法と比較して,4つのベンチマークデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2025-04-08T13:12:31Z) - SOGS: Second-Order Anchor for Advanced 3D Gaussian Splatting [116.22623164585114]
SOGSはアンカーベースの3D-GS技術であり、2階アンカーを導入し、優れたレンダリング品質とアンカー機能とモデルサイズを同時に削減する。
モデルサイズを小さくした新規なビュー合成において,SOGSが優れたレンダリング品質を実現することを示す。
論文 参考訳（メタデータ） (2025-03-10T15:50:46Z) - Bootstraping Clustering of Gaussians for View-consistent 3D Scene Understanding [59.51535163599723]
FreeGSは、教師なしセマンティック組み込み3DGSフレームワークで、2Dラベルを必要とせずに、ビュー一貫性のある3Dシーン理解を実現する。
FreeGSは複雑なデータ前処理のワークロードを避けながら、最先端のメソッドと互換性がある。
論文 参考訳（メタデータ） (2024-11-29T08:52:32Z) - Geometric Algebra Planes: Convex Implicit Neural Volumes [70.12234371845445]
GA-Planes はスパース低ランク係数と低分解能行列と等価であることを示す。
また,GA-Planeは既存の表現にも適用可能であることを示す。
論文 参考訳（メタデータ） (2024-11-20T18:21:58Z) - GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-11-18T08:18:44Z) - DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。
複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
論文 参考訳（メタデータ） (2024-11-18T05:49:16Z) - Implicit Gaussian Splatting with Efficient Multi-Level Tri-Plane Representation [45.582869951581785]
Implicit Gaussian Splatting (IGS)は、明示的なポイントクラウドと暗黙的な機能埋め込みを統合する革新的なハイブリッドモデルである。
本稿では,空間正規化を具体化したレベルベースプログレッシブトレーニング手法を提案する。
我々のアルゴリズムは、数MBしか使用せず、ストレージ効率とレンダリング忠実さを効果的にバランスして、高品質なレンダリングを実現することができる。
論文 参考訳（メタデータ） (2024-08-19T14:34:17Z) - Graph and Skipped Transformer: Exploiting Spatial and Temporal Modeling Capacities for Efficient 3D Human Pose Estimation [36.93661496405653]
我々は、簡潔なグラフとSkipped Transformerアーキテクチャを用いて、Transformer-temporal情報を活用するためのグローバルなアプローチを採っている。
具体的には、3Dポーズの段階では、粗粒の体部が展開され、完全なデータ駆動適応モデルが構築される。
実験はHuman3.6M、MPI-INF-3DHP、Human-Evaベンチマークで行われた。
論文 参考訳（メタデータ） (2024-07-03T10:42:09Z) - CLIP-GS: CLIP-Informed Gaussian Splatting for Real-time and View-consistent 3D Semantic Understanding [32.76277160013881]
コントラスト言語画像事前学習(CLIP)のセマンティクスをガウススプラッティングに統合するCLIP-GSを提案する。
SACはオブジェクト内の固有の統一意味論を利用して、3Dガウスのコンパクトで効果的な意味表現を学ぶ。
また,3次元モデルから得られた多視点一貫性を利用して,3次元コヒーレント自己学習(3DCS)戦略を導入する。
論文 参考訳（メタデータ） (2024-04-22T15:01:32Z) - S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-22T11:40:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。