論文の概要: NormLift: From Lifted Features To Semantic Reliability In 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2609.18898v1
- Date: Wed, 16 Sep 2026 16:35:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.894379
- Title: NormLift: From Lifted Features To Semantic Reliability In 3D Gaussian Splatting
- Title（参考訳）: NormLift:3Dガウスのスプレイティングにおけるリフテッド機能からセマンティックな信頼性まで
- Abstract要約: 学習自由重み付けアグリゲーションは、オープン語彙シーン理解のために3次元ガウスに2次元意味的特徴を持ち上げるために広く用いられている。
CLIP単位球上でのコサインアライメント問題としてガウス当たりの割り当てを定式化する。
NormLiftは,評価プロトコル間で高い性能を実現する,効率的でトレーニング不要なフレームワークであることを示す。
- 参考スコア（独自算出の注目度）: 11.3775971136971
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training-free weighted aggregation is widely used to lift 2D semantic features onto 3D Gaussians for open-vocabulary scene understanding, yet its theoretical role remains insufficiently understood. Existing analyses typically justify this operation from the rendering side, treating Gaussian features as linearly composable Euclidean variables for reconstructing 2D feature maps. However, this view does not match downstream 3D usage, where each Gaussian is often queried independently in a cosine-based embedding space. We revisit feature lifting from the 3D side and formulate per-Gaussian assignment as a cosine alignment problem on the CLIP unit sphere. Under this objective, the L2-normalized semantic back-projected feature emerges as the closed-form solution, providing a complementary interpretation of the standard lifting rule from the perspective of per-Gaussian semantic assignment. The same formulation further yields a norm decomposition into intra-view and inter-view consistency, suggesting that feature magnitude itself can serve as a semantic reliability signal. Calibrated by effective multi-view support, this reliability score guides a mode-voting refinement that preserves CLIP feature validity by avoiding linear averaging. Experiments on open-vocabulary 3D semantic segmentation show that NormLift is an efficient, training-free framework that achieves strong performance across evaluation protocols.
- Abstract（参考訳）: 学習自由重み付けアグリゲーションは、オープン・ボキャブラリ・シーン理解のために3次元ガウスに2次元意味的特徴を持ち上げるために広く用いられているが、その理論的役割は十分に理解されていない。
既存の解析は、通常、この操作をレンダリング側から正当化し、ガウス的特徴を2次元特徴写像を再構成するための線形構成可能なユークリッド変数として扱う。
しかし、この見解は下流の3D使用法とは一致せず、それぞれのガウス語はコサインベースの埋め込み空間で独立にクエリされることが多い。
我々は,CLIP単位球上でのコサインアライメント問題として,3D側から機能を持ち上げ,ガウス単位の割り当てを定式化する。
この目的のもと、L2正規化セマンティックバックプロジェクションは閉形式解として現れ、ガウス単位の意味代入の観点から標準持ち上げ規則を補完的に解釈する。
同じ定式化により、標準分解をビュー内およびビュー間整合性へと導き、特徴量自体がセマンティックな信頼性信号として機能することを示唆する。
この信頼性スコアは、効果的なマルチビューサポートによって評価され、線形平均化を回避してCLIP機能の妥当性を維持するモード投票改善を導出する。
オープンな3Dセマンティックセマンティックセグメンテーションの実験は、NormLiftは、評価プロトコル間で強力なパフォーマンスを実現する、効率的でトレーニングなしのフレームワークであることを示している。
関連論文リスト
- Bridging 3D Gaussians and Semantic Occupancy for Comprehensive Open-Vocabulary Scene Understanding from Unposed Images [62.31892851760248]
COVSceneはポーズレスセマンティックガウスフレームワークで、レンダリング可能なプリミティブと密接なセマンティック占有フィールドを結合する。
我々は、COVSceneは、競争力のあるレンダリング品質を維持し、オープン語彙のセグメンテーションを改善し、自己教師付きベースラインよりも強力なセマンティック占有率予測を実現することを示す。
論文 参考訳（メタデータ） (2026-07-02T03:00:23Z) - OpenGaFF: Open-Vocabulary Gaussian Feature Field with Codebook Attention [80.51557267896938]
オープンな3Dシーン理解のための新しいフレームワークであるOpenGaFFについて述べる。
我々の手法の中核はガウス的特徴場であり、ガウス幾何学と外見の連続関数として意味論をモデル化する。
オブジェクトレベルのセマンティック一貫性をさらに強化するために、共有セマンティックプリミティブのセットとして機能する構造化コードブックを導入する。
論文 参考訳（メタデータ） (2026-05-07T12:10:07Z) - UniSem: Generalizable Semantic 3D Reconstruction from Sparse Unposed Images [10.080087958100552]
2つのキーコンポーネントによる深度精度とセマンティックな一般化を改善する統合フレームワークUniSemを提案する。
Error-aware Gaussian Dropout (EGD) は冗長性のあるGaussianを抑えることでエラー誘導容量制御を行う。
第2に、2Dセグメンタリフトセマンティクスと、モデル独自の創発的な3DセマンティクスをブレンドするMix-training Curriculum(MTC)を導入する。
論文 参考訳（メタデータ） (2026-03-18T09:26:25Z) - Joint Semantic and Rendering Enhancements in 3D Gaussian Modeling with Anisotropic Local Encoding [86.55824709875598]
本稿では,セマンティックとレンダリングの両方を相乗化する3次元セマンティックガウスモデリングのための統合拡張フレームワークを提案する。
従来の点雲形状符号化とは異なり、細粒度3次元形状を捉えるために異方性3次元ガウシアン・チェビシェフ記述子を導入する。
我々は、学習した形状パターンを継続的に更新するために、クロスシーンの知識伝達モジュールを使用し、より高速な収束と堅牢な表現を可能にします。
論文 参考訳（メタデータ） (2026-01-05T18:33:50Z) - Trace3D: Consistent Segmentation Lifting via Gaussian Instance Tracing [27.24794829116753]
ガウススプラッティングにおける2次元視覚分割を3次元に引き上げることの課題に対処する。
既存の方法は、視界を横断する不整合な2Dマスクに悩まされ、うるさいセグメンテーション境界を生成する。
本稿では,標準ガウス表現を入力ビュー全体にわたってインスタンス重み行列で拡張するガウスインスタンス追跡(GIT)を紹介する。
論文 参考訳（メタデータ） (2025-08-05T08:54:17Z) - econSG: Efficient and Multi-view Consistent Open-Vocabulary 3D Semantic Gaussians [56.85804719947]
3DGSを用いたオープン語彙セマンティックセマンティックセグメンテーションのためのeconSGを提案する。
筆者らのeconSGは,既存手法と比較して,4つのベンチマークデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2025-04-08T13:12:31Z) - Rethinking End-to-End 2D to 3D Scene Segmentation in Gaussian Splatting [86.15347226865826]
We design an new end-to-end object-aware lifting approach, called Unified-Lift。
コントラスト損失を用いて学習したガウスレベルの機能を各ガウス点に拡張し、インスタンス情報をエンコードする。
LERF-Masked、Replica、Messy Roomsの3つのベンチマークで実験を行った。
論文 参考訳（メタデータ） (2025-03-18T08:42:23Z) - Bootstraping Clustering of Gaussians for View-consistent 3D Scene Understanding [59.51535163599723]
FreeGSは、教師なしセマンティック組み込み3DGSフレームワークで、2Dラベルを必要とせずに、ビュー一貫性のある3Dシーン理解を実現する。
FreeGSは複雑なデータ前処理のワークロードを避けながら、最先端のメソッドと互換性がある。
論文 参考訳（メタデータ） (2024-11-29T08:52:32Z) - CLIP-GS: CLIP-Informed Gaussian Splatting for View-Consistent 3D Indoor Semantic Understanding [17.440124130814166]
室内シーンのオープンな3Dセマンティック理解のためのCLIPモデルを用いた3Dガウススティング(3DGS)が注目されている。
提案するセマンティック属性コンパクト性(SAC)と3Dコヒーレント正規化(3DCR)を用いて、3次元屋内シーンのコヒーレントな意味理解を効率的に実現するCLIP-GSを提案する。
ScanNetとReplicaのデータセット上で,mIoUの21.20%と13.05%の改善を実現し,既存の最先端手法を著しく抑制する。
論文 参考訳（メタデータ） (2024-04-22T15:01:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。