論文の概要: 3D-PointZshotS: Geometry-Aware 3D Point Cloud Zero-Shot Semantic Segmentation Narrowing the Visual-Semantic Gap

• arxiv url: http://arxiv.org/abs/2504.12442v1
• Date: Wed, 16 Apr 2025 19:17:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:37:06.445509
• Title: 3D-PointZshotS: Geometry-Aware 3D Point Cloud Zero-Shot Semantic Segmentation Narrowing the Visual-Semantic Gap
• Title（参考訳）: 3D-PointZshotS:幾何学的3Dポイントクラウドゼロショットセマンティックセマンティックセマンティックセグメンテーション
• Authors: Minmin Yang, Huantao Ren, Senem Velipasalar,
• Abstract要約: 3D-PointZshotSは、幾何学的なゼロショットセグメンテーションフレームワークである。 我々はLGPをクロスアテンション機構を介してジェネレータに統合し、微粒な幾何学的詳細で意味的特徴を豊かにする。 我々は、共有空間における視覚的特徴と意味的特徴を再表現し、意味と視覚的ギャップを埋め、未知のクラスへの知識伝達を促進する。
• 参考スコア（独自算出の注目度）: 10.744510913722817
• License:
• Abstract: Existing zero-shot 3D point cloud segmentation methods often struggle with limited transferability from seen classes to unseen classes and from semantic to visual space. To alleviate this, we introduce 3D-PointZshotS, a geometry-aware zero-shot segmentation framework that enhances both feature generation and alignment using latent geometric prototypes (LGPs). Specifically, we integrate LGPs into a generator via a cross-attention mechanism, enriching semantic features with fine-grained geometric details. To further enhance stability and generalization, we introduce a self-consistency loss, which enforces feature robustness against point-wise perturbations. Additionally, we re-represent visual and semantic features in a shared space, bridging the semantic-visual gap and facilitating knowledge transfer to unseen classes. Experiments on three real-world datasets, namely ScanNet, SemanticKITTI, and S3DIS, demonstrate that our method achieves superior performance over four baselines in terms of harmonic mIoU. The code is available at \href{https://github.com/LexieYang/3D-PointZshotS}{Github}.
• Abstract（参考訳）: 既存のゼロショット3Dポイントクラウドセグメンテーション手法は、目に見えないクラスから見えないクラスへ、セマンティックから視覚空間へ、限られた転送可能性に悩まされることが多い。 これを軽減するため、3D-PointZshotSという幾何対応のゼロショットセグメンテーションフレームワークを導入し、潜在幾何プロトタイプ(LGPs)を用いた特徴生成とアライメントを両立させる。 具体的には、LGPをクロスアテンション機構を介してジェネレータに統合し、微粒な幾何学的詳細で意味的特徴を豊かにする。 安定性と一般化をさらに高めるため,各点の摂動に対する特徴的堅牢性を実現する自己整合損失を導入する。 さらに、共有空間における視覚的特徴と意味的特徴を再表現し、意味と視覚的ギャップを埋め、未知のクラスへの知識伝達を容易にする。 ScanNet, SemanticKITTI, S3DIS の3つの実世界のデータセットに対する実験により,本手法は高調波 mIoU の4つのベースラインよりも優れた性能が得られることを示した。 コードは \href{https://github.com/LexieYang/3D-PointZshotS}{Github} で公開されている。

関連論文リスト

• 3D Part Segmentation via Geometric Aggregation of 2D Visual Features [57.20161517451834]
  監督された3D部分分割モデルは、固定されたオブジェクトと部品のセットに合わせて調整されており、それらの転送可能性は、オープンセットの現実世界のシナリオに制限される。 近年、視覚言語モデル(VLM)を多視点レンダリングとテキストプロンプトを用いてオブジェクト部品の識別に活用する研究が進められている。 これらの制約に対処するために,視覚概念から抽出した意味論と3次元幾何学をブレンドし,対象部品を効果的に同定するCOPSを提案する。
  論文  参考訳（メタデータ） (2024-12-05T15:27:58Z)
• Bootstraping Clustering of Gaussians for View-consistent 3D Scene Understanding [59.51535163599723]
  FreeGSは、教師なしセマンティック組み込み3DGSフレームワークで、2Dラベルを必要とせずに、ビュー一貫性のある3Dシーン理解を実現する。 我々は、FreeGSが複雑なデータ前処理作業の負荷を回避しつつ、最先端のメソッドと互換性があることを示す。
  論文  参考訳（メタデータ） (2024-11-29T08:52:32Z)
• Augmented Efficiency: Reducing Memory Footprint and Accelerating Inference for 3D Semantic Segmentation through Hybrid Vision [9.96433151449016]
  本稿では,2次元と3次元のコンピュータビジョン技術を組み合わせた3次元セマンティックセグメンテーションの新たなアプローチを提案する。 我々は3次元点雲にリンクしたRGB画像に対して2Dセマンティックセマンティックセマンティックセマンティクスを行い、その結果をクラスラベルの押出手法を用いて3Dに拡張する。 このモデルは、KITTI-360データセット上の最先端の3Dセマンティックセマンティックセグメンテーションモデルとして機能する。
  論文  参考訳（メタデータ） (2024-07-23T00:04:10Z)
• SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
  新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。 我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。 ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-17T09:05:47Z)
• Geometrically-driven Aggregation for Zero-shot 3D Point Cloud Understanding [11.416392706435415]
  ゼロショット3Dポイントクラウド理解は2Dビジョンランゲージモデル(VLM)によって達成できる 既存の戦略は、ヴィジュアル・ランゲージ・モデル(Vision-Language Model)をレンダリングまたはキャプチャされた2Dピクセルから3Dポイントにマッピングし、固有かつ表現可能な雲の幾何学構造を見渡す。 本稿では, 点雲の3次元幾何学的構造を利用して, 移動したビジョン・ランゲージモデルの品質を向上させるための, 初となるトレーニングフリーアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T12:30:07Z)
• U3DS$^3$: Unsupervised 3D Semantic Scene Segmentation [19.706172244951116]
  本稿では,U3DS$3$について,総合的な3Dシーンに対して,完全に教師なしのポイントクラウドセグメンテーションに向けたステップとして提示する。 提案手法の最初のステップは,各シーンの幾何学的特徴に基づいてスーパーポイントを生成することである。 次に、空間クラスタリングに基づく手法を用いて学習プロセスを行い、次いで、クラスタセントロイドに応じて生成された擬似ラベルを用いて反復的なトレーニングを行う。
  論文  参考訳（メタデータ） (2023-11-10T12:05:35Z)
• Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
  我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。 我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-12-17T15:05:25Z)
• Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based Perception [122.53774221136193]
  運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。 自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。 本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-12T06:25:11Z)
• Segmenting 3D Hybrid Scenes via Zero-Shot Learning [13.161136148641813]
  この研究は、ゼロショット学習の枠組みの下で、3Dハイブリッドシーンのポイントクラウドセマンティックセマンティックセマンティクスの問題に取り組むことを目的としている。 本稿では、PFNetと呼ばれる、オブジェクトの様々なクラスに対するポイント特徴を、見えていないクラスと見えないクラスの両方のセマンティック特徴を利用して合成するネットワークを提案する。 提案したPFNet は点特徴を合成するために GAN アーキテクチャを用いており、新しい意味正規化器を適用することにより、目に見えるクラスと目に見えないクラスの特徴のセマンティックな関係が統合される。 本研究では,S3DISデータセットとScanNetデータセットを6つの異なるデータ分割で再編成し,アルゴリズム評価のための2つのベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-07-01T13:21:49Z)
• Learning Geometry-Disentangled Representation for Complementary Understanding of 3D Object Point Cloud [50.56461318879761]
  3次元画像処理のためのGDANet(Geometry-Disentangled Attention Network)を提案する。 GDANetは、点雲を3Dオブジェクトの輪郭と平らな部分に切り離し、それぞれ鋭い変化成分と穏やかな変化成分で表される。 3Dオブジェクトの分類とセグメンテーションベンチマークの実験は、GDANetがより少ないパラメータで最先端の処理を実現していることを示している。
  論文  参考訳（メタデータ） (2020-12-20T13:35:00Z)
• Weakly Supervised Semantic Segmentation in 3D Graph-Structured Point Clouds of Wild Scenes [36.07733308424772]
  3Dセグメンテーションラベルの欠如は、効率的な点雲セグメンテーションの主な障害の1つである。 本稿では,2D のみを監督する点群における大規模セマンティックシーンセグメンテーションのための,新しいディープグラフ畳み込みネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T23:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。