論文の概要: Zero-shot Point Cloud Segmentation by Transferring Geometric Primitives
- arxiv url: http://arxiv.org/abs/2210.09923v1
- Date: Tue, 18 Oct 2022 15:06:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 15:16:41.388475
- Title: Zero-shot Point Cloud Segmentation by Transferring Geometric Primitives
- Title（参考訳）: 幾何学的プリミティブの移動によるゼロショット点雲分割
- Authors: Runnan Chen, Xinge Zhu, Nenglun Chen, Wei Li, Yuexin Ma, Ruigang Yang,
Wenping Wang
- Abstract要約: 我々は、見知らぬカテゴリのオブジェクトで共有される幾何学的プリミティブを学び、学習された幾何学的プリミティブは、見知らぬカテゴリに知識を移すために提供される。
幾何学的プリミティブを効果的に学習し,誤分類問題を緩和するために,未知の未知情報NCE損失を提案する。
ハーモニック平均断面積法(hIoU)では,他の最先端手法よりも有意に優れていた。
- 参考スコア（独自算出の注目度）: 63.035488355742594
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We investigate transductive zero-shot point cloud semantic segmentation in
this paper, where unseen class labels are unavailable during training.
Actually, the 3D geometric elements are essential cues to reason the 3D object
type. If two categories share similar geometric primitives, they also have
similar semantic representations. Based on this consideration, we propose a
novel framework to learn the geometric primitives shared in seen and unseen
categories' objects, where the learned geometric primitives are served for
transferring knowledge from seen to unseen categories. Specifically, a group of
learnable prototypes automatically encode geometric primitives via
back-propagation. Then, the point visual representation is formulated as the
similarity vector of its feature to the prototypes, which implies semantic cues
for both seen and unseen categories. Besides, considering a 3D object composed
of multiple geometric primitives, we formulate the semantic representation as a
mixture-distributed embedding for the fine-grained match of visual
representation. In the end, to effectively learn the geometric primitives and
alleviate the misclassification issue, we propose a novel unknown-aware infoNCE
loss to align the visual and semantic representation. As a result, guided by
semantic representations, the network recognizes the novel object represented
with geometric primitives. Extensive experiments show that our method
significantly outperforms other state-of-the-art methods in the harmonic
mean-intersection-over-union (hIoU), with the improvement of 17.8%, 30.4% and
9.2% on S3DIS, ScanNet and SemanticKITTI datasets, respectively. Codes will be
released.
- Abstract（参考訳）: 本稿では,訓練中にクラスラベルが使用できないトランスダクティブゼロショットポイントクラウドセマンティクスセグメンテーションについて検討する。
実際、3Dの幾何学的要素は、3Dオブジェクトタイプを推論するために必須の手段である。
2つのカテゴリが類似の幾何学的プリミティブを共有している場合、それらは同様の意味表現を持つ。
そこで本研究では,既見および未見のカテゴリのオブジェクトで共有される幾何学的プリミティブを学習するための新しい枠組みを提案する。
具体的には、学習可能なプロトタイプのグループは、バックプロパゲーションを通じて幾何学的プリミティブを自動的にエンコードする。
すると、ポイント視覚表現は、その特徴とプロトタイプの類似性ベクトルとして定式化され、見知らぬカテゴリと見えないカテゴリの両方に対する意味的手がかりを意味する。
さらに、複数の幾何学的プリミティブからなる3次元オブジェクトを考慮し、視覚表現のきめ細かいマッチングのための混合分散埋め込みとして意味表現を定式化する。
最後に,幾何学的プリミティブを効果的に学習し,誤分類問題を緩和するために,視覚表現と意味表現を整合させる新しい未知認識情報損失を提案する。
その結果、意味表現によって導かれるネットワークは、幾何学的プリミティブで表現された新しいオブジェクトを認識する。
広範な実験により,hou(harmonic mean-intersection-over-union)では,s3dis,scannet,semantickittiデータセットでは17.8%,30.4%,9.2%の改善がみられた。
コードはリリースされる。
関連論文リスト
- SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。
我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。
ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
論文 参考訳（メタデータ） (2023-12-17T09:05:47Z) - Geometrically-driven Aggregation for Zero-shot 3D Point Cloud Understanding [11.416392706435415]
ゼロショット3Dポイントクラウド理解は2Dビジョンランゲージモデル(VLM)によって達成できる
既存の戦略は、ヴィジュアル・ランゲージ・モデル(Vision-Language Model)をレンダリングまたはキャプチャされた2Dピクセルから3Dポイントにマッピングし、固有かつ表現可能な雲の幾何学構造を見渡す。
本稿では, 点雲の3次元幾何学的構造を利用して, 移動したビジョン・ランゲージモデルの品質を向上させるための, 初となるトレーニングフリーアグリゲーション手法を提案する。
論文 参考訳（メタデータ） (2023-12-04T12:30:07Z) - QuadricsNet: Learning Concise Representation for Geometric Primitives in
Point Clouds [39.600071233251704]
本稿では,3次元点雲の精密な幾何学的原始表現を学習するための新しい枠組みを提案する。
私たちは10のパラメータしか持たない多様なプリミティブを表現するために二次的手法を採用しています。
我々は,ポイントクラウドの二次解析を行うために,最初のエンドツーエンド学習ベースのフレームワークであるQuadricsNetを提案する。
論文 参考訳（メタデータ） (2023-09-25T15:18:08Z) - Generalized Few-Shot Point Cloud Segmentation Via Geometric Words [54.32239996417363]
ショットポイントクラウドセグメンテーションアルゴリズムは、ベースクラスのセグメンテーション精度を犠牲にして、新しいクラスに適応するように学習する。
一般化された数ショット点雲のセグメンテーションというより実践的なパラダイムの最初の試みを示す。
基本クラスと新規クラス間で共有される幾何学的要素を表す幾何学的単語を提案し,それらを新しい幾何学的意味表現に組み込む。
論文 参考訳（メタデータ） (2023-09-20T11:24:33Z) - PolarMOT: How Far Can Geometric Relations Take Us in 3D Multi-Object
Tracking? [62.997667081978825]
グラフのノードとして3D検出を符号化し、グラフエッジ上の局所極座標を用いてオブジェクト間の空間的および時間的対関係を符号化する。
これにより、グラフニューラルネットワークは、時間的および空間的相互作用を効果的に符号化することができる。
我々はnuScenesデータセット上に新しい最先端のデータセットを構築し、さらに重要なことに、私たちの手法であるPolarMOTが、異なる場所にわたって驚くほどよく一般化されていることを示す。
論文 参考訳（メタデータ） (2022-08-03T10:06:56Z) - Fitting and recognition of geometric primitives in segmented 3D point
clouds using a localized voting procedure [1.8352113484137629]
投票手順によって各タイプの原始パラメータを初期推定できる点雲処理手法を提案する。
これらの推定値を用いることで、最適解の探索を次元的に還元された空間に局所化し、HT を文献で一般的に見られるものよりもより原始的に拡張することが効率的となる。
論文 参考訳（メタデータ） (2022-05-30T20:47:43Z) - Learning Geometry-Disentangled Representation for Complementary
Understanding of 3D Object Point Cloud [50.56461318879761]
3次元画像処理のためのGDANet(Geometry-Disentangled Attention Network)を提案する。
GDANetは、点雲を3Dオブジェクトの輪郭と平らな部分に切り離し、それぞれ鋭い変化成分と穏やかな変化成分で表される。
3Dオブジェクトの分類とセグメンテーションベンチマークの実験は、GDANetがより少ないパラメータで最先端の処理を実現していることを示している。
論文 参考訳（メタデータ） (2020-12-20T13:35:00Z) - Deep Geometric Texture Synthesis [83.9404865744028]
幾何学的テクスチャを合成するための新しい枠組みを提案する。
単一の参照3Dモデルの局所的な近傍からテクスチャ統計を学習する。
我々のネットワークはメッシュ頂点を任意の方向に変位させ、幾何学的テクスチャの合成を可能にする。
論文 参考訳（メタデータ） (2020-06-30T19:36:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。