論文の概要: Learning SO(3)-Invariant Semantic Correspondence via Local Shape Transform
- arxiv url: http://arxiv.org/abs/2404.11156v2
- Date: Sat, 20 Apr 2024 18:10:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 12:48:38.746349
- Title: Learning SO(3)-Invariant Semantic Correspondence via Local Shape Transform
- Title(参考訳): 局所形状変換によるSO(3)-不変意味対応の学習
- Authors: Chunghyun Park, Seungwook Kim, Jaesik Park, Minsu Cho,
- Abstract要約: RISTと呼ばれる局所形状変換を用いた自己教師型回転不変3次元対応学習システムを提案する。
RISTは、挑戦的なクラス内変分と任意の向きの下でも、形状間の密接な対応を確立することを学ぶ。
RISTは、任意の回転点雲対に与えられる3D部分ラベル転送とセマンティックキーポイント転送の最先端性能を示す。
- 参考スコア(独自算出の注目度): 62.27337227010514
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Establishing accurate 3D correspondences between shapes stands as a pivotal challenge with profound implications for computer vision and robotics. However, existing self-supervised methods for this problem assume perfect input shape alignment, restricting their real-world applicability. In this work, we introduce a novel self-supervised Rotation-Invariant 3D correspondence learner with Local Shape Transform, dubbed RIST, that learns to establish dense correspondences between shapes even under challenging intra-class variations and arbitrary orientations. Specifically, RIST learns to dynamically formulate an SO(3)-invariant local shape transform for each point, which maps the SO(3)-equivariant global shape descriptor of the input shape to a local shape descriptor. These local shape descriptors are provided as inputs to our decoder to facilitate point cloud self- and cross-reconstruction. Our proposed self-supervised training pipeline encourages semantically corresponding points from different shapes to be mapped to similar local shape descriptors, enabling RIST to establish dense point-wise correspondences. RIST demonstrates state-of-the-art performances on 3D part label transfer and semantic keypoint transfer given arbitrarily rotated point cloud pairs, outperforming existing methods by significant margins.
- Abstract(参考訳): 形状間の正確な3D対応を確立することは、コンピュータビジョンとロボット工学にとって重要な課題である。
しかし,既存の自己教師型手法では完全な入力形状のアライメントを前提としており,実際の適用性が制限されている。
本研究では,RISTと呼ばれる局所形状変換を用いた自己教師型回転不変3次元対応学習システムを提案する。
具体的には、入力形状のSO(3)-同変大域形状記述子を局所形状記述子にマッピングする、各点についてSO(3)-不変局所形状変換を動的に定式化することを学ぶ。
これらの局所形状記述子はデコーダへの入力として提供され、ポイントクラウドの自己とクロスコンストラクションを容易にする。
提案する自己教師型学習パイプラインは,異なる形状の意味的対応点を類似の局所的な形状記述子にマッピングし,RISTが高密度な点対応を確立できるようにする。
RISTは、任意の回転点雲対に与えられる3D部分ラベル転送とセマンティックキーポイント転送の最先端性能を示し、既存の手法をかなりのマージンで上回る。
関連論文リスト
- Rethinking Rotation Invariance with Point Cloud Registration [18.829454172955202]
本稿では, 回転不変形状符号化, 整列化機能統合, 深部特徴登録の3段階を通した回転不変性学習のための効果的なフレームワークを提案する。
3次元形状分類,部分分割,検索タスクの実験結果から,本研究の可能性が確認された。
論文 参考訳(メタデータ) (2022-12-31T08:17:09Z) - ConDor: Self-Supervised Canonicalization of 3D Pose for Partial Shapes [55.689763519293464]
ConDorは、完全および部分的な3次元点雲の3次元配向と位置を正準化することを学ぶ自己教師型手法である。
推測中,本手法は任意のポーズで完全あるいは部分的な3次元点の雲を抽出し,同変正則のポーズを出力する。
論文 参考訳(メタデータ) (2022-01-19T18:57:21Z) - 3D Unsupervised Region-Aware Registration Transformer [13.137287695912633]
ディープニューラルネットワークによるロバストポイントクラウド登録モデルを学習することが、強力なパラダイムとして浮上した。
自己教師型3次元形状再構成損失を伴って入力形状を異なる領域に分割できる3次元領域分割モジュールの設計を提案する。
実験により,我々の3D-URRTは,様々なベンチマークデータセットよりも優れた登録性能が得られることが示された。
論文 参考訳(メタデータ) (2021-10-07T15:06:52Z) - Learning 3D Dense Correspondence via Canonical Point Autoencoder [108.20735652143787]
同一カテゴリの3次元形状間の密接な対応を予測できる標準点オートエンコーダ(CPAE)を提案する。
オートエンコーダは、2つの重要な機能を実行する: (a) 任意に順序付けられた点雲を標準プリミティブに符号化し、 (b) プリミティブを元の入力インスタンス形状に復号する。
論文 参考訳(メタデータ) (2021-07-10T15:54:48Z) - Rotation-Invariant Local-to-Global Representation Learning for 3D Point
Cloud [42.86112554931754]
本稿では,3次元点クラウドデータに対する局所的-言語的表現学習アルゴリズムを提案する。
本モデルは,グラフ畳み込みニューラルネットワークに基づく多レベル抽象化を利用する。
提案アルゴリズムは,3次元物体の回転認識とセグメント化のベンチマークにおいて,最先端の性能を示す。
論文 参考訳(メタデータ) (2020-10-07T10:30:20Z) - Learning Local Neighboring Structure for Robust 3D Shape Representation [143.15904669246697]
3Dメッシュの表現学習は多くのコンピュータビジョンやグラフィックスアプリケーションにおいて重要である。
局所構造認識型異方性畳み込み操作(LSA-Conv)を提案する。
本モデルでは,3次元形状復元において最先端の手法に比べて顕著な改善が得られた。
論文 参考訳(メタデータ) (2020-04-21T13:40:03Z) - A Rotation-Invariant Framework for Deep Point Cloud Analysis [132.91915346157018]
ネットワーク入力時に一般的な3次元カルト座標を置き換えるために,新しい低レベル純粋回転不変表現を導入する。
また,これらの表現を特徴に組み込むネットワークアーキテクチャを提案し,点とその近傍の局所的関係とグローバルな形状構造を符号化する。
本手法は, 形状分類, 部分分割, 形状検索を含む多点雲解析タスクにおいて評価する。
論文 参考訳(メタデータ) (2020-03-16T14:04:45Z) - Quaternion Equivariant Capsule Networks for 3D Point Clouds [58.566467950463306]
本稿では,3次元回転と翻訳に同値な点雲を処理するための3次元カプセルモジュールを提案する。
カプセル間の動的ルーティングをよく知られたWeiszfeldアルゴリズムに接続する。
オペレーターに基づいて、ポーズから幾何学をアンタングルするカプセルネットワークを構築します。
論文 参考訳(メタデータ) (2019-12-27T13:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。