論文の概要: Key-Grid: Unsupervised 3D Keypoints Detection using Grid Heatmap Features

• arxiv url: http://arxiv.org/abs/2410.02237v2
• Date: Wed, 16 Oct 2024 06:28:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 07:46:05.686226
• Title: Key-Grid: Unsupervised 3D Keypoints Detection using Grid Heatmap Features
• Title（参考訳）: キーグリッド:グリッドヒートマップ特徴を用いた教師なし3次元キーポイント検出
• Authors: Chengkai Hou, Zhengrong Xue, Bingyang Zhou, Jinghan Ke, Lin Shao, Huazhe Xu,
• Abstract要約: 我々は、剛体および変形可能な物体の両方に対して、キーグリッド(Key-Grid)を革新的な教師なしキーポイント検出器として導入する。 同定されたキーポイントを利用して,デコーダ部で使用されるグリッドヒートマップと呼ばれる3次元グリッド特徴ヒートマップを形成する。 Key-Gridはキーポイントのセマンティック一貫性と位置精度に関する最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 20.935803672362283
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Detecting 3D keypoints with semantic consistency is widely used in many scenarios such as pose estimation, shape registration and robotics. Currently, most unsupervised 3D keypoint detection methods focus on the rigid-body objects. However, when faced with deformable objects, the keypoints they identify do not preserve semantic consistency well. In this paper, we introduce an innovative unsupervised keypoint detector Key-Grid for both the rigid-body and deformable objects, which is an autoencoder framework. The encoder predicts keypoints and the decoder utilizes the generated keypoints to reconstruct the objects. Unlike previous work, we leverage the identified keypoint in formation to form a 3D grid feature heatmap called grid heatmap, which is used in the decoder section. Grid heatmap is a novel concept that represents the latent variables for grid points sampled uniformly in the 3D cubic space, where these variables are the shortest distance between the grid points and the skeleton connected by keypoint pairs. Meanwhile, we incorporate the information from each layer of the encoder into the decoder section. We conduct an extensive evaluation of Key-Grid on a list of benchmark datasets. Key-Grid achieves the state-of-the-art performance on the semantic consistency and position accuracy of keypoints. Moreover, we demonstrate the robustness of Key-Grid to noise and downsampling. In addition, we achieve SE-(3) invariance of keypoints though generalizing Key-Grid to a SE(3)-invariant backbone.
• Abstract（参考訳）: セマンティック一貫性を持つ3Dキーポイントの検出は、ポーズ推定、形状登録、ロボット工学といった多くのシナリオで広く利用されている。 現在、ほとんど教師なしの3Dキーポイント検出法は、剛体物体に焦点をあてている。 しかし、変形可能なオブジェクトに直面した場合、それらが識別するキーポイントはセマンティック一貫性を十分に保持しない。 本稿では, 自己エンコーダフレームワークである剛体および変形可能なオブジェクトに対して, キーグリッドを用いたキーポイント検出手法を提案する。 エンコーダはキーポイントを予測し、デコーダは生成されたキーポイントを使用してオブジェクトを再構築する。 従来とは違って,同定されたキーポイントを利用して,デコーダ部で使用されるグリッドヒートマップと呼ばれる3次元グリッド特徴熱マップを形成する。 グリッドヒートマップ(英: Grid Heatmap)は、3次元立方体空間で一様にサンプリングされた格子点の潜伏変数を表す新しい概念である。 一方、エンコーダの各レイヤからの情報をデコーダセクションに組み込む。 我々は、ベンチマークデータセットのリスト上でKey-Gridを広範囲に評価する。 Key-Gridはキーポイントのセマンティック一貫性と位置精度に関する最先端のパフォーマンスを実現する。 さらに、ノイズやダウンサンプリングに対するキーグリッドの堅牢性を示す。 さらに、キーグリッドをSE(3)不変バックボーンに一般化しながら、キーポイントのSE-(3)不変性を達成する。

関連論文リスト

• KP-RED: Exploiting Semantic Keypoints for Joint 3D Shape Retrieval and Deformation [87.23575166061413]
  KP-RED は KeyPoint 主導の Retrieval and deformation フレームワークである。 オブジェクトスキャンを入力として、最も幾何学的に類似したCADモデルを共同で検索し、変形させる。
  論文  参考訳（メタデータ） (2024-03-15T08:44:56Z)
• CheckerPose: Progressive Dense Keypoint Localization for Object Pose Estimation with Graph Neural Network [66.24726878647543]
  単一のRGB画像から固い物体の6-DoFのポーズを推定することは、非常に難しい課題である。 近年の研究では、高密度対応型解の大きな可能性を示している。 そこで本研究では,CheckerPoseというポーズ推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-29T17:30:53Z)
• SNAKE: Shape-aware Neural 3D Keypoint Field [62.91169625183118]
  形状復元には点雲から3Dキーポイントを検出することが重要である。 形状再構成は3次元キーポイント検出に有効か? 本稿では,形状認識型ニューラル3Dキーポイントフィールドに短いSNAKEという,教師なしの新たなパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-06-03T17:58:43Z)
• Unsupervised Learning of Visual 3D Keypoints for Control [104.92063943162896]
  高次元画像からの感覚運動制御ポリシーの学習は、基礎となる視覚表現の品質に大きく依存する。 本稿では,画像から3次元幾何学的構造を直接教師なしで学習するフレームワークを提案する。 これらの発見された3Dキーポイントは、時間と3D空間の両方で一貫した方法で、ロボットの関節と物体の動きを有意義にキャプチャする傾向がある。
  論文  参考訳（メタデータ） (2021-06-14T17:59:59Z)
• KeypointDeformer: Unsupervised 3D Keypoint Discovery for Shape Control [64.46042014759671]
  keypointdeformerは、自動検出された3dキーポイントによる形状制御の教師なし方式である。 本手法は, 直観的かつ意味論的に形状変形の制御を行う。
  論文  参考訳（メタデータ） (2021-04-22T17:59:08Z)
• Skeleton Merger: an Unsupervised Aligned Keypoint Detector [44.983569951041]
  Skeleton MergerはAutoencoderアーキテクチャに基づく教師なしのキーポイント検出器である。 セマンティックにリッチな有能なキーポイントをアライメントで検出でき、KeypointNetデータセット上の教師付きメソッドに匹敵するパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-03-19T14:00:39Z)
• UKPGAN: A General Self-Supervised Keypoint Detector [43.35270822722044]
  UKPGANは一般的な3Dキーポイント検出器である。 私たちのキーポイントは、注釈付きキーポイントラベルとよく一致します。 我々のモデルは、剛性と非剛性変換の両方の下で安定である。
  論文  参考訳（メタデータ） (2020-11-24T09:08:21Z)
• KeypointNet: A Large-scale 3D Keypoint Dataset Aggregated from Numerous Human Annotations [56.34297279246823]
  KeypointNetは、最初の大規模かつ多様な3Dキーポイントデータセットである。 16のカテゴリから103,450個のキーポイントと8,234個の3Dモデルを含んでいる。 提案したデータセットに10種類の最先端手法をベンチマークする。
  論文  参考訳（メタデータ） (2020-02-28T12:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。