論文の概要: SNAKE: Shape-aware Neural 3D Keypoint Field

• arxiv url: http://arxiv.org/abs/2206.01724v1
• Date: Fri, 3 Jun 2022 17:58:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-06 12:58:29.457381
• Title: SNAKE: Shape-aware Neural 3D Keypoint Field
• Title（参考訳）: SNAKE:形状認識型ニューラル3Dキーポイントフィールド
• Authors: Chengliang Zhong, Peixing You, Xiaoxue Chen, Hao Zhao, Fuchun Sun, Guyue Zhou, Xiaodong Mu, Chuang Gan, Wenbing Huang
• Abstract要約: 形状復元には点雲から3Dキーポイントを検出することが重要である。 形状再構成は3次元キーポイント検出に有効か? 本稿では,形状認識型ニューラル3Dキーポイントフィールドに短いSNAKEという,教師なしの新たなパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 62.91169625183118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting 3D keypoints from point clouds is important for shape reconstruction, while this work investigates the dual question: can shape reconstruction benefit 3D keypoint detection? Existing methods either seek salient features according to statistics of different orders or learn to predict keypoints that are invariant to transformation. Nevertheless, the idea of incorporating shape reconstruction into 3D keypoint detection is under-explored. We argue that this is restricted by former problem formulations. To this end, a novel unsupervised paradigm named SNAKE is proposed, which is short for shape-aware neural 3D keypoint field. Similar to recent coordinate-based radiance or distance field, our network takes 3D coordinates as inputs and predicts implicit shape indicators and keypoint saliency simultaneously, thus naturally entangling 3D keypoint detection and shape reconstruction. We achieve superior performance on various public benchmarks, including standalone object datasets ModelNet40, KeypointNet, SMPL meshes and scene-level datasets 3DMatch and Redwood. Intrinsic shape awareness brings several advantages as follows. (1) SNAKE generates 3D keypoints consistent with human semantic annotation, even without such supervision. (2) SNAKE outperforms counterparts in terms of repeatability, especially when the input point clouds are down-sampled. (3) the generated keypoints allow accurate geometric registration, notably in a zero-shot setting. Codes are available at https://github.com/zhongcl-thu/SNAKE
• Abstract（参考訳）: 点雲からの3Dキーポイントの検出は形状再構成において重要であるが、この研究は2つの疑問を調査する。 既存の手法は、異なる順序の統計に従って健全な特徴を求めるか、変換に不変なキーポイントを予測することを学ぶ。 しかし, 形状再構成を3次元キーポイント検出に組み込むという考え方は未検討である。 これは以前の問題定式化によって制限されていると我々は主張する。 この目的のために、形状認識型ニューラル3Dキーポイントフィールドに短いSNAKEという新しい教師なしパラダイムを提案する。 近年の座標に基づく放射率や距離場と同様に、我々のネットワークは3次元座標を入力として取り、暗黙の形状指標とキーポイント・サリエンシを同時に予測し、3次元のキーポイント検出と形状再構成を自然に絡み合わせる。 スタンドアロンオブジェクトデータセットmodelnet40,keypointnet,smplメッシュ,シーンレベルのデータセット3dmatch,redwoodなど,さまざまなベンチマークで優れたパフォーマンスを実現しています。 固有の形状認識には次のような利点がある。 1)SNAKEは人間の意味的アノテーションと整合した3Dキーポイントを生成する。 2)SNAKEは、特に入力点雲がダウンサンプリングされた場合、リピータビリティという点で相手よりも優れる。 (3) 生成されたキーポイントは正確な幾何学的登録を可能にする。 コードはhttps://github.com/zhongcl-thu/snakeで入手できる。

関連論文リスト

• Back to 3D: Few-Shot 3D Keypoint Detection with Back-Projected 2D Features [64.39691149255717]
  3次元形状のキーポイント検出には意味的および幾何学的認識が必要である。 我々はキーポイント候補最適化モジュールを用いて,その形状上のキーポイントの平均分布を一致させる。 結果として得られたアプローチは、KeyPointNetデータセットで数ショットのキーポイント検出のための新しい状態を実現する。
  論文  参考訳（メタデータ） (2023-11-29T21:58:41Z)
• 3D Implicit Transporter for Temporally Consistent Keypoint Discovery [45.152790256675964]
  キーポイントに基づく表現は、様々な視覚的およびロボット的タスクにおいて有利であることが証明されている。 トランスポーター法は、2次元データに対して導入され、ソースフレームからターゲットフレームを再構成し、空間情報と時間情報の両方を組み込む。 本稿では,ハイブリッド3次元表現,クロスアテンション,暗黙の再構築を活用したトランスポーターの最初の3次元バージョンを提案する。
  論文  参考訳（メタデータ） (2023-09-10T17:59:48Z)
• Self-supervised Learning of Rotation-invariant 3D Point Set Features using Transformer and its Self-distillation [3.1652399282742536]
  本稿では,オブジェクトレベルでの高精度かつ回転不変な3次元点集合特徴を取得するための,自己教師付き学習フレームワークを提案する。 トークンを改良し,それを3次元点集合ごとに表現的回転不変の特徴に集約するために,自己認識機構を用いる。 提案アルゴリズムは,既存のアルゴリズムよりも高精度な回転不変の3次元点集合特徴を学習する。
  論文  参考訳（メタデータ） (2023-08-09T06:03:07Z)
• Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
  本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。 評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T08:45:26Z)
• KeypointDeformer: Unsupervised 3D Keypoint Discovery for Shape Control [64.46042014759671]
  keypointdeformerは、自動検出された3dキーポイントによる形状制御の教師なし方式である。 本手法は, 直観的かつ意味論的に形状変形の制御を行う。
  論文  参考訳（メタデータ） (2021-04-22T17:59:08Z)
• ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
  ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。 不規則な3D点雲を通常の2Dカラー画像に変換する。 多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
  論文  参考訳（メタデータ） (2020-12-05T13:19:55Z)
• D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features [51.04841465193678]
  私たちは3Dポイントクラウドに3D完全畳み込みネットワークを活用しています。 本稿では,3次元点ごとに検出スコアと記述特徴の両方を密に予測する,新しい,実践的な学習機構を提案する。 本手法は,屋内と屋外の両方のシナリオで最先端の手法を実現する。
  論文  参考訳（メタデータ） (2020-03-06T12:51:09Z)
• Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion [53.885984328273686]
  Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。 IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
  論文  参考訳（メタデータ） (2020-03-03T11:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。