論文の概要: SelfGeo: Self-supervised and Geodesic-consistent Estimation of Keypoints on Deformable Shapes

• arxiv url: http://arxiv.org/abs/2408.02291v1
• Date: Mon, 5 Aug 2024 08:00:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 14:16:18.622379
• Title: SelfGeo: Self-supervised and Geodesic-consistent Estimation of Keypoints on Deformable Shapes
• Title（参考訳）: SelfGeo: 変形可能な形状上のキーポイントの自己監督的および測地的一貫性の推定
• Authors: Mohammad Zohaib, Luca Cosmo, Alessio Del Bue,
• Abstract要約: 自己教師型手法であるSelfGeoは、人間のアノテーションを必要とせず、任意のPCDから非剛体物体の3次元キーポイントを計算する。 我々の主な貢献は、そのキーポイントをその形状に沿って変形させ、その間の測地線距離を一定に保つことである。 本研究では,測地学の利用が動的シーンに挑戦する上で明らかな優位性があることを実験的に示す。
• 参考スコア（独自算出の注目度）: 19.730602733938216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised 3D keypoints estimation from Point Cloud Data (PCD) is a complex task, even more challenging when an object shape is deforming. As keypoints should be semantically and geometrically consistent across all the 3D frames - each keypoint should be anchored to a specific part of the deforming shape irrespective of intrinsic and extrinsic motion. This paper presents, "SelfGeo", a self-supervised method that computes persistent 3D keypoints of non-rigid objects from arbitrary PCDs without the need of human annotations. The gist of SelfGeo is to estimate keypoints between frames that respect invariant properties of deforming bodies. Our main contribution is to enforce that keypoints deform along with the shape while keeping constant geodesic distances among them. This principle is then propagated to the design of a set of losses which minimization let emerge repeatable keypoints in specific semantic locations of the non-rigid shape. We show experimentally that the use of geodesic has a clear advantage in challenging dynamic scenes and with different classes of deforming shapes (humans and animals). Code and data are available at: https://github.com/IIT-PAVIS/SelfGeo
• Abstract（参考訳）: ポイントクラウドデータ(PCD)からの教師なしの3Dキーポイント推定は複雑なタスクであり、オブジェクトの形状が変形しているときにさらに難しい。 キーポイントは、すべての3Dフレームに意味的かつ幾何学的に整合性を持たなければならないので、各キーポイントは、本質的な動きや外生的な動きに関わらず、変形する形状の特定の部分に固定されるべきである。 本稿では,人間のアノテーションを必要とせずに任意のPCDから非剛体物体の3次元キーポイントを連続的に計算する自己教師型手法「SelfGeo」を提案する。 SelfGeoのギストは、変形体の不変性を尊重するフレーム間のキーポイントを推定することである。 我々の主な貢献は、そのキーポイントをその形状に沿って変形させ、その間の測地線距離を一定に保つことである。 この原理は、非剛体形状の特定の意味的位置において、繰り返し可能なキーポイントを最小化する一連の損失の設計に伝達される。 本研究では, 動的シーンの挑戦や変形形態(人間や動物)の異なるクラスにおいて, 測地学の利用が明確な優位性を持つことを実験的に示す。 コードとデータは、https://github.com/IIT-PAVIS/SelfGeo.comで入手できる。

関連論文リスト

• Zero-Shot 3D Shape Correspondence [67.18775201037732]
  本稿では,3次元形状間の対応性を計算するためのゼロショット手法を提案する。 我々は、最近の基礎モデルの言語と視覚における例外的な推論能力を活用している。 提案手法は, 強い非等尺形状の間において, ゼロショット方式で高確率な結果をもたらす。
  論文  参考訳（メタデータ） (2023-06-05T21:14:23Z)
• Few-shot Geometry-Aware Keypoint Localization [13.51645400661565]
  意味的に一貫したキーポイント定義をローカライズすることを学ぶ新しい定式化を提案する。 ユーザラベル付き2D画像を入力例として使用し、セルフスーパービジョンで拡張する。 鍵点を昇華するために3次元幾何学的制約を導入し、より正確な2次元ローカライゼーションを実現する。
  論文  参考訳（メタデータ） (2023-03-30T08:19:42Z)
• Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
  我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。 我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-12-17T15:05:25Z)
• Piecewise Planar Hulls for Semi-Supervised Learning of 3D Shape and Pose from 2D Images [133.68032636906133]
  本研究では,1つの2次元画像から,物体の3次元形状とポーズをキーポイントで推定する問題について検討する。 形状とポーズは、カテゴリによって収集された画像と、その部分的な2Dキーポイントアノテーションから直接学習される。
  論文  参考訳（メタデータ） (2022-11-14T16:18:11Z)
• SNAKE: Shape-aware Neural 3D Keypoint Field [62.91169625183118]
  形状復元には点雲から3Dキーポイントを検出することが重要である。 形状再構成は3次元キーポイント検出に有効か? 本稿では,形状認識型ニューラル3Dキーポイントフィールドに短いSNAKEという,教師なしの新たなパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-06-03T17:58:43Z)
• KeypointDeformer: Unsupervised 3D Keypoint Discovery for Shape Control [64.46042014759671]
  keypointdeformerは、自動検出された3dキーポイントによる形状制御の教師なし方式である。 本手法は, 直観的かつ意味論的に形状変形の制御を行う。
  論文  参考訳（メタデータ） (2021-04-22T17:59:08Z)
• UKPGAN: A General Self-Supervised Keypoint Detector [43.35270822722044]
  UKPGANは一般的な3Dキーポイント検出器である。 私たちのキーポイントは、注釈付きキーポイントラベルとよく一致します。 我々のモデルは、剛性と非剛性変換の両方の下で安定である。
  論文  参考訳（メタデータ） (2020-11-24T09:08:21Z)
• Unsupervised Learning of Category-Specific Symmetric 3D Keypoints from Point Sets [71.84892018102465]
  本稿では,未知のカテゴリから,対象物の3次元点群を不一致に集めて,カテゴリ固有の3Dキーポイントを教師なしで学習することを目的とする。 私たちの知る限りでは、このようなキーポイントを直接3Dポイントクラウドから学ぶための最初の作業です。
  論文  参考訳（メタデータ） (2020-03-17T10:28:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。