論文の概要: 3D Human Keypoints Estimation From Point Clouds in the Wild Without Human Labels

• arxiv url: http://arxiv.org/abs/2306.04745v1
• Date: Wed, 7 Jun 2023 19:46:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 17:52:15.307721
• Title: 3D Human Keypoints Estimation From Point Clouds in the Wild Without Human Labels
• Title（参考訳）: ヒトのラベルのない野生の点雲からの3次元ヒトキーポイントの推定
• Authors: Zhenzhen Weng, Alexander S. Gorban, Jingwei Ji, Mahyar Najibi, Yin Zhou, Dragomir Anguelov
• Abstract要約: GC-KPLは、人間のラベルなしでポイントクラウドから3Dの人間の関節位置を学習するためのアプローチである。 人間の注釈付きキーポイントを使わずに大規模なトレーニングセットでトレーニングを行うことで、完全に教師されたアプローチと比較して合理的なパフォーマンスを実現することができることを示す。
• 参考スコア（独自算出の注目度）: 78.69095161350059
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training a 3D human keypoint detector from point clouds in a supervised manner requires large volumes of high quality labels. While it is relatively easy to capture large amounts of human point clouds, annotating 3D keypoints is expensive, subjective, error prone and especially difficult for long-tail cases (pedestrians with rare poses, scooterists, etc.). In this work, we propose GC-KPL - Geometry Consistency inspired Key Point Leaning, an approach for learning 3D human joint locations from point clouds without human labels. We achieve this by our novel unsupervised loss formulations that account for the structure and movement of the human body. We show that by training on a large training set from Waymo Open Dataset without any human annotated keypoints, we are able to achieve reasonable performance as compared to the fully supervised approach. Further, the backbone benefits from the unsupervised training and is useful in downstream fewshot learning of keypoints, where fine-tuning on only 10 percent of the labeled training data gives comparable performance to fine-tuning on the entire set. We demonstrated that GC-KPL outperforms by a large margin over SoTA when trained on entire dataset and efficiently leverages large volumes of unlabeled data.
• Abstract（参考訳）: 点雲から3d人間のキーポイント検出器を教師付きで訓練するには、大量の高品質のラベルが必要となる。 大量の人点雲を捕捉することは比較的容易であるが、3Dキーポイントの注釈付けは高価で主観的で、エラーの傾向があり、特にロングテールケース(稀なポーズ、スクーター乗りなど)では困難である。 本稿では,人間ラベルのない点群から3次元の関節位置を学習するためのアプローチであるKey Point LeaningにインスパイアされたGC-KPL - Geometry Consistencyを提案する。 我々は、人体の構造と運動を考慮した新しい教師なし損失定式化によってこれを達成する。 Waymo Open Datasetからの大規模なトレーニングセットを人間の注釈付きキーポイントなしでトレーニングすることで、完全に教師されたアプローチと比較して合理的なパフォーマンスを実現することができることを示す。 さらに、バックボーンは教師なしのトレーニングの恩恵を受け、キーポイントのダウンストリームの少数ショット学習に役立ち、ラベル付きトレーニングデータの10%のみを微調整することで、セット全体の微調整に匹敵するパフォーマンスが得られる。 我々は、GC-KPLがデータセット全体のトレーニングにおいて、SoTAよりも大きなマージンで優れ、ラベルのない大量のデータを効率的に活用できることを実証した。

関連論文リスト

• Unsupervised 3D Keypoint Discovery with Multi-View Geometry [104.76006413355485]
  本研究では,多視点画像から人体上の3Dキーポイントを,監督やラベルなしで発見するアルゴリズムを提案する。 我々の手法は、他の最先端の教師なしアプローチと比較して、より解釈可能で正確な3Dキーポイントを発見する。
  論文  参考訳（メタデータ） (2022-11-23T10:25:12Z)
• Self-Supervised Learning with Multi-View Rendering for 3D Point Cloud Analysis [33.31864436614945]
  本稿では,3次元点雲モデルのための新しい事前学習手法を提案する。 我々の事前訓練は、局所的なピクセル/ポイントレベルの対応損失と、大域的な画像/ポイントの雲のレベル損失によって自己管理される。 これらの改善されたモデルは、さまざまなデータセットや下流タスクにおける既存の最先端メソッドよりも優れています。
  論文  参考訳（メタデータ） (2022-10-28T05:23:03Z)
• COARSE3D: Class-Prototypes for Contrastive Learning in Weakly-Supervised 3D Point Cloud Segmentation [16.072116380353393]
  COARSE3Dは、3Dセグメンテーションのための新しいアーキテクチャに依存しない対照的な学習戦略である。 我々は、クラスワイドなグローバルデータセット情報を効率的にキャプチャするプロトタイプメモリバンクを、キーとして機能する少数のプロトタイプに活用する。 実験では、3つの挑戦的な現実世界の屋外データセットのベースラインを上回り、0.001%のアノテーションで作業します。
  論文  参考訳（メタデータ） (2022-10-04T17:54:53Z)
• Point Discriminative Learning for Unsupervised Representation Learning on 3D Point Clouds [54.31515001741987]
  3次元点雲上での教師なし表現学習のための点識別学習法を提案する。 我々は、中間レベルとグローバルレベルの特徴に新しい点識別損失を課すことにより、これを達成した。 提案手法は強力な表現を学習し,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-08-04T15:11:48Z)
• Self-Supervised Pretraining of 3D Features on any Point-Cloud [40.26575888582241]
  3D登録なしで任意の3Dデータを扱うことができる簡単な自己監督関連方法を紹介します。 オブジェクト検出、セマンティックセグメンテーション、オブジェクト分類の9つのベンチマークでモデルを評価し、最新の結果を達成し、教師付きプリトレーニングを上回ります。
  論文  参考訳（メタデータ） (2021-01-07T18:55:21Z)
• S3K: Self-Supervised Semantic Keypoints for Robotic Manipulation via Multi-View Consistency [11.357804868755155]
  視覚的表現として意味的な3Dキーポイントを提唱し,半教師あり学習目標を示す。 局所的なテクスチャベースのアプローチとは異なり、我々のモデルは広い領域からコンテキスト情報を統合する。 意味的キーポイントを特定することで、人間の理解可能な行動の高レベルなスクリプティングが可能になることを実証する。
  論文  参考訳（メタデータ） (2020-09-30T14:44:54Z)
• PointContrast: Unsupervised Pre-training for 3D Point Cloud Understanding [107.02479689909164]
  本研究では,3次元表現学習の研究を支援することを目的とする。 教師なし事前学習が3Dシーンの大規模なソースセットに与える影響を計測する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:22Z)
• Weakly Supervised Semantic Point Cloud Segmentation:Towards 10X Fewer Labels [77.65554439859967]
  トレーニング段階でラベル付けされるポイントのごく一部しか必要としない,弱教師付きポイントクラウドセグメンテーション手法を提案する。 実験は3つの公開データセットで行われ、監督の度合いが異なる。
  論文  参考訳（メタデータ） (2020-04-08T16:14:41Z)
• Multi-Path Region Mining For Weakly Supervised 3D Semantic Segmentation on Point Clouds [67.0904905172941]
  本稿では,3次元点雲上の弱ラベルを用いた点レベルの予測のための弱教師付きアプローチを提案する。 私たちの知る限りでは、これは、クラウドレベルの弱いラベルを生の3D空間で使用して、ポイントクラウドセマンティックセグメンテーションネットワークをトレーニングする最初の方法です。
  論文  参考訳（メタデータ） (2020-03-29T14:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。