論文の概要: Unsupervised 3D Keypoint Discovery with Multi-View Geometry

• arxiv url: http://arxiv.org/abs/2211.12829v2
• Date: Thu, 8 Feb 2024 03:02:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 19:58:38.291094
• Title: Unsupervised 3D Keypoint Discovery with Multi-View Geometry
• Title（参考訳）: マルチビュー幾何による教師なし3次元キーポイント発見
• Authors: Sina Honari, Chen Zhao, Mathieu Salzmann, Pascal Fua
• Abstract要約: 本研究では,多視点画像から人体上の3Dキーポイントを,監督やラベルなしで発見するアルゴリズムを提案する。 我々の手法は、他の最先端の教師なしアプローチと比較して、より解釈可能で正確な3Dキーポイントを発見する。
• 参考スコア（独自算出の注目度）: 104.76006413355485
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Analyzing and training 3D body posture models depend heavily on the availability of joint labels that are commonly acquired through laborious manual annotation of body joints or via marker-based joint localization using carefully curated markers and capturing systems. However, such annotations are not always available, especially for people performing unusual activities. In this paper, we propose an algorithm that learns to discover 3D keypoints on human bodies from multiple-view images without any supervision or labels other than the constraints multiple-view geometry provides. To ensure that the discovered 3D keypoints are meaningful, they are re-projected to each view to estimate the person's mask that the model itself has initially estimated without supervision. Our approach discovers more interpretable and accurate 3D keypoints compared to other state-of-the-art unsupervised approaches on Human3.6M and MPI-INF-3DHP benchmark datasets.
• Abstract（参考訳）: 3次元姿勢モデルの解析と訓練は、身体関節の厳密な手動アノテーションや、注意深いマーカーとキャプチャーシステムを用いたマーカーベースの関節局在によって一般的に取得される関節ラベルの可用性に大きく依存する。 しかし、特に異例な活動を行う人にとっては、このアノテーションが常に利用できるとは限らない。 本稿では,多視点画像から人体上の3次元キーポイントを発見するアルゴリズムを提案する。 発見された3Dキーポイントが有意義であることを保証するため、各ビューに再プロジェクションされ、モデル自体が当初監督なしで見積もっていたことを人のマスクを推定する。 提案手法は,Human3.6M や MPI-INF-3DHP ベンチマークデータセットの非教師なしアプローチと比較して,より解釈可能で正確な3Dキーポイントを発見する。

関連論文リスト

• X as Supervision: Contending with Depth Ambiguity in Unsupervised Monocular 3D Pose Estimation [12.765995624408557]
  マルチハイポテーシス検出と複数の調整済みプレテキストタスクを特徴とする教師なしフレームワークを提案する。 ローカルウィンドウ内のヒートマップから複数の仮説を抽出し、マルチソリューション問題を効果的に管理する。 プリテキストタスクは、SMPLモデルからの3D人間の事前情報を利用して、ポーズ推定の解空間を規則化し、それを3D人間の構造を経験的分布と整合させる。
  論文  参考訳（メタデータ） (2024-11-20T04:18:11Z)
• Geometry-Biased Transformer for Robust Multi-View 3D Human Pose Reconstruction [3.069335774032178]
  マルチビュー2次元ポーズシーケンスから3次元ポーズを推定するエンコーダ・デコーダ変換アーキテクチャを提案する。 我々は、Human3.6M、CMU Panoptic、Occlusion-Personsの3つのベンチマーク公開データセットで実験を行った。
  論文  参考訳（メタデータ） (2023-12-28T16:30:05Z)
• BKinD-3D: Self-Supervised 3D Keypoint Discovery from Multi-View Videos [38.16427363571254]
  本研究では,行動エージェントのマルチビュー映像から3次元の自己教師付きキーポイント発見を行う手法を提案する。 提案手法であるBKinD-3Dでは,エンコーダデコーダアーキテクチャと3次元熱マップを用いて,複数のビューの差分を再構成する。
  論文  参考訳（メタデータ） (2022-12-14T18:34:29Z)
• On Triangulation as a Form of Self-Supervision for 3D Human Pose Estimation [57.766049538913926]
  ラベル付きデータが豊富である場合, 単一画像からの3次元ポーズ推定に対する改良されたアプローチは, 極めて効果的である。 最近の注目の多くは、セミと(あるいは)弱い教師付き学習に移行している。 本稿では,多視点の幾何学的制約を,識別可能な三角測量を用いて課し,ラベルがない場合の自己監督の形式として用いることを提案する。
  論文  参考訳（メタデータ） (2022-03-29T19:11:54Z)
• Learning Temporal 3D Human Pose Estimation with Pseudo-Labels [3.0954251281114513]
  自己監督型3次元ポーズ推定のための簡易かつ効果的なアプローチを提案する。 我々は、マルチビューカメラシステムの2Dボディポーズ推定を三角測量に頼っている。 提案手法はHuman3.6MとMPI-INF-3DHPベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-10-14T17:40:45Z)
• Encoder-decoder with Multi-level Attention for 3D Human Shape and Pose Estimation [61.98690211671168]
  本稿では,マルチレベルアテンション・デコーダ・ネットワーク(MAED)を提案する。 3DPWのトレーニングセットにより、MAEDはPA-MPJPEの6.2、7.2、2.4mmの従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-09-06T09:06:17Z)
• VoxelTrack: Multi-Person 3D Human Pose Estimation and Tracking in the Wild [98.69191256693703]
  本稿では,VoxelTrackを用いて,多人数の3次元ポーズ推定と,広義のベースラインで分離された少数のカメラからの追跡を行う。 マルチブランチネットワークを使用して、環境中のすべての人に3Dポーズと再識別機能(Re-ID)を共同で推定する。 これは、Shelf、Campus、CMU Panopticの3つの公開データセットに対して、最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2021-08-05T08:35:44Z)
• Unsupervised Learning of Visual 3D Keypoints for Control [104.92063943162896]
  高次元画像からの感覚運動制御ポリシーの学習は、基礎となる視覚表現の品質に大きく依存する。 本稿では,画像から3次元幾何学的構造を直接教師なしで学習するフレームワークを提案する。 これらの発見された3Dキーポイントは、時間と3D空間の両方で一貫した方法で、ロボットの関節と物体の動きを有意義にキャプチャする傾向がある。
  論文  参考訳（メタデータ） (2021-06-14T17:59:59Z)
• KAMA: 3D Keypoint Aware Body Mesh Articulation [79.04090630502782]
  本稿では,パラメトリックなボディーモデルSMPLを簡単な幾何学的変換によって記述する解析解を提案する。 今回のアプローチは,最先端のアプローチと比較して,画像コンテンツのアライメントが大幅に向上する。 挑戦的な3DPWおよびHuman3.6Mの結果は私達のアプローチが最先端のボディ網付属品をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-04-27T23:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。