論文の概要: Understanding Pose and Appearance Disentanglement in 3D Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2309.11667v1
• Date: Wed, 20 Sep 2023 22:22:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 17:32:36.024274
• Title: Understanding Pose and Appearance Disentanglement in 3D Human Pose Estimation
• Title（参考訳）: 3次元ポーズ推定におけるポーズと外観の絡み合いの理解
• Authors: Krishna Kanth Nakka and Mathieu Salzmann
• Abstract要約: ポーズ情報から外見情報を引き離すために,自己教師型で画像表現を学習する手法がいくつか提案されている。 我々は,多種多様な画像合成実験を通じて,自己教師ネットワークの観点から,ゆがみについて検討する。 我々は,対象の自然な外見変化を生起することに焦点を当てた敵対的戦略を設計し,その反対に,絡み合ったネットワークが堅牢であることを期待している。
• 参考スコア（独自算出の注目度）: 72.50214227616728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As 3D human pose estimation can now be achieved with very high accuracy in the supervised learning scenario, tackling the case where 3D pose annotations are not available has received increasing attention. In particular, several methods have proposed to learn image representations in a self-supervised fashion so as to disentangle the appearance information from the pose one. The methods then only need a small amount of supervised data to train a pose regressor using the pose-related latent vector as input, as it should be free of appearance information. In this paper, we carry out in-depth analysis to understand to what degree the state-of-the-art disentangled representation learning methods truly separate the appearance information from the pose one. First, we study disentanglement from the perspective of the self-supervised network, via diverse image synthesis experiments. Second, we investigate disentanglement with respect to the 3D pose regressor following an adversarial attack perspective. Specifically, we design an adversarial strategy focusing on generating natural appearance changes of the subject, and against which we could expect a disentangled network to be robust. Altogether, our analyses show that disentanglement in the three state-of-the-art disentangled representation learning frameworks if far from complete, and that their pose codes contain significant appearance information. We believe that our approach provides a valuable testbed to evaluate the degree of disentanglement of pose from appearance in self-supervised 3D human pose estimation.
• Abstract（参考訳）: 教師付き学習シナリオでは,3次元のポーズ推定が極めて高い精度で達成できるようになったため,3次元のポーズアノテーションが利用できないケースに対処することが注目されている。 特に、ポーズ情報から外観情報を切り離すために、自己教師型で画像表現を学習する方法がいくつか提案されている。 それらの手法は、ポーズ関連潜伏ベクトルを入力として、ポーズ回帰器を訓練するために少数の教師付きデータしか必要としない。 そこで本稿では,映像の出現情報とポーズ情報とを真に分離した,最先端の異種表現学習手法を理解するために,詳細な分析を行う。 まず, 自己教師ネットワークの観点から, 多様な画像合成実験を通して, 絡み合いについて検討する。 第2に,3次元ポーズレグレッセプタに対する対向攻撃の観点からの絡み合いについて検討する。 具体的には,対象者の自然な外観変化の発生に着目した敵戦略をデザインし,異種ネットワークの堅牢化を期待する。 分析結果から,3つの不連続表現学習フレームワークにおける不連続は,完成までに程遠い場合と,ポーズコードに有意な出現情報が含まれていることが示された。 本手法は,自己監督型3次元ポーズ推定における外見からのポーズのゆがみの程度を評価する上で,有効なテストベッドを提供すると考えられる。

関連論文リスト

• Self-supervised 3D Human Pose Estimation from a Single Image [1.0878040851638]
  本研究では,1枚の画像から3次元人体ポーズを予測する自己教師型手法を提案する。 予測ネットワークは、典型的なポーズの人物と、未ペアの2Dポーズのセットを描写した未ラベル画像のデータセットから訓練される。
  論文  参考訳（メタデータ） (2023-04-05T10:26:21Z)
• Learning to Estimate 3D Human Pose from Point Cloud [13.27496851711973]
  本稿では,複雑な人体構造物の表面をモデル化するための入力データとして,点雲データを用いた3次元ポーズ推定のための深層人体ポーズネットワークを提案する。 2つの公開データセットに対する実験により,従来の最先端手法よりも精度が高いことを示す。
  論文  参考訳（メタデータ） (2022-12-25T14:22:01Z)
• MagicPony: Learning Articulated 3D Animals in the Wild [81.63322697335228]
  そこで本研究では,オブジェクトカテゴリのワンビュー画像から,この予測器を純粋に学習するMagicPonyを提案する。 その中核は、明瞭な形状と外観を暗黙的に表現し、神経磁場とメッシュの強さを組み合わせたものである。
  論文  参考訳（メタデータ） (2022-11-22T18:59:31Z)
• Learning Dynamics via Graph Neural Networks for Human Pose Estimation and Tracking [98.91894395941766]
  ポーズ検出とは無関係なポーズダイナミクスを学習する新しいオンライン手法を提案する。 具体的には、空間的・時間的情報と視覚的情報の両方を明示的に考慮したグラフニューラルネットワーク(GNN)を通して、このダイナミクスの予測を導出する。 PoseTrack 2017とPoseTrack 2018データセットの実験では、提案手法が人間のポーズ推定とトラッキングタスクの両方において、技術の現状よりも優れた結果が得られることを示した。
  論文  参考訳（メタデータ） (2021-06-07T16:36:50Z)
• PoseContrast: Class-Agnostic Object Viewpoint Estimation in the Wild with Pose-Aware Contrastive Learning [23.608940131120637]
  3次元形状の知識を持たず,クラス非依存な3次元物体ポーズ推定の課題を考察する。 このアイデアは、目に見えないクラスのポーズを推定するために、観測されたクラスで学んだ機能を利用していますが、同様のジオメトリと正規フレームを観測されたクラスと共有します。 追加形状情報を使用する方法や検出された境界ボックスを使用する場合を含め,最先端の結果を報告する。
  論文  参考訳（メタデータ） (2021-05-12T13:21:24Z)
• Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement [63.853412753242615]
  優れた3次元ポーズ表現を学習することは、人間のポーズ関連タスクにとって重要である。 本稿では,3次元ポーズ表現を学習するために,新しいシームズ・デノナイズドオートエンコーダを提案する。 提案手法は,2つの本質的に異なるタスクに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-07-14T14:25:22Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)
• Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the Wild [101.70320427145388]
  本稿では、3Dアノテーションを必要としない弱教師付きアプローチを提案し、ラベルのないマルチビューデータから3Dポーズを推定する。 提案手法を2つの大規模データセット上で評価する。
  論文  参考訳（メタデータ） (2020-03-17T08:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。