論文の概要: PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision

• arxiv url: http://arxiv.org/abs/2203.15625v1
• Date: Tue, 29 Mar 2022 14:45:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 15:40:45.729912
• Title: PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision
• Title（参考訳）: PoseTriplet: 自己監督下での3次元人文推定・模倣・幻覚の共進化
• Authors: Kehong Gong, Bingbing Li, Jianfeng Zhang, Tao Wang, Jing Huang, Michael Bi Mi, Jiashi Feng, Xinchao Wang
• Abstract要約: 既存の自己監督型3次元ポーズ推定スキームは、学習を導くための弱い監督に大きく依存している。 そこで我々は,2D-3Dのポーズペアを明示的に生成し,監督を増強する,新しい自己監督手法を提案する。 これは、ポーズ推定器とポーズ幻覚器を併用して学習する強化学習ベースの模倣器を導入することで可能となる。
• 参考スコア（独自算出の注目度）: 102.48681650013698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing self-supervised 3D human pose estimation schemes have largely relied on weak supervisions like consistency loss to guide the learning, which, inevitably, leads to inferior results in real-world scenarios with unseen poses. In this paper, we propose a novel self-supervised approach that allows us to explicitly generate 2D-3D pose pairs for augmenting supervision, through a self-enhancing dual-loop learning framework. This is made possible via introducing a reinforcement-learning-based imitator, which is learned jointly with a pose estimator alongside a pose hallucinator; the three components form two loops during the training process, complementing and strengthening one another. Specifically, the pose estimator transforms an input 2D pose sequence to a low-fidelity 3D output, which is then enhanced by the imitator that enforces physical constraints. The refined 3D poses are subsequently fed to the hallucinator for producing even more diverse data, which are, in turn, strengthened by the imitator and further utilized to train the pose estimator. Such a co-evolution scheme, in practice, enables training a pose estimator on self-generated motion data without relying on any given 3D data. Extensive experiments across various benchmarks demonstrate that our approach yields encouraging results significantly outperforming the state of the art and, in some cases, even on par with results of fully-supervised methods. Notably, it achieves 89.1% 3D PCK on MPI-INF-3DHP under self-supervised cross-dataset evaluation setup, improving upon the previous best self-supervised methods by 8.6%. Code can be found at: https://github.com/Garfield-kh/PoseTriplet
• Abstract（参考訳）: 既存の自己監督型3Dポーズ推定スキームは、学習を導くために一貫性の喪失のような弱い監督に大きく依存しており、必然的に、目に見えないポーズを持つ現実世界のシナリオでは劣る結果をもたらしている。 本稿では, 2次元3次元ポーズペアを明示的に生成し, 自己強化型デュアルループ学習フレームワークを用いて, 自己教師型アプローチを提案する。 これは強化学習に基づく模倣器の導入により実現され、ポーズ推定器と共にポーズ推定器と共に学習され、3つの構成要素はトレーニングプロセス中に2つのループを形成し、互いに補完し、強化する。 特に、ポーズ推定器は入力された2Dポーズシーケンスを低忠実度3D出力に変換し、物理制約を強制する模倣者によって強化する。 洗練された3dポーズはその後、さらに多様なデータを生成するために幻覚剤に供給され、そのデータはさらに模倣器によって強化され、さらにポーズ推定器の訓練に利用される。 このような共進化的スキームは、実際には、任意の3Dデータに頼ることなく、自己生成した動きデータに対してポーズ推定器を訓練することができる。 様々なベンチマークによる大規模な実験により、我々の手法は、技術の現状を著しく上回り、場合によっては、完全に教師された手法の結果と同等な結果をもたらすことが示されている。 特に、MPI-INF-3DHP上の89.1%の3D PCKを自己教師付きクロスデータセット評価設定で達成し、以前の最高の自己教師付き手法を8.6%改善した。 コードは、https://github.com/Garfield-kh/PoseTripletで参照できる。

関連論文リスト

• CameraPose: Weakly-Supervised Monocular 3D Human Pose Estimation by Leveraging In-the-wild 2D Annotations [25.05308239278207]
  一つの画像から3次元のポーズ推定を行うための弱教師付きフレームワークであるCameraPoseを提案する。 カメラパラメータブランチを追加することで、Wildの2Dアノテーションをパイプラインに投入して、トレーニングの多様性を高めることができます。 また、2次元ポーズ推定器によって抽出されたノイズの多い2Dキーポイントの品質をさらに向上させるため、信頼誘導損失を有する改良型ネットワークモジュールも導入する。
  論文  参考訳（メタデータ） (2023-01-08T05:07:41Z)
• Optimising 2D Pose Representation: Improve Accuracy, Stability and Generalisability Within Unsupervised 2D-3D Human Pose Estimation [7.294965109944706]
  2次元ポーズの最も最適な表現は2つの独立した部分(胴体と脚)であり、各リフトネットワーク間に共通な特徴はない。 その結果、2次元ポーズの最も最適な表現は2つの独立した部分(胴体と脚)であり、各リフトネットワーク間に共通な特徴はないことがわかった。
  論文  参考訳（メタデータ） (2022-09-01T17:32:52Z)
• On Triangulation as a Form of Self-Supervision for 3D Human Pose Estimation [57.766049538913926]
  ラベル付きデータが豊富である場合, 単一画像からの3次元ポーズ推定に対する改良されたアプローチは, 極めて効果的である。 最近の注目の多くは、セミと(あるいは)弱い教師付き学習に移行している。 本稿では,多視点の幾何学的制約を,識別可能な三角測量を用いて課し,ラベルがない場合の自己監督の形式として用いることを提案する。
  論文  参考訳（メタデータ） (2022-03-29T19:11:54Z)
• PONet: Robust 3D Human Pose Estimation via Learning Orientations Only [116.1502793612437]
  本稿では,学習向きのみを用いて3次元ポーズを頑健に推定できる新しいPose Orientation Net(PONet)を提案する。 PONetは、局所的な画像証拠を利用して、これらの手足の3D方向を推定し、3Dポーズを復元する。 我々は,Human3.6M,MPII,MPI-INF-3DHP,3DPWを含む複数のデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T12:48:48Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• Unsupervised Cross-Modal Alignment for Multi-Person 3D Pose Estimation [52.94078950641959]
  マルチパーソン・ヒューマン・ポーズ推定のためのデプロイフレンドリーで高速なボトムアップ・フレームワークを提案する。 我々は,人物の位置を対応する3Dポーズ表現と統一する,多人数の3Dポーズのニューラル表現を採用する。 ペア化された2Dまたは3Dポーズアノテーションが利用できない実用的な配置パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-08-04T07:54:25Z)
• Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation [107.07047303858664]
  3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。 既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。 結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
  論文  参考訳（メタデータ） (2020-04-07T20:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。