論文の概要: PoseNet3D: Learning Temporally Consistent 3D Human Pose via Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2003.03473v2
• Date: Thu, 12 Nov 2020 05:07:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 20:08:18.239967
• Title: PoseNet3D: Learning Temporally Consistent 3D Human Pose via Knowledge Distillation
• Title（参考訳）: PoseNet3D:知識蒸留によるテンポラリな3次元人間詩の学習
• Authors: Shashank Tripathi, Siddhant Ranade, Ambrish Tyagi, Amit Agrawal
• Abstract要約: PoseNet3Dは入力として2D関節を取り、3DスケルトンとSMPLボディモデルパラメータを出力する。 まず,3Dスケルトンを出力する教師ネットワークをトレーニングし,その知識をSMPL表現で3Dスケルトンを予測する学生ネットワークに抽出する。 3次元ポーズ推定のためのHuman3.6Mデータセットの結果,従来の教師なし手法と比較して3次元関節予測誤差が18%減少することが示された。
• 参考スコア（独自算出の注目度）: 6.023152721616894
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recovering 3D human pose from 2D joints is a highly unconstrained problem. We propose a novel neural network framework, PoseNet3D, that takes 2D joints as input and outputs 3D skeletons and SMPL body model parameters. By casting our learning approach in a student-teacher framework, we avoid using any 3D data such as paired/unpaired 3D data, motion capture sequences, depth images or multi-view images during training. We first train a teacher network that outputs 3D skeletons, using only 2D poses for training. The teacher network distills its knowledge to a student network that predicts 3D pose in SMPL representation. Finally, both the teacher and the student networks are jointly fine-tuned in an end-to-end manner using temporal, self-consistency and adversarial losses, improving the accuracy of each individual network. Results on Human3.6M dataset for 3D human pose estimation demonstrate that our approach reduces the 3D joint prediction error by 18% compared to previous unsupervised methods. Qualitative results on in-the-wild datasets show that the recovered 3D poses and meshes are natural, realistic, and flow smoothly over consecutive frames.
• Abstract（参考訳）: 2次元関節から人間の3Dポーズを復元することは、非常に制約のない問題である。 本研究では,2次元関節を入力とし,3次元骨格とsmplボディモデルパラメータを出力する,新たなニューラルネットワークフレームワークであるponsnet3dを提案する。 学生と教師のフレームワークに学習アプローチを組み込むことで、トレーニング中にペア/アンペアの3dデータ、モーションキャプチャシーケンス、奥行き画像、マルチビュー画像などの3dデータの使用を回避します。 まず3Dスケルトンを出力する教師ネットワークをトレーニングし、トレーニングには2Dポーズのみを使用します。 教師ネットワークは、SMPL表現における3Dポーズを予測する学生ネットワークに知識を蒸留する。 最後に、教師と学生のネットワークは、時間的・自己整合性・対人的損失を用いて、エンドツーエンドで協調的に微調整され、個々のネットワークの精度が向上する。 3次元ポーズ推定のためのHuman3.6Mデータセットの結果,従来の教師なし手法と比較して3次元関節予測誤差が18%減少することが示された。 in-the-wildデータセットの質的結果は、回収された3dポーズとメッシュが自然でリアルで、連続したフレームをスムーズに流れることを示している。

関連論文リスト

• MPL: Lifting 3D Human Pose from Multi-view 2D Poses [75.26416079541723]
  本稿では,大規模かつリッチなトレーニングデータセットが存在する2次元ポーズ推定と,トランスフォーマーネットワークを用いた2次元から3次元ポーズリフトを提案する。 実験の結果,MPJPEの誤差は2次元ポーズを三角測量した3次元ポーズと比較して最大45%減少することがわかった。
  論文  参考訳（メタデータ） (2024-08-20T12:55:14Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• Learning to Estimate 3D Human Pose from Point Cloud [13.27496851711973]
  本稿では,複雑な人体構造物の表面をモデル化するための入力データとして,点雲データを用いた3次元ポーズ推定のための深層人体ポーズネットワークを提案する。 2つの公開データセットに対する実験により,従来の最先端手法よりも精度が高いことを示す。
  論文  参考訳（メタデータ） (2022-12-25T14:22:01Z)
• PONet: Robust 3D Human Pose Estimation via Learning Orientations Only [116.1502793612437]
  本稿では,学習向きのみを用いて3次元ポーズを頑健に推定できる新しいPose Orientation Net(PONet)を提案する。 PONetは、局所的な画像証拠を利用して、これらの手足の3D方向を推定し、3Dポーズを復元する。 我々は,Human3.6M,MPII,MPI-INF-3DHP,3DPWを含む複数のデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T12:48:48Z)
• Learning Temporal 3D Human Pose Estimation with Pseudo-Labels [3.0954251281114513]
  自己監督型3次元ポーズ推定のための簡易かつ効果的なアプローチを提案する。 我々は、マルチビューカメラシステムの2Dボディポーズ推定を三角測量に頼っている。 提案手法はHuman3.6MとMPI-INF-3DHPベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-10-14T17:40:45Z)
• 3D Human Pose Regression using Graph Convolutional Network [68.8204255655161]
  本稿では,2次元のポーズから3次元のポーズ回帰を行うために,PoseGraphNetというグラフ畳み込みネットワークを提案する。 我々のモデルの性能は最先端に近いが、パラメータははるかに少ない。
  論文  参考訳（メタデータ） (2021-05-21T14:41:31Z)
• Invariant Teacher and Equivariant Student for Unsupervised 3D Human Pose Estimation [28.83582658618296]
  3次元人間ポーズ推定のための教師学習フレームワークに基づく新しい手法を提案する。 本手法は最先端の教師なし手法と比較して3次元関節予測誤差を11.4%削減する。
  論文  参考訳（メタデータ） (2020-12-17T05:32:44Z)
• Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation [107.07047303858664]
  3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。 既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。 結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
  論文  参考訳（メタデータ） (2020-04-07T20:21:18Z)
• Chained Representation Cycling: Learning to Estimate 3D Human Pose and Shape by Cycling Between Representations [73.11883464562895]
  本稿では,教師なし,あるいは教師なしの学習を容易にする新しいアーキテクチャを提案する。 本研究では,非ペア画像と無注釈画像から3次元人物のポーズと形状を学習することにより,その手法を実証する。 人間をモデル化するための結果を示す一方で、私たちの定式化は一般的であり、他の視覚問題にも適用できる。
  論文  参考訳（メタデータ） (2020-01-06T14:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。