論文の概要: PoSynDA: Multi-Hypothesis Pose Synthesis Domain Adaptation for Robust 3D Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2308.09678v2
• Date: Mon, 16 Oct 2023 17:07:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 04:00:06.089451
• Title: PoSynDA: Multi-Hypothesis Pose Synthesis Domain Adaptation for Robust 3D Human Pose Estimation
• Title（参考訳）: PoSynDA:ロバストな3次元ポース推定のための多相ポス合成領域適応
• Authors: Hanbing Liu, Jun-Yan He, Zhi-Qi Cheng, Wangmeng Xiang, Qize Yang, Wenhao Chai, Gaoang Wang, Xu Bao, Bin Luo, Yifeng Geng, Xuansong Xie
• Abstract要約: 既存の3Dポーズ推定器は、トレーニングセットに2D-3Dポーズペアが欠如しているため、新しいデータセットに適応する際の課題に直面している。 textitMulti-Hypothesis textbfPose textbfSynthesis textbfDomain textbfAdaptation (textbfPoSynDA) フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 31.123581504322825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing 3D human pose estimators face challenges in adapting to new datasets due to the lack of 2D-3D pose pairs in training sets. To overcome this issue, we propose \textit{Multi-Hypothesis \textbf{P}ose \textbf{Syn}thesis \textbf{D}omain \textbf{A}daptation} (\textbf{PoSynDA}) framework to bridge this data disparity gap in target domain. Typically, PoSynDA uses a diffusion-inspired structure to simulate 3D pose distribution in the target domain. By incorporating a multi-hypothesis network, PoSynDA generates diverse pose hypotheses and aligns them with the target domain. To do this, it first utilizes target-specific source augmentation to obtain the target domain distribution data from the source domain by decoupling the scale and position parameters. The process is then further refined through the teacher-student paradigm and low-rank adaptation. With extensive comparison of benchmarks such as Human3.6M and MPI-INF-3DHP, PoSynDA demonstrates competitive performance, even comparable to the target-trained MixSTE model\cite{zhang2022mixste}. This work paves the way for the practical application of 3D human pose estimation in unseen domains. The code is available at https://github.com/hbing-l/PoSynDA.
• Abstract（参考訳）: 既存の3Dポーズ推定器は、トレーニングセットに2D-3Dポーズペアが欠如しているため、新しいデータセットに適応する際の課題に直面している。 この問題を解決するために、ターゲット領域におけるデータ格差を補うために、textit{Multi-Hypothesis \textbf{P}ose \textbf{Syn}thesis \textbf{D}omain \textbf{A}daptation} (\textbf{PoSynDA})フレームワークを提案する。 通常、PoSynDAは拡散にインスパイアされた構造を用いて、ターゲット領域の3Dポーズ分布をシミュレートする。 多仮説ネットワークを組み込むことで、PoSynDAは多様なポーズ仮説を生成し、ターゲットドメインと整列させる。 これを実現するために、まずターゲット固有のソース拡張を利用して、スケールと位置パラメータを分離することで、ソースドメインからターゲットドメイン分布データを取得する。 この過程は教師・生徒のパラダイムと低位適応によってさらに洗練される。 Human3.6M や MPI-INF-3DHP などのベンチマークとの比較により、PoSynDA はターゲットトレーニングされた MixSTE モデルに匹敵する競争性能を示した。 この研究は、見えない領域における3次元人間のポーズ推定の実用的応用への道を開くものである。 コードはhttps://github.com/hbing-l/PoSynDAで入手できる。

関連論文リスト

• 3D Human Pose Estimation with Occlusions: Introducing BlendMimic3D Dataset and GCN Refinement [6.858859328420893]
  この研究は、HPE(3D Human Pose Estimation)における最先端のギャップを特定し、対処する。 BlendMimic3Dデータセットは,オクルージョンが発生している現実世界の状況を模倣するように設計されている。 また,グラフモデルによるポーズ表現を強化するために,GCN(Graph Convolutional Network)を用いた3次元ポーズ改善ブロックを提案する。
  論文  参考訳（メタデータ） (2024-04-24T18:49:37Z)
• Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis Aggregation [64.874000550443]
  ジョイントワイズ・リジェクション・ベース・マルチハイブリッド・アグリゲーション(JPMA)を用いた拡散型3次元ポス推定法を提案する。 提案したJPMAは,D3DPが生成する複数の仮説を1つの3次元ポーズにまとめて実用的に利用する。 提案手法は, 最先端の決定論的アプローチと確率論的アプローチをそれぞれ1.5%, 8.9%上回った。
  論文  参考訳（メタデータ） (2023-03-21T04:00:47Z)
• Self-supervised Human Mesh Recovery with Cross-Representation Alignment [20.69546341109787]
  自己教師付きヒューマンメッシュリカバリ手法は、3Dアノテーション付きベンチマークデータセットの可用性と多様性が制限されているため、一般化性が低い。 頑健だがスパースな表現(2Dキーポイント)からの相補的情報を利用した相互表現アライメントを提案する。 この適応的相互表現アライメントは、偏差から明示的に学習し、相補的な情報(疎表現からの豊かさと密表現からの堅牢さ)をキャプチャする。
  論文  参考訳（メタデータ） (2022-09-10T04:47:20Z)
• Domain-Adaptive 3D Medical Image Synthesis: An Efficient Unsupervised Approach [6.775765193869768]
  本研究は,3次元画像-画像合成モデルの領域適応を探求することに焦点を当てる。 本稿では,3次元分布を近似した2次元変分オートエンコーダに基づく新しい適応手法を提案する。 提案手法は, 未確認領域の合成精度を3次元設定で大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2022-07-02T14:24:19Z)
• Non-Local Latent Relation Distillation for Self-Adaptive 3D Human Pose Estimation [63.199549837604444]
  3次元ポーズ推定アプローチは、強い(2D/3Dポーズ)または弱い(複数ビューまたは深さ)ペアによる監督の異なる形態を利用する。 我々は3Dポーズ学習を,ラベル付きソースドメインから完全に損なわれないターゲットへのタスク知識の転送を目的とした,自己指導型適応問題として捉えた。 我々は、異なる自己適応設定を評価し、標準ベンチマークで最先端の3Dポーズ推定性能を示す。
  論文  参考訳（メタデータ） (2022-04-05T03:52:57Z)
• Asymmetric 3D Context Fusion for Universal Lesion Detection [55.61873234187917]
  3Dネットワークは、3Dコンテキストでは強いが、教師付き事前トレーニングがない。 既存の3Dコンテキスト融合演算子は空間対称に設計されており、畳み込みのように各2Dスライス上で同一の操作を行う。 本研究では, 異なる重みを持つ非対称な3次元コンテキスト融合演算子 (A3D) を提案し, 異なる2次元スライスから3次元コンテキストを融合させる。
  論文  参考訳（メタデータ） (2021-09-17T16:25:10Z)
• 3D Human Pose Regression using Graph Convolutional Network [68.8204255655161]
  本稿では,2次元のポーズから3次元のポーズ回帰を行うために,PoseGraphNetというグラフ畳み込みネットワークを提案する。 我々のモデルの性能は最先端に近いが、パラメータははるかに少ない。
  論文  参考訳（メタデータ） (2021-05-21T14:41:31Z)
• Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose [70.23652933572647]
  本稿では,人間のメッシュ頂点の3次元座標を直接推定するグラフ畳み込みニューラルネットワーク(GraphCNN)を提案する。 我々のPose2Meshは、様々なベンチマークデータセットにおいて、以前の3次元人間のポーズとメッシュ推定方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-20T16:01:56Z)
• Weakly Supervised Generative Network for Multiple 3D Human Pose Hypotheses [74.48263583706712]
  単一画像からの3次元ポーズ推定は、欠落した深さのあいまいさに起因する逆問題である。 逆問題に対処するために,弱い教師付き深層生成ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-08-13T09:26:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。