論文の概要: PoseSyn: Synthesizing Diverse 3D Pose Data from In-the-Wild 2D Data

• arxiv url: http://arxiv.org/abs/2503.13025v1
• Date: Mon, 17 Mar 2025 10:28:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:34:59.141979
• Title: PoseSyn: Synthesizing Diverse 3D Pose Data from In-the-Wild 2D Data
• Title（参考訳）: PoseSyn: In-the-Wild 2Dデータから横型3D Poseデータを合成する
• Authors: ChangHee Yang, Hyeonseop Song, Seokhun Choi, Seungwoo Lee, Jaechul Kim, Hoseok Do,
• Abstract要約: PoseSynは、野生の2Dポーズデータセットから多様な3Dポーズイメージペアに変換する、新しいデータ合成フレームワークである。 挑戦的なポーズと外観に合わせた人間のアニメーションモデルを通じて現実的な3Dトレーニングデータを生成することで、PoseSynはさまざまな3Dポーズ推定器の精度を最大14%向上させる。
• 参考スコア（独自算出の注目度）: 1.264462543503282
• License:
• Abstract: Despite considerable efforts to enhance the generalization of 3D pose estimators without costly 3D annotations, existing data augmentation methods struggle in real world scenarios with diverse human appearances and complex poses. We propose PoseSyn, a novel data synthesis framework that transforms abundant in the wild 2D pose dataset into diverse 3D pose image pairs. PoseSyn comprises two key components: Error Extraction Module (EEM), which identifies challenging poses from the 2D pose datasets, and Motion Synthesis Module (MSM), which synthesizes motion sequences around the challenging poses. Then, by generating realistic 3D training data via a human animation model aligned with challenging poses and appearances PoseSyn boosts the accuracy of various 3D pose estimators by up to 14% across real world benchmarks including various backgrounds and occlusions, challenging poses, and multi view scenarios. Extensive experiments further confirm that PoseSyn is a scalable and effective approach for improving generalization without relying on expensive 3D annotations, regardless of the pose estimator's model size or design.
• Abstract（参考訳）: コストのかかる3Dアノテーションを使わずに3Dのポーズ推定を一般化する努力にもかかわらず、既存のデータ拡張手法は、さまざまな人間の外見と複雑なポーズを持つ現実世界のシナリオで苦労している。 野生の2次元ポーズデータセットを多種多様な3次元ポーズ画像ペアに変換する新しいデータ合成フレームワークであるPoseSynを提案する。 PoseSynは2つの重要なコンポーネントで構成されている: エラー抽出モジュール(EEM)は、2Dポーズデータセットからの挑戦的なポーズを識別する。 次に、人間のアニメーションモデルを通じて現実的な3Dトレーニングデータを生成して、挑戦的なポーズと外観に合わせることで、PoseSynは、さまざまなバックグラウンドやオクルージョン、挑戦的なポーズ、マルチビューシナリオを含む実世界のベンチマークにおいて、さまざまな3Dポーズ推定器の精度を最大14%向上させる。 さらに大規模な実験により、PoseSynは、ポーズ推定器のモデルサイズや設計に関係なく、高価な3Dアノテーションに頼ることなく、一般化を改善するためのスケーラブルで効果的なアプローチであることを確認した。

関連論文リスト

• Lifting Motion to the 3D World via 2D Diffusion [19.64801640086107]
  トレーニング用に2次元ポーズシーケンスのみを用いてグローバルな3次元動作を予測する新しいアプローチであるMVLiftを紹介する。 MVLiftは、人間のポーズ、人間とオブジェクトの相互作用、動物のポーズなど、さまざまな領域を一般化する。
  論文  参考訳（メタデータ） (2024-11-27T23:26:56Z)
• MPL: Lifting 3D Human Pose from Multi-view 2D Poses [75.26416079541723]
  本稿では,大規模かつリッチなトレーニングデータセットが存在する2次元ポーズ推定と,トランスフォーマーネットワークを用いた2次元から3次元ポーズリフトを提案する。 実験の結果,MPJPEの誤差は2次元ポーズを三角測量した3次元ポーズと比較して最大45%減少することがわかった。
  論文  参考訳（メタデータ） (2024-08-20T12:55:14Z)
• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• Two Views Are Better than One: Monocular 3D Pose Estimation with Multiview Consistency [0.493599216374976]
  本稿では,2次元の教師のみによるトレーニングデータの追加を可能にするために,新たな損失関数であるマルチビュー整合性を提案する。 実験の結果,2つの視点を90度にオフセットすれば良好な性能が得られることがわかった。 本研究は3次元ポーズ推定におけるドメイン適応の新たな可能性を導入し,特定のアプリケーション向けにモデルをカスタマイズするための実用的で費用対効果の高いソリューションを提供する。
  論文  参考訳（メタデータ） (2023-11-21T08:21:55Z)
• MPM: A Unified 2D-3D Human Pose Representation via Masked Pose Modeling [59.74064212110042]
  mpmcanは、3D人間のポーズ推定、クラッドされた2Dポーズからの3Dポーズ推定、3Dポーズ完了をtextocbsingleフレームワークで処理する。 MPI-INF-3DHPにおいて、広く使われているポーズデータセットの広範な実験とアブレーション研究を行い、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-06-29T10:30:00Z)
• Decanus to Legatus: Synthetic training for 2D-3D human pose lifting [26.108023246654646]
  10個の手作り3Dポーズ(Decanus)に基づく3Dポーズ分布から無限個の合成人間のポーズ(Legatus)を生成するアルゴリズムを提案する。 この結果から,特定データセットの実際のデータを用いた手法に匹敵する3次元ポーズ推定性能を,ゼロショット設定で実現し,フレームワークの可能性を示した。
  論文  参考訳（メタデータ） (2022-10-05T13:10:19Z)
• PoseAug: A Differentiable Pose Augmentation Framework for 3D Human Pose Estimation [83.50127973254538]
  既存の3D人間のポーズ推定器は、新しいデータセットへの一般化性能が悪い。 PoseAugは、より多くの多様性に向けて利用可能なトレーニングのポーズを強化することを学ぶ新しい自動増強フレームワークです。
  論文  参考訳（メタデータ） (2021-05-06T06:57:42Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)
• Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation [107.07047303858664]
  3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。 既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。 結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
  論文  参考訳（メタデータ） (2020-04-07T20:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。