論文の概要: Improving the Robustness of 3D Human Pose Estimation: A Benchmark and
Learning from Noisy Input
- arxiv url: http://arxiv.org/abs/2312.06797v1
- Date: Mon, 11 Dec 2023 19:13:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 18:24:46.101847
- Title: Improving the Robustness of 3D Human Pose Estimation: A Benchmark and
Learning from Noisy Input
- Title（参考訳）: 人間の3次元姿勢推定のロバスト性向上:騒音入力からのベンチマークと学習
- Authors: Trung-Hieu Hoang, Mona Zehni, Huy Phan, Minh N. Do
- Abstract要約: 本研究では,2次元から3次元のポーズリフタのロバスト性に着目した。
汚職の存在下では,最先端の3Dポーズリフトの一般化が不十分であるのを観察する。
本稿では, 時間付加型ガウスノイズ(TAGN)を, 単純かつ効果的な2次元入力ポーズデータ拡張として導入する。
2次元ポーズ検出器によって出力される信頼度スコアを組み込むため、我々は、信頼を意識した畳み込み(CA-Conv)ブロックを設計する。
- 参考スコア（独自算出の注目度）: 23.848556540064294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the promising performance of current 3D human pose estimation
techniques, understanding and enhancing their generalization on challenging
in-the-wild videos remain an open problem. In this work, we focus on the
robustness of 2D-to-3D pose lifters. To this end, we develop two benchmark
datasets, namely Human3.6M-C and HumanEva-I-C, to examine the robustness of
video-based 3D pose lifters to a wide range of common video corruptions
including temporary occlusion, motion blur, and pixel-level noise. We observe
the poor generalization of state-of-the-art 3D pose lifters in the presence of
corruption and establish two techniques to tackle this issue. First, we
introduce Temporal Additive Gaussian Noise (TAGN) as a simple yet effective 2D
input pose data augmentation. Additionally, to incorporate the confidence
scores output by the 2D pose detectors, we design a confidence-aware
convolution (CA-Conv) block. Extensively tested on corrupted videos, the
proposed strategies consistently boost the robustness of 3D pose lifters and
serve as new baselines for future research.
- Abstract（参考訳）: 現在の3Dポーズ推定技術の有望な性能にもかかわらず、挑戦する映像の理解と一般化は未解決の問題である。
本研究では,2次元から3次元のポーズリフタのロバスト性に着目した。
そこで本研究では,2つのベンチマークデータセット,human3.6m-cとhumaneva-i-cを開発し,ビデオベースの3dポーズリフトのロバスト性について検討した。
我々は,汚職の存在下での最先端の3dポーズリフトの一般化が貧弱であることを観察し,この問題に取り組むための2つの手法を確立した。
まず,時間付加型ガウスノイズ(TAGN)を簡単な2次元入力ポーズデータ拡張として導入する。
さらに、2次元ポーズ検出器が出力する信頼度スコアを組み込むため、信頼度対応畳み込み(ca-conv)ブロックを設計する。
腐敗したビデオで徹底的にテストされ、提案された戦略は一貫して3Dポーズリフトの堅牢性を高め、将来の研究の新たなベースラインとなる。
関連論文リスト
- MPL: Lifting 3D Human Pose from Multi-view 2D Poses [75.26416079541723]
本稿では,大規模かつリッチなトレーニングデータセットが存在する2次元ポーズ推定と,トランスフォーマーネットワークを用いた2次元から3次元ポーズリフトを提案する。
実験の結果,MPJPEの誤差は2次元ポーズを三角測量した3次元ポーズと比較して最大45%減少することがわかった。
論文 参考訳（メタデータ） (2024-08-20T12:55:14Z) - UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。
直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
論文 参考訳（メタデータ） (2024-04-23T00:18:00Z) - CameraPose: Weakly-Supervised Monocular 3D Human Pose Estimation by
Leveraging In-the-wild 2D Annotations [25.05308239278207]
一つの画像から3次元のポーズ推定を行うための弱教師付きフレームワークであるCameraPoseを提案する。
カメラパラメータブランチを追加することで、Wildの2Dアノテーションをパイプラインに投入して、トレーニングの多様性を高めることができます。
また、2次元ポーズ推定器によって抽出されたノイズの多い2Dキーポイントの品質をさらに向上させるため、信頼誘導損失を有する改良型ネットワークモジュールも導入する。
論文 参考訳（メタデータ） (2023-01-08T05:07:41Z) - DiffuPose: Monocular 3D Human Pose Estimation via Denoising Diffusion
Probabilistic Model [25.223801390996435]
本稿では,1つの2次元キーポイント検出から3次元ポーズを再構築することに焦点を当てた。
我々は,市販の2D検出器から多種多様な3Dポーズを効果的にサンプリングするための,拡散に基づく新しいフレームワークを構築した。
我々は,広く採用されているHuman3.6MとHumanEva-Iデータセットについて評価を行った。
論文 参考訳（メタデータ） (2022-12-06T07:22:20Z) - Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence
Learning [70.75369367311897]
3D対応のグローバルな対応は、グローバルな意味的相関、局所的な変形、および3D人体の幾何学的先行を共同でエンコードする信頼性のあるフローである。
対向ジェネレータは、3D認識フローによって歪んだ衣服と、対象者の画像とを入力として、フォトリアリスティックな試着結果を合成する。
論文 参考訳（メタデータ） (2022-11-25T12:16:21Z) - Uplift and Upsample: Efficient 3D Human Pose Estimation with Uplifting
Transformers [28.586258731448687]
時間的にスパースな2Dポーズシーケンスを操作できるTransformerベースのポーズアップリフト方式を提案する。
本稿では,Transformerブロック内の時間的アップサンプリングにマスク付きトークンモデリングをどのように利用できるかを示す。
我々は,Human3.6M と MPI-INF-3DHP の2つのベンチマークデータセットを用いて評価を行った。
論文 参考訳（メタデータ） (2022-10-12T12:00:56Z) - PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and
Hallucination under Self-supervision [102.48681650013698]
既存の自己監督型3次元ポーズ推定スキームは、学習を導くための弱い監督に大きく依存している。
そこで我々は,2D-3Dのポーズペアを明示的に生成し,監督を増強する,新しい自己監督手法を提案する。
これは、ポーズ推定器とポーズ幻覚器を併用して学習する強化学習ベースの模倣器を導入することで可能となる。
論文 参考訳（メタデータ） (2022-03-29T14:45:53Z) - PONet: Robust 3D Human Pose Estimation via Learning Orientations Only [116.1502793612437]
本稿では,学習向きのみを用いて3次元ポーズを頑健に推定できる新しいPose Orientation Net(PONet)を提案する。
PONetは、局所的な画像証拠を利用して、これらの手足の3D方向を推定し、3Dポーズを復元する。
我々は,Human3.6M,MPII,MPI-INF-3DHP,3DPWを含む複数のデータセットについて評価を行った。
論文 参考訳（メタデータ） (2021-12-21T12:48:48Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳（メタデータ） (2020-10-27T03:31:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。