論文の概要: 3DHR-Co: A Collaborative Test-time Refinement Framework for In-the-Wild
3D Human-Body Reconstruction Task
- arxiv url: http://arxiv.org/abs/2310.01291v1
- Date: Mon, 2 Oct 2023 15:46:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 20:58:32.468128
- Title: 3DHR-Co: A Collaborative Test-time Refinement Framework for In-the-Wild
3D Human-Body Reconstruction Task
- Title（参考訳）: 3dhr-co:3次元人体再構築作業のための協調的なテスト時間改善フレームワーク
- Authors: Jonathan Samuel Lumentut and Kyoung Mu Lee
- Abstract要約: 協調的なアプローチで3DHRの試験時間改善作業を補完する戦略を提案する。
提案手法は,従来の3DHRバックボーンのスコアを最大-34mmのポーズ誤り抑制まで大きく向上させることができることを示す。
- 参考スコア（独自算出の注目度）: 63.85458454137262
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The field of 3D human-body reconstruction (abbreviated as 3DHR) that utilizes
parametric pose and shape representations has witnessed significant
advancements in recent years. However, the application of 3DHR techniques to
handle real-world, diverse scenes, known as in-the-wild data, still faces
limitations. The primary challenge arises as curating accurate 3D human pose
ground truth (GT) for in-the-wild scenes is still difficult to obtain due to
various factors. Recent test-time refinement approaches on 3DHR leverage
initial 2D off-the-shelf human keypoints information to support the lack of 3D
supervision on in-the-wild data. However, we observed that additional 2D
supervision alone could cause the overfitting issue on common 3DHR backbones,
making the 3DHR test-time refinement task seem intractable. We answer this
challenge by proposing a strategy that complements 3DHR test-time refinement
work under a collaborative approach. Specifically, we initially apply a
pre-adaptation approach that works by collaborating various 3DHR models in a
single framework to directly improve their initial outputs. This approach is
then further combined with the test-time adaptation work under specific
settings that minimize the overfitting issue to further boost the 3DHR
performance. The whole framework is termed as 3DHR-Co, and on the experiment
sides, we showed that the proposed work can significantly enhance the scores of
common classic 3DHR backbones up to -34 mm pose error suppression, putting them
among the top list on the in-the-wild benchmark data. Such achievement shows
that our approach helps unveil the true potential of the common classic 3DHR
backbones. Based on these findings, we further investigate various settings on
the proposed framework to better elaborate the capability of our collaborative
approach in the 3DHR task.
- Abstract（参考訳）: パラメトリックポーズと形状表現を利用した3次元人体再構成(3DHR)の分野は,近年顕著な進歩を遂げている。
しかし、実世界の多様なシーンを扱うための3DHR技術の適用は、いまだに限界に直面している。
主な課題は、様々な要因により、現場での正確な3次元ポーズの真理(GT)の算出が依然として困難であることである。
3DHRにおける最近の試験時間改善手法は、初期2Dオフザシェルフの人間のキーポイント情報を利用して、現場データにおける3D監視の欠如を支援する。
しかし,従来の3DHRのバックボーンに2Dの監視が加わっただけでオーバーフィッティングの問題が生じ,テストタイム改善作業が難しそうだ。
我々は,協調的アプローチで3dhrテストタイムリファインメント作業を補完する戦略を提案することで,この課題に答える。
具体的には、まず最初に、様々な3DHRモデルを単一のフレームワークで協調して初期出力を直接改善する、事前適応アプローチを適用する。
このアプローチはさらに,オーバーフィット問題を最小化して3DHRのパフォーマンスをさらに向上する,特定の設定下でのテスト時間適応作業と組み合わせられる。
フレームワーク全体を3DHR-Co(3DHR-Co)と呼び,実験側では,従来の3DHRバックボーンのスコアを最大-34mmのポーズ誤り抑制に大きく向上させることができることを示した。
このような成果は,従来の3DHRバックボーンの真の可能性を明らかにする上で有効であることを示している。
これらの知見に基づいて,提案手法の様々な設定について検討し,3DHRタスクにおける協調的アプローチの能力をより詳しく検討する。
関連論文リスト
- Markerless Multi-view 3D Human Pose Estimation: a survey [0.49157446832511503]
3D人間のポーズ推定は、複数の関節を検知することで、シーン内のすべての個人の骨格を再構築することを目的としている。
3Dポーズの再構築に関わるすべての課題を解決する方法はまだない。
さらに、高い精度の3Dポーズを計算コストで迅速に推測できるアプローチを開発するためには、さらなる研究が必要である。
論文 参考訳（メタデータ） (2024-07-04T10:44:35Z) - UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。
直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
論文 参考訳（メタデータ） (2024-04-23T00:18:00Z) - DiffuPose: Monocular 3D Human Pose Estimation via Denoising Diffusion
Probabilistic Model [25.223801390996435]
本稿では,1つの2次元キーポイント検出から3次元ポーズを再構築することに焦点を当てた。
我々は,市販の2D検出器から多種多様な3Dポーズを効果的にサンプリングするための,拡散に基づく新しいフレームワークを構築した。
我々は,広く採用されているHuman3.6MとHumanEva-Iデータセットについて評価を行った。
論文 参考訳（メタデータ） (2022-12-06T07:22:20Z) - Decanus to Legatus: Synthetic training for 2D-3D human pose lifting [26.108023246654646]
10個の手作り3Dポーズ(Decanus)に基づく3Dポーズ分布から無限個の合成人間のポーズ(Legatus)を生成するアルゴリズムを提案する。
この結果から,特定データセットの実際のデータを用いた手法に匹敵する3次元ポーズ推定性能を,ゼロショット設定で実現し,フレームワークの可能性を示した。
論文 参考訳（メタデータ） (2022-10-05T13:10:19Z) - Recovering 3D Human Mesh from Monocular Images: A Survey [49.00136388529404]
単眼画像から人間のポーズと形状を推定することは、コンピュータビジョンにおける長年の問題である。
本調査は, 単分子型3次元メッシュ回収の課題に焦点を当てた。
論文 参考訳（メタデータ） (2022-03-03T18:56:08Z) - Higher-Order Implicit Fairing Networks for 3D Human Pose Estimation [1.1501261942096426]
2次元から3次元のポーズ推定のための初期残差接続を持つ高階グラフ畳み込みフレームワークを提案する。
我々のモデルは、体節間の長距離依存関係を捉えることができる。
2つの標準ベンチマークで行った実験と改善研究は、我々のモデルの有効性を実証した。
論文 参考訳（メタデータ） (2021-11-01T13:48:55Z) - Adapted Human Pose: Monocular 3D Human Pose Estimation with Zero Real 3D
Pose Data [14.719976311208502]
トレーニングとテストデータドメインのギャップは、しばしばモデルのパフォーマンスに悪影響を及ぼします。
本稿では、外見とポーズ空間の両方における適応問題に対処する適応的ヒューマンポーズ(AHuP)アプローチを提案する。
AHuPは、実際のアプリケーションでは、ターゲットドメインからのデータはアクセスできないか、限られた情報しか取得できないという現実的な前提に基づいて構築されている。
論文 参考訳（メタデータ） (2021-05-23T01:20:40Z) - HMOR: Hierarchical Multi-Person Ordinal Relations for Monocular
Multi-Person 3D Pose Estimation [54.23770284299979]
本稿では, 階層型多人数常連関係(HMOR)を新たに導入する。
HMORは相互作用情報を階層的に深さと角度の順序関係として符号化する。
統合トップダウンモデルは、学習プロセスにおけるこれらの順序関係を活用するように設計されている。
提案手法は, 公開されている多人数の3Dポーズデータセットにおいて, 最先端の手法を著しく上回っている。
論文 参考訳（メタデータ） (2020-08-01T07:53:27Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳（メタデータ） (2020-04-09T07:55:01Z) - Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D
Human Pose Estimation [107.07047303858664]
3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。
既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。
結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
論文 参考訳（メタデータ） (2020-04-07T20:21:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。