論文の概要: Weakly Supervised 3D Hand Pose Estimation via Biomechanical Constraints

• arxiv url: http://arxiv.org/abs/2003.09282v2
• Date: Tue, 4 Aug 2020 15:55:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 22:43:10.388611
• Title: Weakly Supervised 3D Hand Pose Estimation via Biomechanical Constraints
• Title（参考訳）: バイオメカニカル制約による3次元手の位置推定
• Authors: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, Jan Kautz
• Abstract要約: 2次元画像から3次元手ポーズを推定することは、固有のスケールと深さのあいまいさのために困難で逆問題である。 提案した制約は深度あいまいさを著しく低減し, 付加的な2次元アノテート画像の有効利用を可能にした。
• 参考スコア（独自算出の注目度）: 112.15463517171571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating 3D hand pose from 2D images is a difficult, inverse problem due to the inherent scale and depth ambiguities. Current state-of-the-art methods train fully supervised deep neural networks with 3D ground-truth data. However, acquiring 3D annotations is expensive, typically requiring calibrated multi-view setups or labor intensive manual annotations. While annotations of 2D keypoints are much easier to obtain, how to efficiently leverage such weakly-supervised data to improve the task of 3D hand pose prediction remains an important open question. The key difficulty stems from the fact that direct application of additional 2D supervision mostly benefits the 2D proxy objective but does little to alleviate the depth and scale ambiguities. Embracing this challenge we propose a set of novel losses. We show by extensive experiments that our proposed constraints significantly reduce the depth ambiguity and allow the network to more effectively leverage additional 2D annotated images. For example, on the challenging freiHAND dataset using additional 2D annotation without our proposed biomechanical constraints reduces the depth error by only $15\%$, whereas the error is reduced significantly by $50\%$ when the proposed biomechanical constraints are used.
• Abstract（参考訳）: 2次元画像から3次元手ポーズを推定することは、固有のスケールと深さのあいまいさによる逆問題である。 最新の最先端手法は、3次元地中データを用いた完全教師付き深層ニューラルネットワークを訓練する。 しかし、3Dアノテーションの取得は高価であり、通常、校正されたマルチビュー設定や労働集約的なマニュアルアノテーションを必要とする。 2Dキーポイントのアノテーションはより容易に取得できるが、3Dハンドポーズ予測のタスクを改善するために、このような弱い教師付きデータを効率的に活用する方法は、依然として重要な問題である。 重要な難点は、追加の2d監督の直接適用が主に2dプロキシの目的に有利であるが、深さやスケールの曖昧さを軽減できないという事実にある。 この課題を受け入れるために、我々は一連の新しい損失を提案する。 提案する制約により深さの曖昧さが著しく減少し,さらに2次元アノテート画像を効果的に活用できることを示した。 例えば、提案したバイオメカニカル制約を使わずに追加の2Dアノテーションを用いた挑戦的なFreiHANDデータセットでは、深度誤差をわずか15 %$で削減する一方、提案したバイオメカニカル制約を使用すると、エラーは50 %$で大幅に減少する。

関連論文リスト

• TokenHMR: Advancing Human Mesh Recovery with a Tokenized Pose Representation [48.08156777874614]
  現在の手法では3次元擬似地下構造(p-GT)と2次元鍵点を利用して、堅牢な性能を実現している。 このような手法により、3次元ポーズ精度のパラドックス的低下が観察され、2次元精度が増大する。 現行のカメラモデルによる誤差を定量化し、2Dキーポイントとp-GTの装着が正確な3Dポーズを引き起こすことを示す。
  論文  参考訳（メタデータ） (2024-04-25T17:09:14Z)
• Two Views Are Better than One: Monocular 3D Pose Estimation with Multiview Consistency [0.493599216374976]
  本稿では,2次元の教師のみによるトレーニングデータの追加を可能にするために,新たな損失関数であるマルチビュー整合性を提案する。 実験の結果,2つの視点を90度にオフセットすれば良好な性能が得られることがわかった。 本研究は3次元ポーズ推定におけるドメイン適応の新たな可能性を導入し,特定のアプリケーション向けにモデルをカスタマイズするための実用的で費用対効果の高いソリューションを提供する。
  論文  参考訳（メタデータ） (2023-11-21T08:21:55Z)
• Weakly-supervised Pre-training for 3D Human Pose Estimation via Perspective Knowledge [36.65402869749077]
  本研究では,3次元ポーズを監督せずに2次元画像から直接弱い3次元情報を抽出する手法を提案する。 画像中の2点間の深度関係を識別するために,弱教師付き事前学習(WSP)戦略を提案する。 WSPは2つの広く使用されているベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2022-11-22T03:35:15Z)
• Depth Is All You Need for Monocular 3D Detection [29.403235118234747]
  教師なしの方法で対象領域に深度表現を合わせることを提案する。 本手法では, トレーニング時間中に利用可能なLiDARやRGBビデオを利用して深度表現を微調整し, 改良された3D検出器を実現する。
  論文  参考訳（メタデータ） (2022-10-05T18:12:30Z)
• PONet: Robust 3D Human Pose Estimation via Learning Orientations Only [116.1502793612437]
  本稿では,学習向きのみを用いて3次元ポーズを頑健に推定できる新しいPose Orientation Net(PONet)を提案する。 PONetは、局所的な画像証拠を利用して、これらの手足の3D方向を推定し、3Dポーズを復元する。 我々は,Human3.6M,MPII,MPI-INF-3DHP,3DPWを含む複数のデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T12:48:48Z)
• Model-based 3D Hand Reconstruction via Self-Supervised Learning [72.0817813032385]
  シングルビューのRGB画像から3Dハンドを再構成することは、様々な手構成と深さのあいまいさのために困難である。 ポーズ, 形状, テクスチャ, カメラ視点を共同で推定できる, 自己教師型3Dハンド再構成ネットワークであるS2HANDを提案する。 初めて手動アノテーションを使わずに、正確な3D手の再構築ネットワークを訓練できることを実証しました。
  論文  参考訳（メタデータ） (2021-03-22T10:12:43Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation [107.07047303858664]
  3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。 既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。 結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
  論文  参考訳（メタデータ） (2020-04-07T20:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。