Fugu-MT 論文翻訳(概要): MVHM: A Large-Scale Multi-View Hand Mesh Benchmark for Accurate 3D Hand Pose Estimation

論文の概要: MVHM: A Large-Scale Multi-View Hand Mesh Benchmark for Accurate 3D Hand Pose Estimation

arxiv url: http://arxiv.org/abs/2012.03206v1
Date: Sun, 6 Dec 2020 07:55:08 GMT
ステータス: 処理完了
システム内更新日: 2021-05-21 13:57:28.722948
Title: MVHM: A Large-Scale Multi-View Hand Mesh Benchmark for Accurate 3D Hand Pose Estimation
Title（参考訳）: MVHM: 高精度3次元ハンドマップ推定のための大規模マルチビューハンドメッシュベンチマーク
Authors: Liangjian Chen, Shih-Yao Lin, Yusheng Xie, Yen-Yu Lin, and Xiaohui Xie
Abstract要約: 1枚のRGB画像から3Dハンドポーズを推定することは困難である。我々は、任意のターゲットメッシュ基底真理に一致する剛性メッシュモデルを可能にするスピンマッチングアルゴリズムを設計する。提案手法は,提案するデータセットを用いて手ポーズ推定器の訓練が性能を大幅に向上させることを示す。
参考スコア（独自算出の注目度）: 32.12879364117658
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Estimating 3D hand poses from a single RGB image is challenging because depth ambiguity leads the problem ill-posed. Training hand pose estimators with 3D hand mesh annotations and multi-view images often results in significant performance gains. However, existing multi-view datasets are relatively small with hand joints annotated by off-the-shelf trackers or automated through model predictions, both of which may be inaccurate and can introduce biases. Collecting a large-scale multi-view 3D hand pose images with accurate mesh and joint annotations is valuable but strenuous. In this paper, we design a spin match algorithm that enables a rigid mesh model matching with any target mesh ground truth. Based on the match algorithm, we propose an efficient pipeline to generate a large-scale multi-view hand mesh (MVHM) dataset with accurate 3D hand mesh and joint labels. We further present a multi-view hand pose estimation approach to verify that training a hand pose estimator with our generated dataset greatly enhances the performance. Experimental results show that our approach achieves the performance of 0.990 in $\text{AUC}_{\text{20-50}}$ on the MHP dataset compared to the previous state-of-the-art of 0.939 on this dataset. Our datasset is public available. \footnote{\url{https://github.com/Kuzphi/MVHM}} Our datasset is available at~\href{https://github.com/Kuzphi/MVHM}{\color{blue}{https://github.com/Kuzphi/MVHM}}.
Abstract（参考訳）: 1枚のRGB画像から3Dハンドポーズを推定することは困難である。 3Dハンドメッシュアノテーションとマルチビューイメージを備えたトレーニングハンドポーズ推定器は、しばしば大きなパフォーマンス向上をもたらす。しかし、既存のマルチビューデータセットは比較的小さく、市販のトラッカーによって注釈付けされたハンドジョイントやモデル予測によって自動化されている。大規模なマルチビュー3Dハンドのコレクションは、正確なメッシュとジョイントアノテーションでイメージを合成する。本論文では,任意の目標メッシュ基底真理に一致する剛性メッシュモデルを実現するスピンマッチングアルゴリズムを設計する。マッチングアルゴリズムに基づいて,高精度な3次元ハンドメッシュとジョイントラベルを用いた大規模マルチビューハンドメッシュ(mvhm)データセットを生成する効率的なパイプラインを提案する。さらに,提案するデータセットを用いた手ポーズ推定器のトレーニングが性能を大幅に向上させるため,多視点手ポーズ推定手法を提案する。実験結果から,MHPデータセット上での0.990 in $\text{AUC}_{\text{20-50}}$に対して,従来の0.939の状態と比較して0.990の処理性能が得られた。私たちのデータセットは公開されています。私たちのデータセットは、~\href{https://github.com/Kuzphi/MVHM}{\color{blue}{https://github.com/Kuzphi/MVHM}}で利用可能です。

関連論文リスト

Monocular 3D Hand Mesh Recovery via Dual Noise Estimation [47.82179706128616]
画像によく整合したメッシュを生成するための二重雑音推定手法を提案する。提案手法は,大規模なInterhand2.6Mデータセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2023-12-26T07:21:01Z)
Reconstructing Hands in 3D with Transformers [64.15390309553892]
単分子入力から3次元の手を再構成する手法を提案する。ハンドメッシュリカバリに対する我々のアプローチであるHaMeRは、完全にトランスフォーマーベースのアーキテクチャを踏襲し、以前の作業に比べて精度と堅牢性を大幅に向上させながら、ハンドを解析できる。
論文参考訳（メタデータ） (2023-12-08T18:59:07Z)
PF-LRM: Pose-Free Large Reconstruction Model for Joint Pose and Shape Prediction [77.89935657608926]
画像から3Dオブジェクトを再構成するためのPF-LRM(Pose-Free Large Restruction Model)を提案する。 PF-LRMは1つのA100 GPU上で1.3秒で相対カメラのポーズを同時に推定する。
論文参考訳（メタデータ） (2023-11-20T18:57:55Z)
End-to-end Weakly-supervised Single-stage Multiple 3D Hand Mesh Reconstruction from a Single RGB Image [9.238322841389994]
複数手再構成のための単一段パイプラインを提案する。具体的には,複数ヘッドのオートエンコーダ構造を設計し,各ヘッドネットワークが同じ特徴マップを共有し,ハンドセンター,ポーズ,テクスチャを出力する。本手法は,弱教師付き手法と完全教師付き手法の両方において,最先端のモデルベース手法よりも優れる。
論文参考訳（メタデータ） (2022-04-18T03:57:14Z)
Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction [57.3636347704271]
RGB画像からの3Dハンドメッシュ再構築は拡張現実(AR)を含む多くのアプリケーションに役立つ本稿では,手指再建作業を3段階に分割し,新しいパイプラインを提案する。高品質な指レベルのメッシュイメージアライメントを促進し、モデルをまとめて、リアルタイムな予測を実現することができます。
論文参考訳（メタデータ） (2021-09-03T20:42:01Z)
HandVoxNet++: 3D Hand Shape and Pose Estimation using Voxel-Based Neural Networks [71.09275975580009]
HandVoxNet++は、完全に教師された方法でトレーニングされた3Dおよびグラフ畳み込みを備えた、ボクセルベースのディープネットワークである。 HandVoxNet++は2つの手形状表現に依存している。1つは手形状の3Dボキセル化グリッドで、メッシュトポロジを保存していない。我々は、新しいニューラルグラフ畳み込みに基づくメッシュレジストレーション(GCN-MeshReg)または古典的セグメントワイド非リジッド重力法(NRGA++)と、手表面をボキセル化ハンド形状に整列させることにより、両表現の利点を組み合わせる。
論文参考訳（メタデータ） (2021-07-02T17:59:54Z)
Im2Mesh GAN: Accurate 3D Hand Mesh Recovery from a Single RGB Image [31.371190180801452]
入力画像から直接ハンドメッシュを学習できることが示される。我々は、エンドツーエンドの学習を通してメッシュを学習するための新しいタイプのGANIm2Mesh GANを提案する。
論文参考訳（メタデータ） (2021-01-27T07:38:01Z)
MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis [81.40640219844197]
モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
論文参考訳（メタデータ） (2020-10-02T18:27:34Z)
BiHand: Recovering Hand Mesh with Multi-stage Bisected Hourglass Networks [37.65510556305611]
本稿では,2次元シードステージ,3次元リフトステージ,メッシュ生成ステージの3段階からなる,エンドツーエンドで学習可能なモデルBiHandを紹介する。 BiHandの出力では、ネットワークから予測される関節回転と形状パラメータを用いて全手メッシュを復元する。本モデルでは,最先端手法と比較して精度が向上し,いくつかの厳しい条件下で魅力的な3Dハンドメッシュを作成できる。
論文参考訳（メタデータ） (2020-08-12T03:13:17Z)
Multi-Person Absolute 3D Human Pose Estimation with Weak Depth Supervision [0.0]
弱教師付きでRGB-D画像を追加してトレーニングできるネットワークを導入する。我々のアルゴリズムは、単眼で、多人、絶対的なポーズ推定器である。アルゴリズムを複数のベンチマークで評価し,一貫した誤差率の向上を示した。
論文参考訳（メタデータ） (2020-04-08T13:29:22Z)
HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose Estimation from a Single Depth Map [72.93634777578336]
弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
論文参考訳（メタデータ） (2020-04-03T14:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。