論文の概要: Mesh Represented Recycle Learning for 3D Hand Pose and Mesh Estimation

• arxiv url: http://arxiv.org/abs/2310.12189v1
• Date: Wed, 18 Oct 2023 09:50:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 18:28:18.157171
• Title: Mesh Represented Recycle Learning for 3D Hand Pose and Mesh Estimation
• Title（参考訳）: 3dハンドポーズとメッシュ推定のためのリサイクル学習を表すメッシュ
• Authors: Bosang Kim, Jonghyun Kim, Hyotae Lee, Lanying Jin, Jeongwon Ha, Dowoo Kwon, Jungpyo Kim, Wonhyeok Im, KyungMin Jin, and Jungho Lee
• Abstract要約: 本稿では,3次元ハンドポーズとメッシュ推定のためのメッシュ表現型リサイクル学習戦略を提案する。 具体的には、ハンドポーズとメッシュ推定モデルはまずパラメトリックな3Dハンドアノテーションを予測する。 次に、自己推定手メッシュ表現を用いて合成手画像を生成する。 第3に、合成手画像は同じモデルに再び入力される。
• 参考スコア（独自算出の注目度）: 3.126179109712709
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In general, hand pose estimation aims to improve the robustness of model performance in the real-world scenes. However, it is difficult to enhance the robustness since existing datasets are obtained in restricted environments to annotate 3D information. Although neural networks quantitatively achieve a high estimation accuracy, unsatisfied results can be observed in visual quality. This discrepancy between quantitative results and their visual qualities remains an open issue in the hand pose representation. To this end, we propose a mesh represented recycle learning strategy for 3D hand pose and mesh estimation which reinforces synthesized hand mesh representation in a training phase. To be specific, a hand pose and mesh estimation model first predicts parametric 3D hand annotations (i.e., 3D keypoint positions and vertices for hand mesh) with real-world hand images in the training phase. Second, synthetic hand images are generated with self-estimated hand mesh representations. After that, the synthetic hand images are fed into the same model again. Thus, the proposed learning strategy simultaneously improves quantitative results and visual qualities by reinforcing synthetic mesh representation. To encourage consistency between original model output and its recycled one, we propose self-correlation loss which maximizes the accuracy and reliability of our learning strategy. Consequently, the model effectively conducts self-refinement on hand pose estimation by learning mesh representation from its own output. To demonstrate the effectiveness of our learning strategy, we provide extensive experiments on FreiHAND dataset. Notably, our learning strategy improves the performance on hand pose and mesh estimation without any extra computational burden during the inference.
• Abstract（参考訳）: 一般に、ハンドポーズ推定は実世界のシーンにおけるモデルパフォーマンスのロバスト性を改善することを目的としている。 しかし,制約環境において既存のデータセットを取得して3d情報に注釈を付けるため,ロバスト性を高めることは困難である。 ニューラルネットワークは定量的に高い推定精度を達成するが、不満足な結果は視覚的品質で観察できる。 この定量的結果と視覚的品質の相違は、手ポーズ表現において未解決の問題である。 そこで本研究では,3次元ハンドポーズとメッシュ推定のためのリサイクル学習戦略として,合成されたハンドメッシュ表現をトレーニング段階で強化するメッシュを提案する。 具体的には、ハンドポーズとメッシュ推定モデルは、トレーニングフェーズにおいて実世界のハンドイメージとパラメトリックな3Dハンドアノテーション(例えば、ハンドメッシュのキーポイント位置と頂点)を予測する。 次に、自己推定手メッシュ表現を用いて合成手画像を生成する。 その後、合成された手の画像が再び同じモデルに送られます。 そこで,提案する学習戦略は,合成メッシュ表現を補強することにより,定量的な結果と視覚品質を同時に改善する。 そこで本研究では,本研究の学習戦略の正確性と信頼性を最大化する自己相関損失を提案する。 その結果、モデルでは、自身の出力からメッシュ表現を学習することで、手振り推定を効果的に行うことができる。 学習戦略の有効性を示すため,FreiHANDデータセットについて広範な実験を行った。 特に,我々の学習戦略は,推論中に余分な計算負担を伴わずに,ポーズやメッシュ推定の性能を向上させる。

関連論文リスト

• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Towards Robust 3D Pose Transfer with Adversarial Learning [36.351835328908116]
  望ましいポーズをターゲットメッシュに転送することを目的とした3Dポーズ転送は、最も困難な3D生成タスクの1つである。 以前の試みは、よく定義されたパラメトリックな人体モデルや骨格関節を駆動するポーズ源として頼っていた。 3次元外部プレゼンテーション(ポーズ)を効果的に学習するカスタマイズされたMAEである3D-PoseMAEを提案する。
  論文  参考訳（メタデータ） (2024-04-02T19:03:39Z)
• Denoising Diffusion for 3D Hand Pose Estimation from Images [38.20064386142944]
  本稿では,モノクロ画像やシーケンスからの3次元手ポーズ推定の問題に対処する。 本稿では,3次元ハンドレグレッションのための新しいエンド・ツー・エンド・エンド・フレームワークを提案する。 提案モデルは,2次元の片手画像を3Dに持ち上げる際に,最先端の性能を提供する。
  論文  参考訳（メタデータ） (2023-08-18T12:57:22Z)
• HandMIM: Pose-Aware Self-Supervised Learning for 3D Hand Mesh Estimation [5.888156950854715]
  本稿では,3次元ハンドメッシュパラメータの回帰のための自己教師付き事前学習戦略を提案する。 提案手法はHandMIMと呼ばれ,様々なハンドメッシュ推定タスクにおいて高い性能を実現する。
  論文  参考訳（メタデータ） (2023-07-29T19:46:06Z)
• TexPose: Neural Texture Learning for Self-Supervised 6D Object Pose Estimation [55.94900327396771]
  合成データから6次元オブジェクトポーズ推定のためのニューラルネットワークによるテクスチャ学習を提案する。 実画像からオブジェクトの現実的なテクスチャを予測することを学ぶ。 画素完全合成データからポーズ推定を学習する。
  論文  参考訳（メタデータ） (2022-12-25T13:36:32Z)
• 3D Hand Pose and Shape Estimation from RGB Images for Improved Keypoint-Based Hand-Gesture Recognition [25.379923604213626]
  本稿では3次元手とポーズ推定のためのキーポイントに基づくエンドツーエンドフレームワークを提案する。 研究ケースとして手身認識タスクにうまく適用できる。
  論文  参考訳（メタデータ） (2021-09-28T17:07:43Z)
• Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction [57.3636347704271]
  RGB画像からの3Dハンドメッシュ再構築は拡張現実(AR)を含む多くのアプリケーションに役立つ 本稿では,手指再建作業を3段階に分割し,新しいパイプラインを提案する。 高品質な指レベルのメッシュイメージアライメントを促進し、モデルをまとめて、リアルタイムな予測を実現することができます。
  論文  参考訳（メタデータ） (2021-09-03T20:42:01Z)
• Self-Supervised 3D Hand Pose Estimation from monocular RGB via Contrastive Learning [50.007445752513625]
  本稿では,3次元ポーズ推定における構造化回帰タスクに対する自己教師付き手法を提案する。 我々は、不変および同変のコントラスト目的の影響を実験的に検討した。 追加のラベル付きデータに基づいてトレーニングされた標準のResNet-152が、FreiHAND上のPA-EPEで7.6%の改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:48:57Z)
• SeqHAND:RGB-Sequence-Based 3D Hand Pose and Shape Estimation [48.456638103309544]
  RGB画像に基づく3次元手ポーズ推定は長い間研究されてきた。 本研究では,人間の手の動きを模倣する合成データセットを生成する手法を提案する。 本研究では,3次元ポーズ推定における時間情報の利用により,一般的なポーズ推定が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-07-10T05:11:14Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。