Fugu-MT 論文翻訳(概要): MeMaHand: Exploiting Mesh-Mano Interaction for Single Image Two-Hand Reconstruction

論文の概要: MeMaHand: Exploiting Mesh-Mano Interaction for Single Image Two-Hand Reconstruction

arxiv url: http://arxiv.org/abs/2303.15718v2
Date: Mon, 17 Apr 2023 02:44:54 GMT
ステータス: 処理完了
システム内更新日: 2023-04-18 20:24:24.283352
Title: MeMaHand: Exploiting Mesh-Mano Interaction for Single Image Two-Hand Reconstruction
Title（参考訳）: MeMaHand: シングルイメージ2ハンド再構築のためのメッシュ-マンノインタラクションの爆発
Authors: Congyi Wang, Feida Zhu, Shilei Wen
Abstract要約: メッシュを再構築し、単一のRGB画像から2つの手のMANOパラメータを同時に推定する。 MMIBは、局所情報を集約するために1つのグラフ残差ブロックと、長距離依存をモデル化するために2つのトランスフォーマーエンコーダから構成される。 InterHand2.6Mベンチマークの実験は、最先端の手再構成法に対して有望な結果を示した。
参考スコア（独自算出の注目度）: 19.82874341207336
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Existing methods proposed for hand reconstruction tasks usually parameterize a generic 3D hand model or predict hand mesh positions directly. The parametric representations consisting of hand shapes and rotational poses are more stable, while the non-parametric methods can predict more accurate mesh positions. In this paper, we propose to reconstruct meshes and estimate MANO parameters of two hands from a single RGB image simultaneously to utilize the merits of two kinds of hand representations. To fulfill this target, we propose novel Mesh-Mano interaction blocks (MMIBs), which take mesh vertices positions and MANO parameters as two kinds of query tokens. MMIB consists of one graph residual block to aggregate local information and two transformer encoders to model long-range dependencies. The transformer encoders are equipped with different asymmetric attention masks to model the intra-hand and inter-hand attention, respectively. Moreover, we introduce the mesh alignment refinement module to further enhance the mesh-image alignment. Extensive experiments on the InterHand2.6M benchmark demonstrate promising results over the state-of-the-art hand reconstruction methods.
Abstract（参考訳）: 手指再建作業のための既存の手法は、通常、ジェネリック3Dハンドモデルをパラメータ化したり、手指のメッシュ位置を直接予測する。手形と回転ポーズからなるパラメトリック表現はより安定であり、非パラメトリック法はより正確なメッシュ位置を予測することができる。本稿では,2種類の手表現の利点を利用するために,単一のRGB画像からメッシュを再構築し,二つの手のMANOパラメータを同時に推定する。この目的を達成するために、メッシュ頂点の位置とMANOパラメータを2種類のクエリトークンとして扱う新しいメッシュ-マノ相互作用ブロック(MMIB)を提案する。 MMIBは、局所情報を集約するために1つのグラフ残差ブロックと、長距離依存をモデル化するために2つのトランスフォーマーエンコーダから構成される。トランスエンコーダは、それぞれ手内および手間の注意をモデル化する異なる非対称注意マスクを備える。さらに,メッシュ画像アライメントをさらに強化するために,メッシュアライメントアライメントアライメントモジュールを導入する。 interhand2.6mベンチマークの広範な実験は、最先端のハンドレコンストラクション手法に対して有望な結果を示している。

関連論文リスト

Overcoming the Trade-off Between Accuracy and Plausibility in 3D Hand Shape Reconstruction [62.96478903239799]
3次元手形状復元のための直接メッシュフィッティングは非常に正確である。しかし、再建されたメッシュはアーティファクトに傾向があり、もっともらしい手の形には見えない。本稿では,MANOモデルと非パラメトリックメッシュフィッティングをエンドツーエンドで統合した手形状推定フレームワークを提案する。
論文参考訳（メタデータ） (2023-05-01T03:38:01Z)
Im2Hands: Learning Attentive Implicit Representation of Interacting Two-Hand Shapes [58.551154822792284]
Implicit Two Hands (Im2Hands) は、2つの相互作用する手の最初の暗黙の表現である。 Im2Handsは、両手と手と手と画像のコヒーレンシーの高い2つの手のきめ細かい幾何学を生成することができる。両手再建におけるIm2Handsの有効性を, 関連手法と比較して実験的に実証した。
論文参考訳（メタデータ） (2023-02-28T06:38:25Z)
End-to-end Weakly-supervised Single-stage Multiple 3D Hand Mesh Reconstruction from a Single RGB Image [9.238322841389994]
複数手再構成のための単一段パイプラインを提案する。具体的には,複数ヘッドのオートエンコーダ構造を設計し,各ヘッドネットワークが同じ特徴マップを共有し,ハンドセンター,ポーズ,テクスチャを出力する。本手法は,弱教師付き手法と完全教師付き手法の両方において,最先端のモデルベース手法よりも優れる。
論文参考訳（メタデータ） (2022-04-18T03:57:14Z)
Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
論文参考訳（メタデータ） (2021-11-01T08:24:10Z)
RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
論文参考訳（メタデータ） (2021-06-22T12:53:56Z)
Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera [79.41374930171469]
本稿では,2つの強く相互作用する手の位置と形状をリアルタイムに再現する新しい手法を提案する。われわれのアプローチは、有利なプロパティの広範なリスト、すなわちマーカーレスを組み合わせている。過去の研究で示された複雑性レベルを超える場面で、最先端の結果を示す。
論文参考訳（メタデータ） (2021-06-15T11:39:49Z)
Skeleton-aware multi-scale heatmap regression for 2D hand pose estimation [1.0152838128195467]
本稿では,2つの主要モジュールからなるディープラーニングベースのフレームワークを提案する。前者は、手骨を検知し、手の境界ボックスをローカライズするセグメンテーションベースのアプローチを提案する。第2のモジュールは、マルチスケールのヒートマップ回帰アプローチを通じて2次元関節位置を回帰する。
論文参考訳（メタデータ） (2021-05-23T10:23:51Z)
Parallel mesh reconstruction streams for pose estimation of interacting hands [2.0305676256390934]
単一のRGB画像から手動ポーズ推定を行うマルチストリーム3Dメッシュ再構成ネットワーク(MSMR-Net)を提案する。我々のモデルは、画像エンコーダと、連結グラフ畳み込み層からなるメッシュ畳み込みデコーダからなる。
論文参考訳（メタデータ） (2021-04-25T10:14:15Z)
Im2Mesh GAN: Accurate 3D Hand Mesh Recovery from a Single RGB Image [31.371190180801452]
入力画像から直接ハンドメッシュを学習できることが示される。我々は、エンドツーエンドの学習を通してメッシュを学習するための新しいタイプのGANIm2Mesh GANを提案する。
論文参考訳（メタデータ） (2021-01-27T07:38:01Z)
End-to-End Human Pose and Mesh Reconstruction with Transformers [17.75480888764098]
MEsh TRansfOrmer(METRO)と呼ばれる新しい方法で、単一の画像から3D人間のポーズとメッシュ頂点を再構築します。 METROはSMPLのようなパラメトリックメッシュモデルに依存しないので、手などの他のオブジェクトにも容易に拡張できる。 FreiHANDデータセット上の既存の最先端のメソッドを上回る、野生のMETROから3Dハンド再構築の汎用性を示す。
論文参考訳（メタデータ） (2020-12-17T17:17:29Z)
Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
論文参考訳（メタデータ） (2020-06-28T09:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。