論文の概要: M3DHMR: Monocular 3D Hand Mesh Recovery
- arxiv url: http://arxiv.org/abs/2505.20058v1
- Date: Mon, 26 May 2025 14:44:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:43.522551
- Title: M3DHMR: Monocular 3D Hand Mesh Recovery
- Title(参考訳): M3DHMR:モノクロ3Dハンドメッシュリカバリ
- Authors: Yihong Lin, Xianjia Wu, Xilai Wang, Jianqiao Hu, Songju Lei, Xiandong Li, Wenxiong Kang,
- Abstract要約: モノクロ3Dハンドメッシュリカバリは、単一のイメージから3Dタスクのための2Dキューを提供する。
M3DHMRは最先端のリアルタイム手法よりも優れています。
- 参考スコア(独自算出の注目度): 16.954459035389235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Monocular 3D hand mesh recovery is challenging due to high degrees of freedom of hands, 2D-to-3D ambiguity and self-occlusion. Most existing methods are either inefficient or less straightforward for predicting the position of 3D mesh vertices. Thus, we propose a new pipeline called Monocular 3D Hand Mesh Recovery (M3DHMR) to directly estimate the positions of hand mesh vertices. M3DHMR provides 2D cues for 3D tasks from a single image and uses a new spiral decoder consist of several Dynamic Spiral Convolution (DSC) Layers and a Region of Interest (ROI) Layer. On the one hand, DSC Layers adaptively adjust the weights based on the vertex positions and extract the vertex features in both spatial and channel dimensions. On the other hand, ROI Layer utilizes the physical information and refines mesh vertices in each predefined hand region separately. Extensive experiments on popular dataset FreiHAND demonstrate that M3DHMR significantly outperforms state-of-the-art real-time methods.
- Abstract(参考訳): 高自由度, 2次元から3次元のあいまいさ, 自己閉塞性により, モノクロ3Dの手メッシュの回復は困難である。
既存のほとんどの手法は、3Dメッシュ頂点の位置を予測するために非効率であるか単純でないかのいずれかである。
そこで本研究では,モノクロ3Dハンドメッシュ回収(M3DHMR)と呼ばれる新しいパイプラインを提案し,メッシュ頂点の位置を直接推定する。
M3DHMRは、単一のイメージから3Dタスクのための2Dキューを提供し、複数のDynamic Spiral Convolution(DSC)レイヤとRerea of Interest(ROI)レイヤで構成される新しいスパイラルデコーダを使用する。
一方、DSC層は、頂点位置に基づいて重みを適応的に調整し、空間次元およびチャネル次元の頂点特徴を抽出する。
一方、ROI Layerは物理情報を利用して、予め定義された各手領域のメッシュ頂点を分離する。
一般的なデータセットであるFreiHANDでの大規模な実験により、M3DHMRは最先端のリアルタイム手法よりも大幅に優れていることが示された。
関連論文リスト
- DINO in the Room: Leveraging 2D Foundation Models for 3D Segmentation [51.43837087865105]
大規模な画像データセットに基づいてトレーニングされた視覚基礎モデル(VFM)は、非常に高度な2D視覚認識を備えた高品質な機能を提供する。
3D画像と3Dポイントクラウドデータセットの共通利用にもかかわらず、彼らの3Dビジョンのポテンシャルは依然としてほとんど未解決のままである。
2Dファンデーションモデルの特徴を抽出し,それを3Dに投影し,最終的に3Dポイントクラウドセグメンテーションモデルに注入する,シンプルで効果的なアプローチであるDITRを導入する。
論文 参考訳(メタデータ) (2025-03-24T17:59:11Z) - MaskHand: Generative Masked Modeling for Robust Hand Mesh Reconstruction in the Wild [11.39213280304101]
MaskHandは、ハンドメッシュリカバリのための新しい生成マスクモデルである。
あいまいな2D-to-3Dマッピングプロセスの確率分布から学習とサンプリングにより、可塑性3Dハンドメッシュを合成する。
3Dハンドメッシュ再構築において,最先端の精度,堅牢性,現実性を実現する。
論文 参考訳(メタデータ) (2024-12-18T00:10:00Z) - MeshPose: Unifying DensePose and 3D Body Mesh reconstruction [13.159597153741604]
DensePoseとHuman Mesh Reconstructionに取り組むためにMeshPoseを導入する。
DensePoseは3Dメッシュ座標と画像のピクセル精度の相関を提供するが、3Dメッシュは提供しない。
我々のシステムはエンドツーエンドで訓練されており、DensePoseの精度を競う最初のHMR法である。
論文 参考訳(メタデータ) (2024-06-14T16:59:04Z) - Neural Voting Field for Camera-Space 3D Hand Pose Estimation [106.34750803910714]
3次元暗黙表現に基づく1枚のRGB画像からカメラ空間の3Dハンドポーズ推定のための統一的なフレームワークを提案する。
本稿では,カメラフラストラムにおける高密度3次元ポイントワイド投票により,カメラ空間の3次元ハンドポーズを推定する,新しい3次元高密度回帰手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T16:51:34Z) - Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。
評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
論文 参考訳(メタデータ) (2023-04-19T08:45:26Z) - Monocular 3D Object Reconstruction with GAN Inversion [122.96094885939146]
MeshInversionはテクスチャ化された3Dメッシュの再構築を改善するための新しいフレームワークである。
これは、3Dテクスチャメッシュ合成のために事前訓練された3D GANの生成前を利用する。
本フレームワークは,観察部と観察部の両方で一貫した形状とテクスチャを有する忠実な3次元再構成を実現する。
論文 参考訳(メタデータ) (2022-07-20T17:47:22Z) - Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based
Perception [122.53774221136193]
運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。
自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。
本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-12T06:25:11Z) - End-to-End Human Pose and Mesh Reconstruction with Transformers [17.75480888764098]
MEsh TRansfOrmer(METRO)と呼ばれる新しい方法で、単一の画像から3D人間のポーズとメッシュ頂点を再構築します。
METROはSMPLのようなパラメトリックメッシュモデルに依存しないので、手などの他のオブジェクトにも容易に拡張できる。
FreiHANDデータセット上の既存の最先端のメソッドを上回る、野生のMETROから3Dハンド再構築の汎用性を示す。
論文 参考訳(メタデータ) (2020-12-17T17:17:29Z) - Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR
Segmentation [81.02742110604161]
大規模運転シーンのLiDARセグメンテーションのための最先端の手法は、しばしば点雲を2次元空間に投影し、2D畳み込みによって処理する。
そこで我々は,3次元幾何学的パタンを探索するために,円筒分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
提案手法はセマンティックKITTIのリーダーボードにおいて第1位を獲得し,既存のnuScenesの手法を約4%のマージンで上回っている。
論文 参考訳(メタデータ) (2020-11-19T18:53:11Z) - BiHand: Recovering Hand Mesh with Multi-stage Bisected Hourglass
Networks [37.65510556305611]
本稿では,2次元シードステージ,3次元リフトステージ,メッシュ生成ステージの3段階からなる,エンドツーエンドで学習可能なモデルBiHandを紹介する。
BiHandの出力では、ネットワークから予測される関節回転と形状パラメータを用いて全手メッシュを復元する。
本モデルでは,最先端手法と比較して精度が向上し,いくつかの厳しい条件下で魅力的な3Dハンドメッシュを作成できる。
論文 参考訳(メタデータ) (2020-08-12T03:13:17Z) - HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose
Estimation from a Single Depth Map [72.93634777578336]
弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。
提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。
我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
論文 参考訳(メタデータ) (2020-04-03T14:27:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。