論文の概要: MaskHand: Generative Masked Modeling for Robust Hand Mesh Reconstruction in the Wild

• arxiv url: http://arxiv.org/abs/2412.13393v2
• Date: Wed, 19 Mar 2025 14:49:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 19:58:13.160946
• Title: MaskHand: Generative Masked Modeling for Robust Hand Mesh Reconstruction in the Wild
• Title（参考訳）: MaskHand: 野生におけるロバストハンドメッシュ再構築のための生成的マスケッドモデリング
• Authors: Muhammad Usama Saleem, Ekkasit Pinyoanuntapong, Mayur Jagdishbhai Patel, Hongfei Xue, Ahmed Helmy, Srijan Das, Pu Wang,
• Abstract要約: MaskHandは、ハンドメッシュリカバリのための新しい生成マスクモデルである。 あいまいな2D-to-3Dマッピングプロセスの確率分布から学習とサンプリングにより、可塑性3Dハンドメッシュを合成する。 3Dハンドメッシュ再構築において,最先端の精度,堅牢性,現実性を実現する。
• 参考スコア（独自算出の注目度）: 11.39213280304101
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reconstructing a 3D hand mesh from a single RGB image is challenging due to complex articulations, self-occlusions, and depth ambiguities. Traditional discriminative methods, which learn a deterministic mapping from a 2D image to a single 3D mesh, often struggle with the inherent ambiguities in 2D-to-3D mapping. To address this challenge, we propose MaskHand, a novel generative masked model for hand mesh recovery that synthesizes plausible 3D hand meshes by learning and sampling from the probabilistic distribution of the ambiguous 2D-to-3D mapping process. MaskHand consists of two key components: (1) a VQ-MANO, which encodes 3D hand articulations as discrete pose tokens in a latent space, and (2) a Context-Guided Masked Transformer that randomly masks out pose tokens and learns their joint distribution, conditioned on corrupted token sequence, image context, and 2D pose cues. This learned distribution facilitates confidence-guided sampling during inference, producing mesh reconstructions with low uncertainty and high precision. Extensive evaluations on benchmark and real-world datasets demonstrate that MaskHand achieves state-of-the-art accuracy, robustness, and realism in 3D hand mesh reconstruction. Project website: https://m-usamasaleem.github.io/publication/MaskHand/MaskHand.html.
• Abstract（参考訳）: 単一のRGB画像から3Dハンドメッシュを再構築することは、複雑な調音、自己閉塞、深さのあいまいさのために困難である。 2次元画像から1つの3次元メッシュへの決定論的マッピングを学習する従来の識別法は、2次元から3次元のマッピングにおいて固有の曖昧さに悩まされることが多い。 この課題に対処するために,不明瞭な2D-to-3Dマッピングプロセスの確率分布から学習とサンプリングを行うことで,可塑性3Dハンドメッシュを合成する,手メッシュ復元のための新しい生成マスクモデルMaskHandを提案する。 MaskHand は,(1) 3次元手話を離散的なポーズトークンとして符号化する VQ-MANO と,(2) ランダムにポーズトークンを隠蔽し,それらの共同分布を学習するコンテキスト誘導型マスク付き変換器,(2) の2つの重要な構成要素から構成される。 この学習分布は、推論中の信頼誘導サンプリングを促進し、不確実性が低く高精度なメッシュ再構成を生成する。 ベンチマークと実世界のデータセットに対する大規模な評価は、MaskHandが3Dハンドメッシュ再構築における最先端の精度、堅牢性、リアリズムを実現していることを示している。 プロジェクトウェブサイト: https://m-usamasaleem.github.io/publication/MaskHand/MaskHand.html

関連論文リスト

• GenHMR: Generative Human Mesh Recovery [14.708444067294325]
  GenHMRは、単分子HMRを画像条件による生成タスクとして再構成する新しい生成フレームワークである。 ベンチマークデータセットの実験では、GenHMRが最先端のメソッドよりも大幅に優れていることが示されている。
  論文  参考訳（メタデータ） (2024-12-19T01:45:58Z)
• XMask3D: Cross-modal Mask Reasoning for Open Vocabulary 3D Semantic Segmentation [72.12250272218792]
  本稿では,3次元特徴量と2次元テキスト埋め込み空間とのより精巧なマスクレベルのアライメントを,クロスモーダルマスク推論フレームワークであるXMask3Dを用いて提案する。 我々は、3Dグローバルな特徴を暗黙の条件として、事前訓練された2D denoising UNetに統合し、セグメンテーションマスクの生成を可能にする。 生成した2Dマスクを用いて、マスクレベルの3D表現を視覚言語の特徴空間と整合させ、3D幾何埋め込みの開語彙能力を増大させる。
  論文  参考訳（メタデータ） (2024-11-20T12:02:12Z)
• In-Hand 3D Object Reconstruction from a Monocular RGB Video [17.31419675163019]
  我々の研究は、静止RGBカメラの前で手で保持・回転する3Dオブジェクトを再構築することを目的としている。 暗黙の神経表現を用いて、多視点画像からジェネリックハンドヘルドオブジェクトの形状を復元する従来の手法は、オブジェクトの可視部分において魅力的な結果を得た。
  論文  参考訳（メタデータ） (2023-12-27T06:19:25Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
  本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。 評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T08:45:26Z)
• Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud Pre-training [65.75399500494343]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
  論文  参考訳（メタデータ） (2023-02-27T17:56:18Z)
• MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
  本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。 本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。 マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
  論文  参考訳（メタデータ） (2022-12-20T01:53:40Z)
• Controllable Face Manipulation and UV Map Generation by Self-supervised Learning [20.10160338724354]
  近年の手法は2次元生成モデルと3DMMを組み合わせることで2次元画像の明示的な制御を実現する。 3DMMによるテクスチャ再構築における現実性と明瞭さの欠如により,合成画像と3DMMの描画画像との間には領域ギャップがある。 本研究では,3DMMのパラメータを制御して,事前学習したStyleGANの潜在空間を明示的に編集することを提案する。
  論文  参考訳（メタデータ） (2022-09-24T16:49:25Z)
• Mask2Hand: Learning to Predict the 3D Hand Pose and Shape from Shadow [13.9320397231143]
  Mask2Handは、手書きの注釈付きデータなしで手書きシルエット/シェードウの2Dバイナリマスクから3Dのポーズと形状を予測するという難題を解決することを学ぶ。 実験の結果,1つの二項マスクを入力として用いた手法は,不整合と整合性の両方の設定において,同等の予測精度が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-31T06:04:27Z)
• Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
  我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。 第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。 第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。 最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:58Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• Model-based 3D Hand Reconstruction via Self-Supervised Learning [72.0817813032385]
  シングルビューのRGB画像から3Dハンドを再構成することは、様々な手構成と深さのあいまいさのために困難である。 ポーズ, 形状, テクスチャ, カメラ視点を共同で推定できる, 自己教師型3Dハンド再構成ネットワークであるS2HANDを提案する。 初めて手動アノテーションを使わずに、正確な3D手の再構築ネットワークを訓練できることを実証しました。
  論文  参考訳（メタデータ） (2021-03-22T10:12:43Z)
• PC-HMR: Pose Calibration for 3D Human Mesh Recovery from 2D Images/Videos [47.601288796052714]
  我々は2つの新しいPoseフレームワーク、すなわちSerial PC-HMRとParallel PC-HMRを開発した。 当社のフレームワークは、データ駆動学習と幾何学的モデリングの汎用的かつ補完的な統合に基づいています。 我々は一般的なベンチマーク(Human3.6M, 3DPW, SURREAL)について広範な実験を行い、PC-HMRフレームワークがSOTA結果を達成する。
  論文  参考訳（メタデータ） (2021-03-16T12:12:45Z)
• Im2Mesh GAN: Accurate 3D Hand Mesh Recovery from a Single RGB Image [31.371190180801452]
  入力画像から直接ハンドメッシュを学習できることが示される。 我々は、エンドツーエンドの学習を通してメッシュを学習するための新しいタイプのGANIm2Mesh GANを提案する。
  論文  参考訳（メタデータ） (2021-01-27T07:38:01Z)
• HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose Estimation from a Single Depth Map [72.93634777578336]
  弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。 提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。 我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
  論文  参考訳（メタデータ） (2020-04-03T14:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。