論文の概要: MLPHand: Real Time Multi-View 3D Hand Mesh Reconstruction via MLP Modeling

• arxiv url: http://arxiv.org/abs/2406.16137v1
• Date: Sun, 23 Jun 2024 15:18:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 18:54:26.430861
• Title: MLPHand: Real Time Multi-View 3D Hand Mesh Reconstruction via MLP Modeling
• Title（参考訳）: MLPHand:MLPモデリングによるリアルタイムマルチビュー3Dハンドメッシュ再構築
• Authors: Jian Yang, Jiakun Li, Guoming Li, Zhen Shen, Huai-Yu Wu, Zhaoxin Fan, Heng Huang,
• Abstract要約: マルチビューハンドリコンストラクションは、バーチャルリアリティー・ヒューマン・コンピュータ・インタラクションにおけるアプリケーションにとって重要な課題である。 HandHandは,(1)軽量な骨格から手メッシュを効率的に回収するSkeleton2Meshモデル,(2)多視点形状特徴融合予測モジュールの2つの主要モジュールから構成される。 3つの広く使用されているデータセットの実験により、HandHandは既存の最先端ベースラインの複雑さに匹敵する精度を達成しながら、再構築を90%削減できることが示された。
• 参考スコア（独自算出の注目度）: 54.54190158459534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-view hand mesh reconstruction is a critical task for applications in virtual reality and human-computer interaction, but it remains a formidable challenge. Although existing multi-view hand reconstruction methods achieve remarkable accuracy, they typically come with an intensive computational burden that hinders real-time inference. To this end, we propose MLPHand, a novel method designed for real-time multi-view single hand reconstruction. MLP Hand consists of two primary modules: (1) a lightweight MLP-based Skeleton2Mesh model that efficiently recovers hand meshes from hand skeletons, and (2) a multi-view geometry feature fusion prediction module that enhances the Skeleton2Mesh model with detailed geometric information from multiple views. Experiments on three widely used datasets demonstrate that MLPHand can reduce computational complexity by 90% while achieving comparable reconstruction accuracy to existing state-of-the-art baselines.
• Abstract（参考訳）: マルチビューハンドメッシュ再構築は、バーチャルリアリティーおよび人間とコンピュータのインタラクションにおけるアプリケーションにとって重要なタスクであるが、依然として非常に難しい課題である。 既存のマルチビューハンド再構成手法は驚くほどの精度を達成するが、通常はリアルタイムの推論を妨げる計算負荷が伴う。 そこで我々はMLPHandを提案する。MLPHandはリアルタイム・マルチビュー・シングルハンド再構成のための新しい手法である。 MLP Handは,(1)手足骨から手足のメッシュを効率よく回収する軽量MLPベースのSkeleton2Meshモデル,(2)スケルトン2Meshモデルを強化する多視点形状特徴融合予測モジュールの2つの主要モジュールから構成される。 3つの広く使用されているデータセットの実験により、MLPHandは既存の最先端ベースラインに匹敵する再構築精度を達成しつつ、計算複雑性を90%削減できることが示された。

関連論文リスト

• 3D Points Splatting for Real-Time Dynamic Hand Reconstruction [13.392046706568275]
  3Dポイントスプレイティングハンドリコンストラクション(3D-PSHR)はリアルタイム・光リアルハンドリコンストラクション手法である。 本稿では,高分解能手形状表現を実現するための自己適応型標準点アップ戦略を提案する。 テクスチャをモデル化するため,本態性アルベドとポーズアウェアシェーディングの外観色を分離した。
  論文  参考訳（メタデータ） (2023-12-21T11:50:49Z)
• HandMIM: Pose-Aware Self-Supervised Learning for 3D Hand Mesh Estimation [5.888156950854715]
  本稿では,3次元ハンドメッシュパラメータの回帰のための自己教師付き事前学習戦略を提案する。 提案手法はHandMIMと呼ばれ,様々なハンドメッシュ推定タスクにおいて高い性能を実現する。
  論文  参考訳（メタデータ） (2023-07-29T19:46:06Z)
• Overcoming the Trade-off Between Accuracy and Plausibility in 3D Hand Shape Reconstruction [62.96478903239799]
  3次元手形状復元のための直接メッシュフィッティングは非常に正確である。 しかし、再建されたメッシュはアーティファクトに傾向があり、もっともらしい手の形には見えない。 本稿では,MANOモデルと非パラメトリックメッシュフィッティングをエンドツーエンドで統合した手形状推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-01T03:38:01Z)
• R2-MLP: Round-Roll MLP for Multi-View 3D Object Recognition [33.53114929452528]
  多層パーセプトロン(MLP)のみに基づく視覚アーキテクチャは、コンピュータビジョンコミュニティで注目されている。 本稿では,異なるビューからのパッチ間の通信を考慮し,ビューに基づく3次元オブジェクト認識タスクを提案する。 我々のR$2$MLPは、概念的に単純な構造であるため、既存の手法と比較して競争性能が向上する。
  論文  参考訳（メタデータ） (2022-11-20T21:13:02Z)
• Back to MLP: A Simple Baseline for Human Motion Prediction [59.18776744541904]
  本稿では、歴史的に観察されたシーケンスから将来の身体のポーズを予測することによる、人間の動作予測の課題に取り組む。 これらの手法の性能は、0.14Mパラメータしか持たない軽量で純粋にアーキテクチャアーキテクチャによって超えることができることを示す。 Human3.6M, AMASS, 3DPWデータセットの徹底的な評価は, siMLPeをダブした我々の手法が, 他のアプローチよりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2022-07-04T16:35:58Z)
• End-to-end Weakly-supervised Single-stage Multiple 3D Hand Mesh Reconstruction from a Single RGB Image [9.238322841389994]
  複数手再構成のための単一段パイプラインを提案する。 具体的には,複数ヘッドのオートエンコーダ構造を設計し,各ヘッドネットワークが同じ特徴マップを共有し,ハンドセンター,ポーズ,テクスチャを出力する。 本手法は,弱教師付き手法と完全教師付き手法の両方において,最先端のモデルベース手法よりも優れる。
  論文  参考訳（メタデータ） (2022-04-18T03:57:14Z)
• Direct Multi-view Multi-person 3D Pose Estimation [138.48139701871213]
  マルチビュー画像からマルチパーソン3Dポーズを推定するためのMulti-view Pose Transformer(MvP)を提案する。 MvPは、中間タスクに頼ることなく、複数の人物の3Dポーズを直接クリーンで効率的な方法で回帰する。 我々は,MvPモデルがより効率的でありながら,いくつかのベンチマークにおいて最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-07T13:09:20Z)
• Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction [57.3636347704271]
  RGB画像からの3Dハンドメッシュ再構築は拡張現実(AR)を含む多くのアプリケーションに役立つ 本稿では,手指再建作業を3段階に分割し,新しいパイプラインを提案する。 高品質な指レベルのメッシュイメージアライメントを促進し、モデルをまとめて、リアルタイムな予測を実現することができます。
  論文  参考訳（メタデータ） (2021-09-03T20:42:01Z)
• Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
  特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。 入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。 提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-28T09:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。