論文の概要: Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction

• arxiv url: http://arxiv.org/abs/2109.01723v1
• Date: Fri, 3 Sep 2021 20:42:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 12:46:44.129640
• Title: Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction
• Title（参考訳）: リアルタイム3次元ハンドメッシュ再構築における正確なアライメントに向けて
• Authors: Xiao Tang, Tianyu Wang, Chi-Wing Fu
• Abstract要約: RGB画像からの3Dハンドメッシュ再構築は拡張現実(AR)を含む多くのアプリケーションに役立つ 本稿では,手指再建作業を3段階に分割し,新しいパイプラインを提案する。 高品質な指レベルのメッシュイメージアライメントを促進し、モデルをまとめて、リアルタイムな予測を実現することができます。
• 参考スコア（独自算出の注目度）: 57.3636347704271
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D hand-mesh reconstruction from RGB images facilitates many applications, including augmented reality (AR). However, this requires not only real-time speed and accurate hand pose and shape but also plausible mesh-image alignment. While existing works already achieve promising results, meeting all three requirements is very challenging. This paper presents a novel pipeline by decoupling the hand-mesh reconstruction task into three stages: a joint stage to predict hand joints and segmentation; a mesh stage to predict a rough hand mesh; and a refine stage to fine-tune it with an offset mesh for mesh-image alignment. With careful design in the network structure and in the loss functions, we can promote high-quality finger-level mesh-image alignment and drive the models together to deliver real-time predictions. Extensive quantitative and qualitative results on benchmark datasets demonstrate that the quality of our results outperforms the state-of-the-art methods on hand-mesh/pose precision and hand-image alignment. In the end, we also showcase several real-time AR scenarios.
• Abstract（参考訳）: RGB画像からの3Dハンドメッシュ再構成は、拡張現実(AR)を含む多くのアプリケーションに役立つ。 しかし、これはリアルタイムのスピードと正確な手ポーズと形状だけでなく、メッシュイメージのアライメントも必要である。 既存の作業はすでに有望な成果を上げていますが,3つの要件をすべて満たすことは非常に難しいのです。 本稿では,手指再建作業を手指関節とセグメンテーションを予測するジョイントステージ,粗い手指メッシュを予測するためのメッシュステージ,メッシュ画像アライメントのためのオフセットメッシュでそれを微調整する洗練されたステージの3段階に分割することで,新しいパイプラインを提案する。 ネットワーク構造と損失関数に注意深く設計することで、高品質な指レベルのメッシュ画像アライメントを促進し、モデルを組み合わせてリアルタイムな予測を実現することができる。 ベンチマークデータセットの大規模定量および定性的な結果からは,手作業の精度と手作業のアライメントにおいて,結果の品質が最先端の手法よりも優れていることが示されている。 最後に、いくつかのリアルタイムarシナリオも紹介します。

関連論文リスト

• Fine-Grained Multi-View Hand Reconstruction Using Inverse Rendering [11.228453237603834]
  本稿では,逆レンダリングを利用して手ポーズを復元し,詳細を複雑化する多視点ハンドメッシュ再構成手法を提案する。 また、ハンドメッシュとテクスチャの両方を洗練させるために、新しいハンドアルベドとメッシュ(HAM)最適化モジュールも導入した。 提案手法は,再現精度とレンダリング品質の両面において,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-08T07:28:24Z)
• HandS3C: 3D Hand Mesh Reconstruction with State Space Spatial Channel Attention from RGB images [4.252549987351642]
  簡単な3次元手メッシュ再構成ネットワーク(HandS3C)を提案する。 ネットワーク上では,有効受容場を拡張可能な空間空間アテンションモジュールを設計する。 提案するHandS3Cは,最小限のパラメータを維持しながら最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-05-02T07:47:49Z)
• SiMA-Hand: Boosting 3D Hand-Mesh Reconstruction by Single-to-Multi-View Adaptation [90.59734612754222]
  RGB画像から3Dハンドメッシュを推定することは、最も難しい問題のひとつです。 このタスクに対する既存の試みは、オクルージョンが画像空間を支配しているときに失敗することが多い。 本稿では,Single-to-Multi-view Adaptationによるメッシュ再構成性能の向上を目的としたSiMA-Handを提案する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:20Z)
• Mesh Represented Recycle Learning for 3D Hand Pose and Mesh Estimation [3.126179109712709]
  本稿では,3次元ハンドポーズとメッシュ推定のためのメッシュ表現型リサイクル学習戦略を提案する。 具体的には、ハンドポーズとメッシュ推定モデルはまずパラメトリックな3Dハンドアノテーションを予測する。 次に、自己推定手メッシュ表現を用いて合成手画像を生成する。 第3に、合成手画像は同じモデルに再び入力される。
  論文  参考訳（メタデータ） (2023-10-18T09:50:09Z)
• Overcoming the Trade-off Between Accuracy and Plausibility in 3D Hand Shape Reconstruction [62.96478903239799]
  3次元手形状復元のための直接メッシュフィッティングは非常に正確である。 しかし、再建されたメッシュはアーティファクトに傾向があり、もっともらしい手の形には見えない。 本稿では,MANOモデルと非パラメトリックメッシュフィッティングをエンドツーエンドで統合した手形状推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-01T03:38:01Z)
• Im2Mesh GAN: Accurate 3D Hand Mesh Recovery from a Single RGB Image [31.371190180801452]
  入力画像から直接ハンドメッシュを学習できることが示される。 我々は、エンドツーエンドの学習を通してメッシュを学習するための新しいタイプのGANIm2Mesh GANを提案する。
  論文  参考訳（メタデータ） (2021-01-27T07:38:01Z)
• SCFusion: Real-time Incremental Scene Reconstruction with Semantic Completion [86.77318031029404]
  本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。 我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
  論文  参考訳（メタデータ） (2020-10-26T15:31:52Z)
• BiHand: Recovering Hand Mesh with Multi-stage Bisected Hourglass Networks [37.65510556305611]
  本稿では,2次元シードステージ,3次元リフトステージ,メッシュ生成ステージの3段階からなる,エンドツーエンドで学習可能なモデルBiHandを紹介する。 BiHandの出力では、ネットワークから予測される関節回転と形状パラメータを用いて全手メッシュを復元する。 本モデルでは,最先端手法と比較して精度が向上し,いくつかの厳しい条件下で魅力的な3Dハンドメッシュを作成できる。
  論文  参考訳（メタデータ） (2020-08-12T03:13:17Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)
• Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild [59.158592526006814]
  YouTubeビデオに手の動きの大規模なデータセットを収集することで、ネットワークをトレーニングします。 私たちの弱い教師付きメッシュ畳み込みベースのシステムは、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-04-04T14:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。