論文の概要: BiHand: Recovering Hand Mesh with Multi-stage Bisected Hourglass Networks

• arxiv url: http://arxiv.org/abs/2008.05079v1
• Date: Wed, 12 Aug 2020 03:13:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 05:23:49.736240
• Title: BiHand: Recovering Hand Mesh with Multi-stage Bisected Hourglass Networks
• Title（参考訳）: BiHand: マルチステージ双眼鏡ネットワークによるハンドメッシュの復元
• Authors: Lixin Yang, Jiasen Li, Wenqiang Xu, Yiqun Diao, Cewu Lu
• Abstract要約: 本稿では,2次元シードステージ,3次元リフトステージ,メッシュ生成ステージの3段階からなる,エンドツーエンドで学習可能なモデルBiHandを紹介する。 BiHandの出力では、ネットワークから予測される関節回転と形状パラメータを用いて全手メッシュを復元する。 本モデルでは,最先端手法と比較して精度が向上し,いくつかの厳しい条件下で魅力的な3Dハンドメッシュを作成できる。
• 参考スコア（独自算出の注目度）: 37.65510556305611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D hand estimation has been a long-standing research topic in computer vision. A recent trend aims not only to estimate the 3D hand joint locations but also to recover the mesh model. However, achieving those goals from a single RGB image remains challenging. In this paper, we introduce an end-to-end learnable model, BiHand, which consists of three cascaded stages, namely 2D seeding stage, 3D lifting stage, and mesh generation stage. At the output of BiHand, the full hand mesh will be recovered using the joint rotations and shape parameters predicted from the network. Inside each stage, BiHand adopts a novel bisecting design which allows the networks to encapsulate two closely related information (e.g. 2D keypoints and silhouette in 2D seeding stage, 3D joints, and depth map in 3D lifting stage, joint rotations and shape parameters in the mesh generation stage) in a single forward pass. As the information represents different geometry or structure details, bisecting the data flow can facilitate optimization and increase robustness. For quantitative evaluation, we conduct experiments on two public benchmarks, namely the Rendered Hand Dataset (RHD) and the Stereo Hand Pose Tracking Benchmark (STB). Extensive experiments show that our model can achieve superior accuracy in comparison with state-of-the-art methods, and can produce appealing 3D hand meshes in several severe conditions.
• Abstract（参考訳）: 3dハンド推定はコンピュータビジョンにおける長年の研究テーマである。 最近のトレンドは、3dハンドジョイントの位置を推定するだけでなく、メッシュモデルの復元も目指している。 しかし、1枚のRGB画像からこれらの目標を達成することは依然として困難である。 本稿では,2次元シードステージ,3次元リフトステージ,メッシュ生成ステージの3段階からなる,エンドツーエンドの学習可能なモデルであるBiHandを紹介する。 バイハンドの出力では、ネットワークから予測されるジョイント回転と形状パラメータを用いて全ハンドメッシュを復元する。 それぞれのステージ内で、BiHandは2つの密接に関連する情報(例えば、2次元のシードステージにおける2Dキーポイントとシルエット、3次元のジョイントマップ、メッシュ生成ステージにおける関節回転と形状パラメータ)を単一の前方通過でカプセル化できる新しいバイセクティング設計を採用する。 情報が異なる幾何学や構造の詳細を表すため、データフローを二分することで最適化が容易になり、堅牢性が向上する。 定量的評価のために,Rendered Hand Dataset (RHD) と Stereo Hand Pose Tracking Benchmark (STB) の2つの公開ベンチマーク実験を行った。 広汎な実験により,本モデルは最先端の手法と比較して精度が良く,いくつかの厳しい条件下で魅力的な3Dハンドメッシュを作成できることがわかった。

関連論文リスト

• WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild [53.288327629960364]
  野生における効率的なマルチハンド再構築のためのデータ駆動パイプラインを提案する。 提案するパイプラインは、リアルタイム完全畳み込みハンドローカライゼーションと、高忠実度トランスフォーマーに基づく3Dハンド再構成モデルという2つのコンポーネントで構成されている。 提案手法は, 一般的な2次元および3次元のベンチマークにおいて, 効率と精度の両方において, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-18T18:46:51Z)
• Reconstructing Hands in 3D with Transformers [64.15390309553892]
  単分子入力から3次元の手を再構成する手法を提案する。 ハンドメッシュリカバリに対する我々のアプローチであるHaMeRは、完全にトランスフォーマーベースのアーキテクチャを踏襲し、以前の作業に比べて精度と堅牢性を大幅に向上させながら、ハンドを解析できる。
  論文  参考訳（メタデータ） (2023-12-08T18:59:07Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• End-to-end Weakly-supervised Single-stage Multiple 3D Hand Mesh Reconstruction from a Single RGB Image [9.238322841389994]
  複数手再構成のための単一段パイプラインを提案する。 具体的には,複数ヘッドのオートエンコーダ構造を設計し,各ヘッドネットワークが同じ特徴マップを共有し,ハンドセンター,ポーズ,テクスチャを出力する。 本手法は,弱教師付き手法と完全教師付き手法の両方において,最先端のモデルベース手法よりも優れる。
  論文  参考訳（メタデータ） (2022-04-18T03:57:14Z)
• Consistent 3D Hand Reconstruction in Video via self-supervised Learning [67.55449194046996]
  本稿では,モノクロ映像から高精度で一貫した3Dハンドを再構築する手法を提案する。 検出された2次元手指キーポイントと画像テクスチャは、3次元手の形状とテクスチャに関する重要な手がかりを提供する。 自己監督型3Dハンド再構成モデルであるS2HAND$を提案する。
  論文  参考訳（メタデータ） (2022-01-24T09:44:11Z)
• Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction [57.3636347704271]
  RGB画像からの3Dハンドメッシュ再構築は拡張現実(AR)を含む多くのアプリケーションに役立つ 本稿では,手指再建作業を3段階に分割し,新しいパイプラインを提案する。 高品質な指レベルのメッシュイメージアライメントを促進し、モデルをまとめて、リアルタイムな予測を実現することができます。
  論文  参考訳（メタデータ） (2021-09-03T20:42:01Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• HOPE-Net: A Graph-based Model for Hand-Object Pose Estimation [7.559220068352681]
  本稿では,2次元と3次元で手とオブジェクトのポーズをリアルタイムに推定するHOPE-Netという軽量モデルを提案する。 我々のネットワークは2つの適応グラフ畳み込みニューラルネットワークのカスケードを用いており、1つは手関節と物体角の2D座標を推定し、もう1つは2D座標を3Dに変換する。
  論文  参考訳（メタデータ） (2020-03-31T19:01:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。