論文の概要: Mask2Hand: Learning to Predict the 3D Hand Pose and Shape from Shadow

• arxiv url: http://arxiv.org/abs/2205.15553v1
• Date: Tue, 31 May 2022 06:04:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-01 14:19:32.492329
• Title: Mask2Hand: Learning to Predict the 3D Hand Pose and Shape from Shadow
• Title（参考訳）: Mask2Hand:3Dハンドポースとシェイプをシャドーから予測する学習
• Authors: Li-Jen Chang, Yu-Cheng Liao, Chia-Hui Lin, Hwann-Tzong Chen
• Abstract要約: Mask2Handは、手書きの注釈付きデータなしで手書きシルエット/シェードウの2Dバイナリマスクから3Dのポーズと形状を予測するという難題を解決することを学ぶ。 実験の結果,1つの二項マスクを入力として用いた手法は,不整合と整合性の両方の設定において,同等の予測精度が得られることがわかった。
• 参考スコア（独自算出の注目度）: 13.9320397231143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a self-trainable method, Mask2Hand, which learns to solve the challenging task of predicting 3D hand pose and shape from a 2D binary mask of hand silhouette/shadow without additional manually-annotated data. Given the intrinsic camera parameters and the parametric hand model in the camera space, we adopt the differentiable rendering technique to project 3D estimations onto the 2D binary silhouette space. By applying a tailored combination of losses between the rendered silhouette and the input binary mask, we are able to integrate the self-guidance mechanism into our end-to-end optimization process for constraining global mesh registration and hand pose estimation. The experiments show that our method, which takes a single binary mask as the input, can achieve comparable prediction accuracy on both unaligned and aligned settings as state-of-the-art methods that require RGB or depth inputs.
• Abstract（参考訳）: 本研究では,手指のシルエット/シェードウの2次元2次元マスクから手指のポーズと形状を予測するという課題を解決するための自己学習可能なMask2Handを提案する。 カメラ空間における固有のカメラパラメータとパラメトリックハンドモデルを考えると、2次元2Dシルエット空間に3次元推定を投影するために微分可能なレンダリング手法を採用する。 レンダリングされたシルエットと入力されたバイナリマスクの損失を調整した組み合わせを適用することで,グローバルメッシュの登録とポーズ推定を制約するエンドツーエンド最適化プロセスに自己誘導機構を統合することができる。 実験の結果,RGB入力や深度入力を必要とする最先端の手法として,整列状態と整列状態の両方において,単一の二項マスクを入力として用いた手法が同等の予測精度を達成できることが判明した。

関連論文リスト

• Pseudo Flow Consistency for Self-Supervised 6D Object Pose Estimation [14.469317161361202]
  補助情報なしで純粋なRGB画像で訓練できる6次元オブジェクトポーズ推定法を提案する。 提案手法を3つの挑戦的データセット上で評価し,最先端の自己管理手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-19T13:52:18Z)
• Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud Pre-training [65.75399500494343]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
  論文  参考訳（メタデータ） (2023-02-27T17:56:18Z)
• SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
  本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。 提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。 本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-07T17:47:52Z)
• Deep-MDS Framework for Recovering the 3D Shape of 2D Landmarks from a Single Image [8.368476827165114]
  本稿では,人間の顔上の2次元ランドマークの3次元形状を,単一の入力画像で再現する枠組みを提案する。 ディープニューラルネットワークは、NMDSアプローチで使用される2Dランドマーク間のペアの相似性を学習する。
  論文  参考訳（メタデータ） (2022-10-27T06:20:10Z)
• RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
  カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。 表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
  論文  参考訳（メタデータ） (2022-05-14T05:35:35Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)
• HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose Estimation from a Single Depth Map [72.93634777578336]
  弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。 提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。 我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
  論文  参考訳（メタデータ） (2020-04-03T14:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。