論文の概要: Im2Hands: Learning Attentive Implicit Representation of Interacting Two-Hand Shapes

• arxiv url: http://arxiv.org/abs/2302.14348v1
• Date: Tue, 28 Feb 2023 06:38:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 17:46:29.201493
• Title: Im2Hands: Learning Attentive Implicit Representation of Interacting Two-Hand Shapes
• Title（参考訳）: im2hands: 相互作用する両手形状の注意深い暗黙表現
• Authors: Jihyun Lee, Minhyuk Sung, Honggyu Choi, Tae-Kyun Kim
• Abstract要約: Implicit Two Hands (Im2Hands) は、2つの相互作用する手の最初の暗黙の表現である。 Im2Handsは、両手と手と手と画像のコヒーレンシーの高い2つの手のきめ細かい幾何学を生成することができる。 両手再建におけるIm2Handsの有効性を, 関連手法と比較して実験的に実証した。
• 参考スコア（独自算出の注目度）: 58.551154822792284
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present Implicit Two Hands (Im2Hands), the first neural implicit representation of two interacting hands. Unlike existing methods on two-hand reconstruction that rely on a parametric hand model and/or low-resolution meshes, Im2Hands can produce fine-grained geometry of two hands with high hand-to-hand and hand-to-image coherency. To handle the shape complexity and interaction context between two hands, Im2Hands models the occupancy volume of two hands - conditioned on an RGB image and coarse 3D keypoints - by two novel attention-based modules responsible for (1) initial occupancy estimation and (2) context-aware occupancy refinement, respectively. Im2Hands first learns per-hand neural articulated occupancy in the canonical space designed for each hand using query-image attention. It then refines the initial two-hand occupancy in the posed space to enhance the coherency between the two hand shapes using query-anchor attention. In addition, we introduce an optional keypoint refinement module to enable robust two-hand shape estimation from predicted hand keypoints in a single-image reconstruction scenario. We experimentally demonstrate the effectiveness of Im2Hands on two-hand reconstruction in comparison to related methods, where ours achieves state-of-the-art results. Our code is publicly available at https://github.com/jyunlee/Im2Hands.
• Abstract（参考訳）: 2つの相互作用する手の最初の神経的な表現である暗黙的な2つの手(im2hands)を提示する。 パラメトリックハンドモデルと/または低分解能メッシュに依存する既存の両手再構成法とは異なり、Im2Handsは両手高精細な形状を高精細に再現できる。 両手間の形状の複雑さと相互作用のコンテキストを扱うために、Im2Handsは、RGBイメージと粗い3Dキーポイントに設定された両手の占有量を、(1)初期占有率推定と(2)文脈認識占有率改善に責任を負う2つの新しい注意ベースのモジュールによってモデル化する。 Im2Handsはまず、クエリ・イメージ・アテンションを用いて、各手で設計された標準空間において、手動のニューラルネットワークによる占有を学習する。 その後、ポーズ空間における最初の両手の占有を洗練し、クエリアンカーの注意を使って両手の形状間の一貫性を高める。 さらに,単一画像再構成シナリオにおいて,予測した手指キーポイントからロバストな2手形状推定を可能にするキーポイントリファインメントモジュールを提案する。 筆者らは,im2ハンドの両手再建における効果を実験により実証し,本手法が最先端の結果を得る方法と比較した。 私たちのコードはhttps://github.com/jyunlee/im2handsで公開されています。

関連論文リスト

• OmniHands: Towards Robust 4D Hand Mesh Recovery via A Versatile Transformer [35.983309206845036]
  OmniHandsは、対話型ハンドメッシュを回復するための普遍的なアプローチであり、モノクラーまたはマルチビュー入力からの相対的な動きを示す。 我々は,新しいトークン化とコンテキスト的特徴融合戦略を備えたユニバーサルアーキテクチャを開発する。 提案手法の有効性を,いくつかのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2024-05-30T17:59:02Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• ACR: Attention Collaboration-based Regressor for Arbitrary Two-Hand Reconstruction [30.073586754012645]
  本稿では,ACR(Attention Collaboration-based Regressor)について述べる。 本手法は,種々の手指再建データセットを用いて評価する。
  論文  参考訳（メタデータ） (2023-03-10T14:19:02Z)
• Decoupled Iterative Refinement Framework for Interacting Hands Reconstruction from a Single RGB Image [30.24438569170251]
  画素アライメント・ハンド再構成を実現するために,分離された反復的精細化フレームワークを提案する。 提案手法は、InterHand2.6Mデータセットにおいて、既存の2手再構成手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2023-02-05T15:46:57Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
  自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。 提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-07-01T13:28:02Z)
• RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
  本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
  論文  参考訳（メタデータ） (2021-06-22T12:53:56Z)
• Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera [79.41374930171469]
  本稿では,2つの強く相互作用する手の位置と形状をリアルタイムに再現する新しい手法を提案する。 われわれのアプローチは、有利なプロパティの広範なリスト、すなわちマーカーレスを組み合わせている。 過去の研究で示された複雑性レベルを超える場面で、最先端の結果を示す。
  論文  参考訳（メタデータ） (2021-06-15T11:39:49Z)
• Skeleton-aware multi-scale heatmap regression for 2D hand pose estimation [1.0152838128195467]
  本稿では,2つの主要モジュールからなるディープラーニングベースのフレームワークを提案する。 前者は、手骨を検知し、手の境界ボックスをローカライズするセグメンテーションベースのアプローチを提案する。 第2のモジュールは、マルチスケールのヒートマップ回帰アプローチを通じて2次元関節位置を回帰する。
  論文  参考訳（メタデータ） (2021-05-23T10:23:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。