論文の概要: ACR: Attention Collaboration-based Regressor for Arbitrary Two-Hand Reconstruction

• arxiv url: http://arxiv.org/abs/2303.05938v1
• Date: Fri, 10 Mar 2023 14:19:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-13 14:54:43.731853
• Title: ACR: Attention Collaboration-based Regressor for Arbitrary Two-Hand Reconstruction
• Title（参考訳）: acr:任意の両手再建のための注意協調型レグレッサ
• Authors: Zhengdi Yu, Shaoli Huang, Chen Fang, Toby P. Breckon, Jue Wang
• Abstract要約: 本稿では,ACR(Attention Collaboration-based Regressor)について述べる。 本手法は,種々の手指再建データセットを用いて評価する。
• 参考スコア（独自算出の注目度）: 30.073586754012645
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reconstructing two hands from monocular RGB images is challenging due to frequent occlusion and mutual confusion. Existing methods mainly learn an entangled representation to encode two interacting hands, which are incredibly fragile to impaired interaction, such as truncated hands, separate hands, or external occlusion. This paper presents ACR (Attention Collaboration-based Regressor), which makes the first attempt to reconstruct hands in arbitrary scenarios. To achieve this, ACR explicitly mitigates interdependencies between hands and between parts by leveraging center and part-based attention for feature extraction. However, reducing interdependence helps release the input constraint while weakening the mutual reasoning about reconstructing the interacting hands. Thus, based on center attention, ACR also learns cross-hand prior that handle the interacting hands better. We evaluate our method on various types of hand reconstruction datasets. Our method significantly outperforms the best interacting-hand approaches on the InterHand2.6M dataset while yielding comparable performance with the state-of-the-art single-hand methods on the FreiHand dataset. More qualitative results on in-the-wild and hand-object interaction datasets and web images/videos further demonstrate the effectiveness of our approach for arbitrary hand reconstruction. Our code is available at https://github.com/ZhengdiYu/Arbitrary-Hands-3D-Reconstruction.
• Abstract（参考訳）: 単眼のRGB画像から両手を再構成することは、頻繁に閉塞し、相互に混乱するため困難である。 既存の手法では、主に2つの相互作用する手をエンコードするために絡み合った表現を学習する。 本稿では,ACR(Attention Collaboration-based Regressor)を提案する。 これを実現するために、acrは特徴抽出のために中心と部分に基づく注意を活用し、手と部品間の相互依存性を明示的に緩和する。 しかし、相互依存の低減は、相互作用する手の再構築に関する相互推論を弱めつつ、入力制約を解放するのに役立つ。 したがって、中心的注意に基づいて、acrは、相互作用する手をよりよく扱うクロスハンド事前学習も行う。 本手法は,種々の手指再建データセットを用いて評価する。 本手法は、interhand2.6mデータセットにおける最も優れたインタラクションハンドアプローチを著しく上回り、freihandデータセット上の最先端のシングルハンドメソッドと同等の性能が得られる。 in-the-wild および hand-object interaction dataset および web images/videos のより定性的な結果が,任意の手によるリコンストラクションに対するアプローチの有効性をさらに示している。 私たちのコードはhttps://github.com/zhengdiyu/arbitrary-hands-3d-restructionで利用可能です。

関連論文リスト

• OmniHands: Towards Robust 4D Hand Mesh Recovery via A Versatile Transformer [35.983309206845036]
  OmniHandsは、対話型ハンドメッシュを回復するための普遍的なアプローチであり、モノクラーまたはマルチビュー入力からの相対的な動きを示す。 我々は,新しいトークン化とコンテキスト的特徴融合戦略を備えたユニバーサルアーキテクチャを開発する。 提案手法の有効性を,いくつかのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2024-05-30T17:59:02Z)
• Two Hands Are Better Than One: Resolving Hand to Hand Intersections via Occupancy Networks [33.9893684177763]
  自己閉塞と指の関節は推定に重大な問題を引き起こす。 我々は、手の体積を連続多様体として表す占有ネットワークを利用する。 我々は,手動交差点の可能性を最小限に抑えるために,交差点損失関数を設計する。
  論文  参考訳（メタデータ） (2024-04-08T11:32:26Z)
• Exploiting Spatial-Temporal Context for Interacting Hand Reconstruction on Monocular RGB Video [104.69686024776396]
  モノラルなRGBデータからインタラクションハンドを再構築することは、多くの干渉要因が伴うため、難しい作業である。 これまでの作業は、物理的に妥当な関係をモデル化することなく、単一のRGBイメージからの情報のみを活用する。 本研究は, 空間的時間的情報を明示的に活用し, より優れた対話的手指再建を実現することを目的としている。
  論文  参考訳（メタデータ） (2023-08-08T06:16:37Z)
• Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
  既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。 ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。 画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
  論文  参考訳（メタデータ） (2023-03-09T02:24:30Z)
• Im2Hands: Learning Attentive Implicit Representation of Interacting Two-Hand Shapes [58.551154822792284]
  Implicit Two Hands (Im2Hands) は、2つの相互作用する手の最初の暗黙の表現である。 Im2Handsは、両手と手と手と画像のコヒーレンシーの高い2つの手のきめ細かい幾何学を生成することができる。 両手再建におけるIm2Handsの有効性を, 関連手法と比較して実験的に実証した。
  論文  参考訳（メタデータ） (2023-02-28T06:38:25Z)
• Decoupled Iterative Refinement Framework for Interacting Hands Reconstruction from a Single RGB Image [30.24438569170251]
  画素アライメント・ハンド再構成を実現するために,分離された反復的精細化フレームワークを提案する。 提案手法は、InterHand2.6Mデータセットにおいて、既存の2手再構成手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2023-02-05T15:46:57Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
  特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。 入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。 提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-28T09:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。