論文の概要: Interacting Attention Graph for Single Image Two-Hand Reconstruction

• arxiv url: http://arxiv.org/abs/2203.09364v2
• Date: Fri, 18 Mar 2022 06:55:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-21 11:33:39.768599
• Title: Interacting Attention Graph for Single Image Two-Hand Reconstruction
• Title（参考訳）: 双方向画像再構成のためのインタラクションアテンショングラフ
• Authors: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, Yebin Liu
• Abstract要約: IntagHand(Interacting Attention Graph Hand)は、1つのRGB画像から2つのインタラクションハンドを再構築する最初のグラフ畳み込みベースのネットワークである。 提案手法は,InterHand2.6Mベンチマークにおいて,既存の2手再構成手法を大きなマージンで上回っている。
• 参考スコア（独自算出の注目度）: 32.342152070402236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph convolutional network (GCN) has achieved great success in single hand reconstruction task, while interacting two-hand reconstruction by GCN remains unexplored. In this paper, we present Interacting Attention Graph Hand (IntagHand), the first graph convolution based network that reconstructs two interacting hands from a single RGB image. To solve occlusion and interaction challenges of two-hand reconstruction, we introduce two novel attention based modules in each upsampling step of the original GCN. The first module is the pyramid image feature attention (PIFA) module, which utilizes multiresolution features to implicitly obtain vertex-to-image alignment. The second module is the cross hand attention (CHA) module that encodes the coherence of interacting hands by building dense cross-attention between two hand vertices. As a result, our model outperforms all existing two-hand reconstruction methods by a large margin on InterHand2.6M benchmark. Moreover, ablation studies verify the effectiveness of both PIFA and CHA modules for improving the reconstruction accuracy. Results on in-the-wild images and live video streams further demonstrate the generalization ability of our network. Our code is available at https://github.com/Dw1010/IntagHand.
• Abstract（参考訳）: グラフ畳み込みネットワーク (gcn) は, 片手復元作業において大きな成功を収めているが, gcnによる双方向再構成の相互作用は未検討のままである。 本稿では、1つのRGB画像から2つのインタラクションハンドを再構成する最初のグラフ畳み込みネットワークであるInteracting Attention Graph Hand(IntagHand)を提案する。 両手再建における咬合・相互作用の課題を解決するため,元のGCNの各アップサンプリングステップに2つの新しい注意ベースモジュールを導入する。 最初のモジュールは、多解像度機能を利用して暗黙的に頂点対像アライメントを得るピラミッド画像特徴アテンション(PIFA)モジュールである。 第2のモジュールは、交差注意モジュール(CHA)であり、2つの手頂点間の密接な交差注意を構築することで、相互作用する手のコヒーレンスを符号化する。 その結果,本モデルはinterhand2.6mベンチマークにおいて,既存の2手法を大差で上回った。 さらに, 再建精度を向上させるため, PIFAおよびCHAモジュールの有効性について検討した。 実画像とライブビデオストリームの結果は,ネットワークの一般化能力をさらに証明している。 私たちのコードはhttps://github.com/dw1010/intaghand.comで利用可能です。

関連論文リスト

• Hamba: Single-view 3D Hand Reconstruction with Graph-guided Bi-Scanning Mamba [48.45301469664908]
  1枚のRGB画像からの3Dハンド再構成は、関節運動、自己閉塞、物体との相互作用により困難である。 既存のSOTA法では、3Dハンドポーズと形状を学ぶためにアテンションベースのトランスフォーマーを採用している。 本稿では,グラフ学習と状態空間モデリングを橋渡しするHambaというグラフ誘導型Mambaフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-12T19:04:58Z)
• Fine-Grained Multi-View Hand Reconstruction Using Inverse Rendering [11.228453237603834]
  本稿では,逆レンダリングを利用して手ポーズを復元し,詳細を複雑化する多視点ハンドメッシュ再構成手法を提案する。 また、ハンドメッシュとテクスチャの両方を洗練させるために、新しいハンドアルベドとメッシュ(HAM)最適化モジュールも導入した。 提案手法は,再現精度とレンダリング品質の両面において,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-08T07:28:24Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• MeMaHand: Exploiting Mesh-Mano Interaction for Single Image Two-Hand Reconstruction [19.82874341207336]
  メッシュを再構築し、単一のRGB画像から2つの手のMANOパラメータを同時に推定する。 MMIBは、局所情報を集約するために1つのグラフ残差ブロックと、長距離依存をモデル化するために2つのトランスフォーマーエンコーダから構成される。 InterHand2.6Mベンチマークの実験は、最先端の手再構成法に対して有望な結果を示した。
  論文  参考訳（メタデータ） (2023-03-28T04:06:02Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• Im2Hands: Learning Attentive Implicit Representation of Interacting Two-Hand Shapes [58.551154822792284]
  Implicit Two Hands (Im2Hands) は、2つの相互作用する手の最初の暗黙の表現である。 Im2Handsは、両手と手と手と画像のコヒーレンシーの高い2つの手のきめ細かい幾何学を生成することができる。 両手再建におけるIm2Handsの有効性を, 関連手法と比較して実験的に実証した。
  論文  参考訳（メタデータ） (2023-02-28T06:38:25Z)
• Decoupled Iterative Refinement Framework for Interacting Hands Reconstruction from a Single RGB Image [30.24438569170251]
  画素アライメント・ハンド再構成を実現するために,分離された反復的精細化フレームワークを提案する。 提案手法は、InterHand2.6Mデータセットにおいて、既存の2手再構成手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2023-02-05T15:46:57Z)
• LWA-HAND: Lightweight Attention Hand for Interacting Hand Reconstruction [2.2481284426718533]
  本稿では,LWA-HAND(Lightlight attention hand)という手法を提案し,単一のRGB画像から低フロップで手を再構築する。 結果として得られたモデルは、InterHand2.6Mベンチマークで、最先端のモデルと比較して同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-21T06:25:56Z)
• Vision GNN: An Image is Worth Graph of Nodes [49.3335689216822]
  本稿では,画像をグラフ構造として表現し,視覚タスクのためのグラフレベルの特徴を抽出するビジョンGNN(ViG)アーキテクチャを提案する。 画像のグラフ表現に基づいて、すべてのノード間で情報を変換、交換するViGモデルを構築します。 画像認識および物体検出タスクに関する大規模な実験は、我々のViGアーキテクチャの優位性を実証している。
  論文  参考訳（メタデータ） (2022-06-01T07:01:04Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)
• Adaptive Graphical Model Network for 2D Handpose Estimation [19.592024471753025]
  単眼RGB画像からの2次元手ポーズ推定の課題に対処する新しいアーキテクチャを提案する。 アダプティブ・グラフィカル・モデル・ネットワーク(Adaptive Graphical Model Network, AGMN)は、単一のポテンシャル関数とペアのポテンシャル関数を計算するための深部畳み込みニューラルネットワークの2つの枝からなる。 提案手法は,2つの公開データセットに対する顕著なマージンによる2次元手指キーポイント推定における最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2019-09-18T04:19:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。