論文の概要: Interacting Hand-Object Pose Estimation via Dense Mutual Attention

• arxiv url: http://arxiv.org/abs/2211.08805v1
• Date: Wed, 16 Nov 2022 10:01:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 15:42:25.013750
• Title: Interacting Hand-Object Pose Estimation via Dense Mutual Attention
• Title（参考訳）: 密集した相互注意によるハンドオブジェクトポーズ推定
• Authors: Rong Wang, Wei Mao, Hongdong Li
• Abstract要約: 3Dハンドオブジェクトのポーズ推定は多くのコンピュータビジョンアプリケーションの成功の鍵となる。 本研究では,手と物体間の微粒な依存関係をモデル化できる新しい相互注意機構を提案する。 提案手法は,高品質かつリアルタイムな推論速度で,物理的に妥当なポーズを生成できる。
• 参考スコア（独自算出の注目度）: 97.26400229871888
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D hand-object pose estimation is the key to the success of many computer vision applications. The main focus of this task is to effectively model the interaction between the hand and an object. To this end, existing works either rely on interaction constraints in a computationally-expensive iterative optimization, or consider only a sparse correlation between sampled hand and object keypoints. In contrast, we propose a novel dense mutual attention mechanism that is able to model fine-grained dependencies between the hand and the object. Specifically, we first construct the hand and object graphs according to their mesh structures. For each hand node, we aggregate features from every object node by the learned attention and vice versa for each object node. Thanks to such dense mutual attention, our method is able to produce physically plausible poses with high quality and real-time inference speed. Extensive quantitative and qualitative experiments on large benchmark datasets show that our method outperforms state-of-the-art methods. The code is available at https://github.com/rongakowang/DenseMutualAttention.git.
• Abstract（参考訳）: 3Dハンドオブジェクトのポーズ推定は多くのコンピュータビジョンアプリケーションの成功の鍵となる。 このタスクの主な焦点は、手とオブジェクトの相互作用を効果的にモデル化することである。 この目的のために、既存の研究は、計算に精通した反復最適化における相互作用の制約に依存するか、サンプルハンドとオブジェクトキーポイントの間の疎相関のみを考慮する。 これとは対照的に,手とオブジェクト間のきめ細かい依存性をモデル化できる,新しい密集した相互注意機構を提案する。 具体的には、まず手とオブジェクトのグラフをメッシュ構造に従って構築する。 各ハンドノードについて、学習した注意によって各オブジェクトノードから機能を集約し、その逆も行う。 このような密集した相互注意により,高品質かつリアルタイムな推定速度で,物理的に妥当なポーズを生成できる。 大規模ベンチマークデータセットにおける大規模定量的および定性的実験により,本手法が最先端の手法より優れていることが示された。 コードはhttps://github.com/rongakowang/densemutualattention.gitで入手できる。

関連論文リスト

• ORMNet: Object-centric Relationship Modeling for Egocentric Hand-object Segmentation [14.765419467710812]
  エゴセントリック・ハンドオブジェクト・セグメンテーション(EgoHOS)は、エゴセントリック・イメージにおける手とオブジェクトのセグメンテーションと相互作用を目的とした、有望な新しいタスクである。 本稿では,エンドツーエンドかつ効果的なEgoHOSを実現するために,ORMNet(Object-centric Relationship Modeling Network)を提案する。
  論文  参考訳（メタデータ） (2024-07-08T03:17:10Z)
• InterTracker: Discovering and Tracking General Objects Interacting with Hands in the Wild [40.489171608114574]
  既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。 本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。 提案手法は最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-06T09:09:17Z)
• Hand-Object Interaction Image Generation [135.87707468156057]
  この仕事は、新しいタスク、すなわち手動オブジェクトのインタラクション画像生成に特化している。 与えられた手、オブジェクト、それらの相互作用状態の下で、条件付きハンドオブジェクト画像を生成することを目的としている。 このタスクは、AR/VRゲームやオンラインショッピングなど、多くの潜在的なアプリケーションシナリオにおいて、挑戦的で研究に値するものだ。
  論文  参考訳（メタデータ） (2022-11-28T18:59:57Z)
• Collaborative Learning for Hand and Object Reconstruction with Attention-guided Graph Convolution [49.10497573378427]
  インタラクション中の手や物体のポーズと形状を推定すると、拡張現実や仮想現実を含む多くの応用が見つかる。 我々のアルゴリズムはオブジェクトモデルへの最適化であり、手動オブジェクトの相互作用を管理する物理規則を学習する。 広範に使用されている4つのベンチマークを用いて実験したところ、我々のフレームワークは3次元ポーズ推定における最先端の精度を超えて達成でき、また、密集した3次元手や物体の形状を復元できることがわかった。
  論文  参考訳（メタデータ） (2022-04-27T17:00:54Z)
• What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
  我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。 通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:02Z)
• Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
  自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。 提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-07-01T13:28:02Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)
• Robust, Occlusion-aware Pose Estimation for Objects Grasped by Adaptive Hands [16.343365158924183]
  内部操作のような操作タスクは、ロボットハンドに対してオブジェクトのポーズを必要とする。 本稿では,頑健なポーズ推定と応答時間の短縮を目的とした奥行きに基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-07T05:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。