論文の概要: Reconstructing Interacting Hands with Interaction Prior from Monocular Images

• arxiv url: http://arxiv.org/abs/2308.14082v1
• Date: Sun, 27 Aug 2023 12:01:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 17:07:23.565663
• Title: Reconstructing Interacting Hands with Interaction Prior from Monocular Images
• Title（参考訳）: 単眼画像からのインタラクションによるインタラクションハンドの再構築
• Authors: Binghui Zuo, Zimeng Zhao, Wenqian Sun, Wei Xie, Zhou Xue and Yangang Wang
• Abstract要約: AR/VRアプリケーションでは、モノクロ画像からのインタラクションハンドの再構築が不可欠である。 既存の解のほとんどは、それぞれの骨格関節の正確な局在に依存する。 これはまた、人間がすべての関節をローカライズすることなく、素早く相互作用パターンを模倣できるため、人間の知覚に反する。 我々のキーとなる考え方は、まず最初に双方向のインタラクションを構築し、インタラクション再構築タスクを前者からの条件付きサンプリングとして再キャストすることである。
• 参考スコア（独自算出の注目度）: 15.637213005593962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing interacting hands from monocular images is indispensable in AR/VR applications. Most existing solutions rely on the accurate localization of each skeleton joint. However, these methods tend to be unreliable due to the severe occlusion and confusing similarity among adjacent hand parts. This also defies human perception because humans can quickly imitate an interaction pattern without localizing all joints. Our key idea is to first construct a two-hand interaction prior and recast the interaction reconstruction task as the conditional sampling from the prior. To expand more interaction states, a large-scale multimodal dataset with physical plausibility is proposed. Then a VAE is trained to further condense these interaction patterns as latent codes in a prior distribution. When looking for image cues that contribute to interaction prior sampling, we propose the interaction adjacency heatmap (IAH). Compared with a joint-wise heatmap for localization, IAH assigns denser visible features to those invisible joints. Compared with an all-in-one visible heatmap, it provides more fine-grained local interaction information in each interaction region. Finally, the correlations between the extracted features and corresponding interaction codes are linked by the ViT module. Comprehensive evaluations on benchmark datasets have verified the effectiveness of this framework. The code and dataset are publicly available at https://github.com/binghui-z/InterPrior_pytorch
• Abstract（参考訳）: AR/VRアプリケーションでは、モノクロ画像からのインタラクションハンドの再構築が不可欠である。 既存の解のほとんどは、それぞれの骨格関節の正確な局在に依存する。 しかし, 重度の咬合と隣接した手部との類似性から, 信頼性が低下する傾向がみられた。 これはまた、人間がすべての関節を局所化せずに素早く相互作用パターンを模倣できるため、人間の知覚に反する。 我々のキーとなる考え方は、まず最初に双方向のインタラクションを構築し、インタラクション再構築タスクを前者からの条件付きサンプリングとして再キャストすることである。 インタラクション状態を拡大するために,物理可能性を持つ大規模マルチモーダルデータセットを提案する。 次に、vaeを訓練し、これらの相互作用パターンを事前分布内の潜在符号としてさらに凝縮させる。 先行サンプリングのインタラクションに寄与する画像手がかりを求める際に,対話型隣接ヒートマップ(iah)を提案する。 ローカライズのためのジョイントワイズヒートマップと比較すると、iaaは目に見えない関節により濃密な特徴を割り当てる。 オールインワンの可視熱マップと比較して、各相互作用領域におけるよりきめ細かい局所的な相互作用情報を提供する。 最後に、抽出した特徴と対応する相互作用符号の相関関係をViTモジュールでリンクする。 ベンチマークデータセットの総合評価により、このフレームワークの有効性が検証された。 コードとデータセットはhttps://github.com/binghui-z/InterPrior_pytorchで公開されている。

関連論文リスト

• Disentangled Interaction Representation for One-Stage Human-Object Interaction Detection [70.96299509159981]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。 最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。 従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
  論文  参考訳（メタデータ） (2023-12-04T08:02:59Z)
• OAMatcher: An Overlapping Areas-based Network for Accurate Local Feature Matching [9.006654114778073]
  OAMatcherは、人間の動作を模倣して、密集した正確な一致を生成する、検知不要な手法である。 OAMatcherは重複する領域を予測し、効果的でクリーンなグローバルコンテキストアグリゲーションを促進する。 総合的な実験により、OAMatcherはいくつかのベンチマークで最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-02-12T03:32:45Z)
• Interactiveness Field in Human-Object Interactions [89.13149887013905]
  画像中の物体が人間とペアリングした後、生成されたペアは、主に非対話的か、主に対話的かのいずれかである。 本研究では,対話型対と非対話型対の基底となる「相互作用性場」の濃度と差に基づく新しいエネルギー制約を提案する。 提案手法により,より高精度なペア検出が可能となり,HOI検出性能が大幅に向上する。
  論文  参考訳（メタデータ） (2022-04-16T05:09:25Z)
• Reformulating HOI Detection as Adaptive Set Prediction [25.44630995307787]
  我々は適応セット予測問題としてHOI検出を再構成する。 本稿では,並列インスタンスとインタラクションブランチを備えた適応型セットベースワンステージフレームワーク(as-net)を提案する。 この手法は、人間のポーズや言語的特徴を必要とせず、従来の最先端の手法を上回ります。
  論文  参考訳（メタデータ） (2021-03-10T10:40:33Z)
• DIRV: Dense Interaction Region Voting for End-to-End Human-Object Interaction Detection [53.40028068801092]
  本稿では,HOI問題に対するインタラクション領域という新しい概念に基づいて,新しい一段階HOI検出手法を提案する。 従来の手法とは異なり,本手法は人-物対ごとに異なるスケールにわたる密集した相互作用領域に焦点をあてる。 単一相互作用領域の検出欠陥を補うために,我々は新しい投票戦略を導入する。
  論文  参考訳（メタデータ） (2020-10-02T13:57:58Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)
• Asynchronous Interaction Aggregation for Action Detection [43.34864954534389]
  本稿では,異なるインタラクションを活用して動作検出を促進する非同期インタラクション集約ネットワーク(AIA)を提案する。 ひとつはインタラクション集約構造(IA)で、複数のタイプのインタラクションをモデル化し統合するための一様パラダイムを採用し、もうひとつはパフォーマンス向上を実現するための非同期メモリ更新アルゴリズム(AMU)です。
  論文  参考訳（メタデータ） (2020-04-16T07:03:20Z)
• Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
  本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。 我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。 V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2020-03-31T08:42:06Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。