論文の概要: Mining Cross-Person Cues for Body-Part Interactiveness Learning in HOI Detection

• arxiv url: http://arxiv.org/abs/2207.14192v1
• Date: Thu, 28 Jul 2022 15:57:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-29 12:34:37.115064
• Title: Mining Cross-Person Cues for Body-Part Interactiveness Learning in HOI Detection
• Title（参考訳）: HOI検出におけるBody-Part Interactiveness Learningのためのクロスパーソンキューブのマイニング
• Authors: Xiaoqian Wu, Yong-Lu Li, Xinpeng Liu, Junyi Zhang, Yuzhe Wu, Cewu Lu
• Abstract要約: ヒューマン・オブジェクト・インタラクション(HOI)検出は,活動理解において重要な役割を担っている。 先行研究は、対象人物(例えば、地域的な視点で)に焦点を合わせ、他者の情報を見渡すのみである。 本稿では,複数人の身体を同時に比較することで,より有用で補助的な対話性を実現することができると論じる。 本研究は, 個人間の情報的手がかりを自覚的に抽出し, 全身体間の包括的関係を学習するために, 自己注意に基づく身体部分のサリエンシマップを構築した。
• 参考スコア（独自算出の注目度）: 39.61023122191333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-Object Interaction (HOI) detection plays a crucial role in activity understanding. Though significant progress has been made, interactiveness learning remains a challenging problem in HOI detection: existing methods usually generate redundant negative H-O pair proposals and fail to effectively extract interactive pairs. Though interactiveness has been studied in both whole body- and part- level and facilitates the H-O pairing, previous works only focus on the target person once (i.e., in a local perspective) and overlook the information of the other persons. In this paper, we argue that comparing body-parts of multi-person simultaneously can afford us more useful and supplementary interactiveness cues. That said, to learn body-part interactiveness from a global perspective: when classifying a target person's body-part interactiveness, visual cues are explored not only from herself/himself but also from other persons in the image. We construct body-part saliency maps based on self-attention to mine cross-person informative cues and learn the holistic relationships between all the body-parts. We evaluate the proposed method on widely-used benchmarks HICO-DET and V-COCO. With our new perspective, the holistic global-local body-part interactiveness learning achieves significant improvements over state-of-the-art. Our code is available at https://github.com/enlighten0707/Body-Part-Map-for-Interactiveness.
• Abstract（参考訳）: ヒューマン・オブジェクト・インタラクション(HOI)検出は、活動理解において重要な役割を果たす。 既存の手法は通常、冗長な負のH-Oペアの提案を生成し、インタラクティブなペアを効果的に抽出できない。 対話性は身体レベルと部分レベルの両方で研究され、H-Oペアリングを促進するが、以前の研究は一度だけ対象人物に焦点を合わせ、相手の情報を見落としている。 本稿では,複数人の身体を同時に比較することで,より有用で補助的な対話性を実現することができると論じる。 すなわち、対象者の身体部分の対話性を世界的視点から学習するために、対象者の身体部分の対話性を分類する場合、視覚的手がかりは自分自身からだけでなく、画像内の他者からも探索される。 本研究は, 人体間の情報伝達手段を自意識で抽出し, 全身体間の全体的関係を学習する。 提案手法をHICO-DETとV-COCOで評価した。 我々の新しい視点では、全体的グローバルな身体部分対話性学習は最先端技術よりも大幅に改善されている。 私たちのコードはhttps://github.com/enlighten0707/Body-Part-Map-for-Interactivenessで利用可能です。

関連論文リスト

• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• Disentangled Interaction Representation for One-Stage Human-Object Interaction Detection [70.96299509159981]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。 最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。 従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
  論文  参考訳（メタデータ） (2023-12-04T08:02:59Z)
• Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition [111.87412719773889]
  本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。 本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
  論文  参考訳（メタデータ） (2021-10-28T10:09:34Z)
• Transferable Interactiveness Knowledge for Human-Object Interaction Detection [46.89715038756862]
  我々は,人間と物体が相互に相互作用するか否かを示す対話性知識を探索する。 対話性に関する知識は、HOIデータセット全体で学習でき、多様なHOIカテゴリ設定のギャップを埋めることができる。 私たちのコアアイデアは、対話性ネットワークを利用して、複数のHOIデータセットから一般的な対話性知識を学ぶことです。
  論文  参考訳（メタデータ） (2021-01-25T18:21:07Z)
• Human Interaction Recognition Framework based on Interacting Body Part Attention [24.913372626903648]
  人間の相互作用の暗黙的および明示的な表現を同時に考慮する新しいフレームワークを提案する。 提案手法は, 相互作用部位の注意力を用いて, 異なる相互作用の微妙な違いを捉える。 提案手法の有効性を4つの公開データセットを用いて検証する。
  論文  参考訳（メタデータ） (2021-01-22T06:52:42Z)
• Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
  本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。 我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。 V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2020-03-31T08:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。