論文の概要: Transferable Interactiveness Knowledge for Human-Object Interaction Detection

• arxiv url: http://arxiv.org/abs/2101.10292v3
• Date: Wed, 3 Mar 2021 10:04:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-14 19:22:05.329589
• Title: Transferable Interactiveness Knowledge for Human-Object Interaction Detection
• Title（参考訳）: 物体間相互作用検出のための移動可能な対話性知識
• Authors: Yong-Lu Li, Xinpeng Liu, Xiaoqian Wu, Xijie Huang, Liang Xu, Cewu Lu
• Abstract要約: 我々は,人間と物体が相互に相互作用するか否かを示す対話性知識を探索する。 対話性に関する知識は、HOIデータセット全体で学習でき、多様なHOIカテゴリ設定のギャップを埋めることができる。 私たちのコアアイデアは、対話性ネットワークを利用して、複数のHOIデータセットから一般的な対話性知識を学ぶことです。
• 参考スコア（独自算出の注目度）: 46.89715038756862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-Object Interaction (HOI) detection is an important problem to understand how humans interact with objects. In this paper, we explore interactiveness knowledge which indicates whether a human and an object interact with each other or not. We found that interactiveness knowledge can be learned across HOI datasets and bridge the gap between diverse HOI category settings. Our core idea is to exploit an interactiveness network to learn the general interactiveness knowledge from multiple HOI datasets and perform Non-Interaction Suppression (NIS) before HOI classification in inference. On account of the generalization ability of interactiveness, interactiveness network is a transferable knowledge learner and can be cooperated with any HOI detection models to achieve desirable results. We utilize the human instance and body part features together to learn the interactiveness in hierarchical paradigm, i.e., instance-level and body part-level interactivenesses. Thereafter, a consistency task is proposed to guide the learning and extract deeper interactive visual clues. We extensively evaluate the proposed method on HICO-DET, V-COCO, and a newly constructed PaStaNet-HOI dataset. With the learned interactiveness, our method outperforms state-of-the-art HOI detection methods, verifying its efficacy and flexibility. Code is available at https://github.com/DirtyHarryLYL/Transferable-Interactiveness-Network.
• Abstract（参考訳）: ヒューマンオブジェクトインタラクション(HOI)検出は、人間がオブジェクトとどのように相互作用するかを理解する上で重要な問題です。 本稿では,人間と物体が相互に相互作用するか否かを示す対話性知識について検討する。 対話性に関する知識は、HOIデータセット全体で学習でき、多様なHOIカテゴリ設定のギャップを埋めることができる。 私たちのコアアイデアは、対話性ネットワークを利用して、複数のHOIデータセットから一般的な対話性知識を学び、HOI分類の前に非相互作用抑制(NIS)を実行することです。 対話性の一般化能力を考慮すると、対話性ネットワークは伝達可能な知識学習者であり、任意のHOI検出モデルと協調して望ましい結果が得られる。 ヒューマンインスタンスとボディパートの機能を組み合わせて、階層的パラダイムのインタラクティブ性、すなわちインスタンスレベルとボディパートレベルのインタラクティブ性を学びます。 その後、学習を指導し、より深いインタラクティブな視覚手がかりを抽出するために、一貫性タスクが提案される。 提案手法をHICO-DET, V-COCO, PaStaNet-HOIデータセット上で幅広く評価した。 学習された対話性により,本手法は最先端のHOI検出方法より優れ,その有効性と柔軟性を検証できる。 コードはhttps://github.com/DirtyHarryLYL/Transferable-Interactiveness-Networkで入手できる。

関連論文リスト

• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• Disentangled Interaction Representation for One-Stage Human-Object Interaction Detection [70.96299509159981]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。 最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。 従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
  論文  参考訳（メタデータ） (2023-12-04T08:02:59Z)
• HODN: Disentangling Human-Object Feature for HOI Detection [51.48164941412871]
  本稿では,Human and Object Disentangling Network (HODN) を提案し,Human-Object Interaction (HOI) の関係を明示的にモデル化する。 インタラクションに人間的特徴がより寄与していることを考慮し,インタラクションデコーダが人間中心の領域に焦点を当てていることを確認するためのヒューマンガイドリンク手法を提案する。 提案手法は,V-COCOとHICO-Det Linkingデータセットの競合性能を実現する。
  論文  参考訳（メタデータ） (2023-08-20T04:12:50Z)
• Mining Cross-Person Cues for Body-Part Interactiveness Learning in HOI Detection [39.61023122191333]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は,活動理解において重要な役割を担っている。 先行研究は、対象人物(例えば、地域的な視点で)に焦点を合わせ、他者の情報を見渡すのみである。 本稿では,複数人の身体を同時に比較することで,より有用で補助的な対話性を実現することができると論じる。 本研究は, 個人間の情報的手がかりを自覚的に抽出し, 全身体間の包括的関係を学習するために, 自己注意に基づく身体部分のサリエンシマップを構築した。
  論文  参考訳（メタデータ） (2022-07-28T15:57:51Z)
• Detecting Human-to-Human-or-Object (H2O) Interactions with DIABOLO [29.0200561485714]
  我々は,Human-to-Human-or-Object(H2O)という2種類のインタラクションを扱う新しいインタラクションデータセットを提案する。 さらに, 人間の身体的態度の記述に近づき, 周囲の相互作用の標的について記述することを目的とした, 動詞の新たな分類法を導入する。 提案手法は,1回のフォワードパスにおける全てのインタラクションを検出するための,効率的な主観中心単発撮影法であるDIABOLOを提案する。
  論文  参考訳（メタデータ） (2022-01-07T11:00:11Z)
• Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition [111.87412719773889]
  本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。 本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
  論文  参考訳（メタデータ） (2021-10-28T10:09:34Z)
• Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
  本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。 我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。 V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2020-03-31T08:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。