論文の概要: Reformulating HOI Detection as Adaptive Set Prediction

• arxiv url: http://arxiv.org/abs/2103.05983v1
• Date: Wed, 10 Mar 2021 10:40:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-11 14:52:54.452526
• Title: Reformulating HOI Detection as Adaptive Set Prediction
• Title（参考訳）: 適応的セット予測としてのHOI検出の修正
• Authors: Mingfei Chen, Yue Liao, Si Liu, Zhiyuan Chen, Fei Wang, Chen Qian
• Abstract要約: 我々は適応セット予測問題としてHOI検出を再構成する。 本稿では,並列インスタンスとインタラクションブランチを備えた適応型セットベースワンステージフレームワーク(as-net)を提案する。 この手法は、人間のポーズや言語的特徴を必要とせず、従来の最先端の手法を上回ります。
• 参考スコア（独自算出の注目度）: 25.44630995307787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Determining which image regions to concentrate on is critical for Human-Object Interaction (HOI) detection. Conventional HOI detectors focus on either detected human and object pairs or pre-defined interaction locations, which limits learning of the effective features. In this paper, we reformulate HOI detection as an adaptive set prediction problem, with this novel formulation, we propose an Adaptive Set-based one-stage framework (AS-Net) with parallel instance and interaction branches. To attain this, we map a trainable interaction query set to an interaction prediction set with a transformer. Each query adaptively aggregates the interaction-relevant features from global contexts through multi-head co-attention. Besides, the training process is supervised adaptively by matching each ground-truth with the interaction prediction. Furthermore, we design an effective instance-aware attention module to introduce instructive features from the instance branch into the interaction branch. Our method outperforms previous state-of-the-art methods without any extra human pose and language features on three challenging HOI detection datasets. Especially, we achieve over $31\%$ relative improvement on a large scale HICO-DET dataset. Code is available at https://github.com/yoyomimi/AS-Net.
• Abstract（参考訳）: HOI(Human-Object Interaction)検出では、どの画像領域に集中すべきかを決定することが重要です。 従来のHOI検出器は、検出された人間と物体のペアか、あるいは事前に定義された相互作用位置に焦点を合わせ、効果的な特徴の学習を制限する。 本稿では,hoi検出を適応集合予測問題として再構成し,並列インスタンスとインタラクションブランチを用いた適応集合型一段階フレームワーク(as-net)を提案する。 これを達成するために、トレーニング可能なインタラクションクエリセットをトランスとのインタラクション予測セットにマップします。 各クエリは、マルチヘッドコアテンションを通じて、グローバルコンテキストから対話関連機能を適応的に集約する。 また、各接地面と相互作用予測とを一致させることにより、訓練過程を適応的に監視する。 さらに、インスタンスブランチからインタラクションブランチにインストラクティブ機能を導入するための効果的なインスタンス認識アテンションモジュールを設計する。 3つの難しいHOI検出データセットに、人間のポーズや言語機能を追加することなく、従来の最先端のメソッドを上回ります。 特に、大規模なHICO-DETデータセットで331\%$の相対的な改善を達成しています。 コードはhttps://github.com/yoyomimi/AS-Netで入手できる。

関連論文リスト

• Disentangled Interaction Representation for One-Stage Human-Object Interaction Detection [70.96299509159981]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。 最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。 従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
  論文  参考訳（メタデータ） (2023-12-04T08:02:59Z)
• Parallel Reasoning Network for Human-Object Interaction Detection [53.422076419484945]
  並列推論ネットワーク(PR-Net)というトランスフォーマーに基づく新しい手法を提案する。 PR-Netは、インスタンスレベルのローカライゼーションと関係レベルの理解のための2つの独立した予測器を構築する。 我々のPR-NetはHICO-DETとV-COCOベンチマークで競合する結果を得た。
  論文  参考訳（メタデータ） (2023-01-09T17:00:34Z)
• Consistency Learning via Decoding Path Augmentation for Transformers in Human Object Interaction Detection [11.928724924319138]
  変換器のHOI検出を改善するために,クロスパス整合性学習(CPC)を提案する。 提案手法の有効性を実証し, V-COCO, HICO-DETを改良した。
  論文  参考訳（メタデータ） (2022-04-11T02:45:00Z)
• RR-Net: Injecting Interactive Semantics in Human-Object Interaction Detection [40.65483058890176]
  最新のエンドツーエンドHOI検出器は関係推論に欠けており、予測のためにHOI固有の対話的セマンティクスを学習できない。 まず、インタラクション推論のための新しい構造とパラメータ共有パターンをもたらす、プログレッシブな関係認識フレームを提案する。 上記のモジュールに基づいて、Relation Reasoning Network (abbr) というエンドツーエンドのトレーニング可能なフレームワークを構築します。 RR-Net)
  論文  参考訳（メタデータ） (2021-04-30T14:03:10Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)
• Novel Human-Object Interaction Detection via Adversarial Domain Generalization [103.55143362926388]
  本研究では,新たな人-物間相互作用(HOI)検出の問題点を考察し,モデルの一般化能力を向上させることを目的とした。 この課題は、主に対象と述語の大きな構成空間に起因し、全ての対象と述語の組み合わせに対する十分な訓練データが欠如している。 本稿では,予測のためのオブジェクト指向不変の特徴を学習するために,対数領域の一般化の統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-05-22T22:02:56Z)
• Asynchronous Interaction Aggregation for Action Detection [43.34864954534389]
  本稿では,異なるインタラクションを活用して動作検出を促進する非同期インタラクション集約ネットワーク(AIA)を提案する。 ひとつはインタラクション集約構造(IA)で、複数のタイプのインタラクションをモデル化し統合するための一様パラダイムを採用し、もうひとつはパフォーマンス向上を実現するための非同期メモリ更新アルゴリズム(AMU)です。
  論文  参考訳（メタデータ） (2020-04-16T07:03:20Z)
• Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
  本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。 我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。 V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2020-03-31T08:42:06Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。