論文の概要: End-to-End Human Object Interaction Detection with HOI Transformer
- arxiv url: http://arxiv.org/abs/2103.04503v1
- Date: Mon, 8 Mar 2021 01:31:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-09 15:37:54.832547
- Title: End-to-End Human Object Interaction Detection with HOI Transformer
- Title(参考訳): HOI変換器によるエンドツーエンドのヒューマンオブジェクトインタラクション検出
- Authors: Cheng Zou, Bohan Wang, Yue Hu, Junqi Liu, Qian Wu, Yu Zhao, Boxun Li,
Chenguang Zhang, Chi Zhang, Yichen Wei, Jian Sun
- Abstract要約: 本稿では,Human Object Interaction (HOI) 検出にエンドツーエンドで取り組むHOI Transformerを提案する。
hoi transformerと呼ばれるこの手法は,多数のハンドデザインコンポーネントを不要にすることで,hoiパイプラインを合理化する。
- 参考スコア(独自算出の注目度): 35.630014498933356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose HOI Transformer to tackle human object interaction (HOI) detection
in an end-to-end manner. Current approaches either decouple HOI task into
separated stages of object detection and interaction classification or
introduce surrogate interaction problem. In contrast, our method, named HOI
Transformer, streamlines the HOI pipeline by eliminating the need for many
hand-designed components. HOI Transformer reasons about the relations of
objects and humans from global image context and directly predicts HOI
instances in parallel. A quintuple matching loss is introduced to force HOI
predictions in a unified way. Our method is conceptually much simpler and
demonstrates improved accuracy. Without bells and whistles, HOI Transformer
achieves $26.61\% $ $ AP $ on HICO-DET and $52.9\%$ $AP_{role}$ on V-COCO,
surpassing previous methods with the advantage of being much simpler. We hope
our approach will serve as a simple and effective alternative for HOI tasks.
Code is available at https://github.com/bbepoch/HoiTransformer .
- Abstract(参考訳): 本稿では,Human Object Interaction (HOI) 検出にエンドツーエンドで取り組むHOI Transformerを提案する。
現在のアプローチでは、HOIタスクをオブジェクト検出と相互作用分類の分離段階に分離するか、代理相互作用問題を導入するかのいずれかである。
対照的に、HOI Transformerという名前の私たちのメソッドは、多くの手作業で設計されたコンポーネントを不要にすることでHOIパイプラインを合理化します。
HOIトランスフォーマーは、グローバルなイメージコンテキストからオブジェクトと人間の関係を判断し、HOIインスタンスを直接並列に予測する。
HOI予測を統一的に強制するために、四重整合損失を導入する。
提案手法は概念的にはるかにシンプルであり,精度が向上している。
鐘や笛がなければ、HOI TransformerはHICO-DETで$ 6.61 % $ AP $、V-COCOで$ 52.9 % $ AP_{role}$を達成し、従来の方法をはるかにシンプルにしました。
私たちのアプローチがHOIタスクのシンプルで効果的な代替手段になることを願っています。
コードはhttps://github.com/bbepoch/HoiTransformerで入手できる。
関連論文リスト
- Neural-Logic Human-Object Interaction Detection [67.4993347702353]
本稿では,ニューラルロジック推論を利用した新しいHOI検出器であるL OGIC HOIと,実体間の相互作用を推測するTransformerを提案する。
具体的には,バニラトランスフォーマーの自己保持機構を改変し,人間,行動,対象>三重項を推論し,新たな相互作用を構成する。
我々はこれらの2つの特性を一階述語論理で定式化し、それらを連続空間に基底にして、我々のアプローチの学習過程を制約し、性能とゼロショットの一般化能力を向上させる。
論文 参考訳(メタデータ) (2023-11-16T11:47:53Z) - HODN: Disentangling Human-Object Feature for HOI Detection [51.48164941412871]
本稿では,Human and Object Disentangling Network (HODN) を提案し,Human-Object Interaction (HOI) の関係を明示的にモデル化する。
インタラクションに人間的特徴がより寄与していることを考慮し,インタラクションデコーダが人間中心の領域に焦点を当てていることを確認するためのヒューマンガイドリンク手法を提案する。
提案手法は,V-COCOとHICO-Det Linkingデータセットの競合性能を実現する。
論文 参考訳(メタデータ) (2023-08-20T04:12:50Z) - Human-Object Interaction Detection via Disentangled Transformer [63.46358684341105]
本稿では,2つのサブタスクの学習を容易にするために,エンコーダとデコーダの両方をアンタングル化するDisentangled Transformerを提案する。
提案手法は,2つの公開HOIベンチマークにおいて,従来よりも大きなマージンを達成している。
論文 参考訳(メタデータ) (2022-04-20T08:15:04Z) - Consistency Learning via Decoding Path Augmentation for Transformers in
Human Object Interaction Detection [11.928724924319138]
変換器のHOI検出を改善するために,クロスパス整合性学習(CPC)を提案する。
提案手法の有効性を実証し, V-COCO, HICO-DETを改良した。
論文 参考訳(メタデータ) (2022-04-11T02:45:00Z) - Iwin: Human-Object Interaction Detection via Transformer with Irregular
Windows [57.00864538284686]
Iwin Transformerは階層型トランスフォーマーで、不規則ウィンドウ内でトークン表現学習とトークン集約を行う。
Iwin Transformerの有効性と効率を,2つの標準HOI検出ベンチマークデータセットで検証した。
論文 参考訳(メタデータ) (2022-03-20T12:04:50Z) - QAHOI: Query-Based Anchors for Human-Object Interaction Detection [29.548384966666013]
1段階のアプローチは、高い効率性のため、このタスクの新たなトレンドになっている。
本稿では、クエリベースのアンカーを用いてHOIインスタンスのすべての要素を予測するトランスフォーマーベースのQAHOIを提案する。
我々は, 強力なバックボーンがQAHOIの精度を大幅に向上させ, トランスフォーマーベースのバックボーンを用いたQAHOIは, HICO-DETベンチマークにおいて, 最新の最先端手法よりも高い性能を示した。
論文 参考訳(メタデータ) (2021-12-16T05:52:23Z) - HOTR: End-to-End Human-Object Interaction Detection with Transformers [26.664864824357164]
そこで本研究では, HOTRが提唱する, 画像からヒト, オブジェクト, 相互作用> トリプレットの集合を直接予測する新しいフレームワークを提案する。
提案アルゴリズムは,2つのHOI検出ベンチマークにおいて,オブジェクト検出後1ms以下の推論時間で最新の性能を実現する。
論文 参考訳(メタデータ) (2021-04-28T10:10:29Z) - Reformulating HOI Detection as Adaptive Set Prediction [25.44630995307787]
我々は適応セット予測問題としてHOI検出を再構成する。
本稿では,並列インスタンスとインタラクションブランチを備えた適応型セットベースワンステージフレームワーク(as-net)を提案する。
この手法は、人間のポーズや言語的特徴を必要とせず、従来の最先端の手法を上回ります。
論文 参考訳(メタデータ) (2021-03-10T10:40:33Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。