論文の概要: Affordance Transfer Learning for Human-Object Interaction Detection

• arxiv url: http://arxiv.org/abs/2104.02867v1
• Date: Wed, 7 Apr 2021 02:37:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 12:52:07.763085
• Title: Affordance Transfer Learning for Human-Object Interaction Detection
• Title（参考訳）: 人間-物体間インタラクション検出のための余裕伝達学習
• Authors: Zhi Hou, Baosheng Yu, Yu Qiao, Xiaojiang Peng, Dacheng Tao
• Abstract要約: 新規なオブジェクトとHOIを共同検出し、アワアンスを認識するアワアンス転送学習手法を紹介します。 具体的には、HOI表現はアペアランスとオブジェクト表現の組み合わせに分離することができる。 提案された代価移動学習により、モデルは既知の代価表現から新規な対象の代価を推測することができる。
• 参考スコア（独自算出の注目度）: 106.37536031160282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning the human-object interactions (HOI) is essential for deeper scene understanding, while object affordances (or functionalities) are of great importance for human to discover unseen HOIs with novel objects. Inspired by this, we introduce an affordance transfer learning approach to jointly detect HOIs with novel objects and recognize affordances. Specifically, HOI representations can be decoupled into a combination of affordance and object representations, making it possible to compose novel interactions by combining affordance representations and novel object representations from additional images, i.e. transferring the affordance to novel objects. With the proposed affordance transfer learning, the model is also capable of inferring the affordances of novel objects from known affordance representations. The proposed method can thus be used to 1) improve the performance of HOI detection, especially for the HOIs with unseen objects; and 2) infer the affordances of novel objects. Experimental results on two datasets, HICO-DET and HOI-COCO (from V-COCO), demonstrate significant improvements over recent state-of-the-art methods for HOI detection and object affordance detection. Code is available at https://github.com/zhihou7/HOI-CL
• Abstract（参考訳）: 人間と物体の相互作用(HOI)を推論することは、より深いシーン理解に不可欠であり、一方、対象の空き(または機能)は、新しい物体を持つ未知のHOIを発見する上で非常に重要である。 そこで本研究では,新しい物体とhoisを共同で検出し,アフォーマンスを認識するためのアフォーマンス伝達学習手法を提案する。 具体的には、hoi表現をアフォーマンス表現とオブジェクト表現の組み合わせに分解することができ、アフォーマンス表現と追加画像からの新たなオブジェクト表現を組み合わせることで、新たなインタラクションを構成できる。 新たな物体に 余裕を移すことです 提案するアフォーマンス伝達学習により、モデルはまた既知のアフォーマンス表現から新しいオブジェクトのアフォーマンスを推測することができる。 提案手法は,1)hoi検出性能,特に未発見物体を用いたhoisの性能向上,2)新規物体の許容値の推算に利用可能である。 HICO-DETとHOI-COCO(V-COCO)の2つのデータセットによる実験結果から,最近のHOI検出および物価検出の最先端手法に対する大幅な改善が示された。 コードはhttps://github.com/zhihou7/HOI-CLで入手できる。

関連論文リスト

• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• Disentangled Interaction Representation for One-Stage Human-Object Interaction Detection [70.96299509159981]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。 最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。 従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
  論文  参考訳（メタデータ） (2023-12-04T08:02:59Z)
• Exploring Predicate Visual Context in Detecting Human-Object Interactions [44.937383506126274]
  クロスアテンションによる画像特徴の再導入について検討する。 PViCはHICO-DETおよびV-COCOベンチマークにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-08-11T15:57:45Z)
• Compositional Learning in Transformer-Based Human-Object Interaction Detection [6.630793383852106]
  ラベル付きインスタンスの長期分布は、HOI検出の主要な課題である。 HOI三重奏の性質にインスパイアされた既存のアプローチでは、作曲学習という概念が採用されている。 我々は,構成HoI学習のためのトランスフォーマーベースのフレームワークを創造的に提案する。
  論文  参考訳（メタデータ） (2023-08-11T06:41:20Z)
• Spatial Reasoning for Few-Shot Object Detection [21.3564383157159]
  本稿では,空間的推論フレームワークを提案する。 グラフ畳み込みネットワークをRoIとその関連性はそれぞれノードとエッジとして定義する。 提案手法は最先端の手法を著しく上回り, 広範囲なアブレーション研究により有効性を検証する。
  論文  参考訳（メタデータ） (2022-11-02T12:38:08Z)
• Exploiting Scene Graphs for Human-Object Interaction Detection [81.49184987430333]
  ヒューマン・オブジェクト・インタラクション(Human-Object Interaction,HOI)検出は、人間とオブジェクト間のインタラクションのローカライズと認識を目的とした、基本的な視覚的タスクである。 そこで本研究では,シーングラフを用いたヒューマン・オブジェクト・インタラクション(SG2HOI)検出タスクのための新しい手法を提案する。 SG2HOIはSG情報を2つの方法で組み込む:(1)シーングラフを世界的文脈の手がかりに埋め込み、シーン固有の環境コンテキストとして機能し、(2)オブジェクトの近傍から関係を収集し、それらを対話に転送するリレーショナル・アウェア・メッセージ・パッシング・モジュールを構築する。
  論文  参考訳（メタデータ） (2021-08-19T09:40:50Z)
• Detecting Human-Object Interaction via Fabricated Compositional Learning [106.37536031160282]
  ヒューマンオブジェクトインタラクション(HOI)検出は、高レベルのシーン理解のための基本的なタスクです。 人間は珍しいまたは見えないHOIのサンプルを認識する非常に強力な構成知覚能力があります。 オープン長尾HOI検出の課題を解決するために,FCL(Fabricated Compositional Learning)を提案する。
  論文  参考訳（メタデータ） (2021-03-15T08:52:56Z)
• Visual Compositional Learning for Human-Object Interaction Detection [111.05263071111807]
  人間-物体相互作用(Human-Object Interaction,HOI)は、画像中の人間と物体の関係を局所化し、推測することを目的としている。 オブジェクトと動詞の型の組み合わせの膨大な数が、長い尾の分布を形成するため、これは難しい。 私たちは、この問題に効果的に対処するための、シンプルで効率的なフレームワークである、深いビジュアルコンポジション学習フレームワークを考案しました。
  論文  参考訳（メタデータ） (2020-07-24T08:37:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。