論文の概要: Exploring the Potential of Large Foundation Models for Open-Vocabulary HOI Detection

• arxiv url: http://arxiv.org/abs/2404.06194v2
• Date: Wed, 10 Apr 2024 04:01:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 11:37:32.165125
• Title: Exploring the Potential of Large Foundation Models for Open-Vocabulary HOI Detection
• Title（参考訳）: 開語彙HOI検出のための大規模基礎モデルの可能性を探る
• Authors: Ting Lei, Shaofeng Yin, Yang Liu,
• Abstract要約: 条件付き多レベルデコードと細粒度セマンティックエンハンスメントを備えた新しいエンドツーエンドオープン語彙HOI検出フレームワークを提案する。 提案手法は,開語彙HOI検出の最先端化を実現する。
• 参考スコア（独自算出の注目度）: 9.788417605537965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-vocabulary human-object interaction (HOI) detection, which is concerned with the problem of detecting novel HOIs guided by natural language, is crucial for understanding human-centric scenes. However, prior zero-shot HOI detectors often employ the same levels of feature maps to model HOIs with varying distances, leading to suboptimal performance in scenes containing human-object pairs with a wide range of distances. In addition, these detectors primarily rely on category names and overlook the rich contextual information that language can provide, which is essential for capturing open vocabulary concepts that are typically rare and not well-represented by category names alone. In this paper, we introduce a novel end-to-end open vocabulary HOI detection framework with conditional multi-level decoding and fine-grained semantic enhancement (CMD-SE), harnessing the potential of Visual-Language Models (VLMs). Specifically, we propose to model human-object pairs with different distances with different levels of feature maps by incorporating a soft constraint during the bipartite matching process. Furthermore, by leveraging large language models (LLMs) such as GPT models, we exploit their extensive world knowledge to generate descriptions of human body part states for various interactions. Then we integrate the generalizable and fine-grained semantics of human body parts to improve interaction recognition. Experimental results on two datasets, SWIG-HOI and HICO-DET, demonstrate that our proposed method achieves state-of-the-art results in open vocabulary HOI detection. The code and models are available at https://github.com/ltttpku/CMD-SE-release.
• Abstract（参考訳）: 自然言語で案内される新規なHOIを検出することに関わるオープン・ボキャブラリ・ヒューマン・オブジェクト・インタラクション(HOI)検出は,人間中心のシーンを理解する上で重要である。 しかしながら、以前のゼロショットHOI検出器は、異なる距離でHOIをモデル化するために、同じレベルの特徴マップを使用することが多く、幅広い距離を持つ人間と物体のペアを含むシーンにおいて、最適以下のパフォーマンスをもたらす。 さらに、これらの検出器は主にカテゴリ名に依存しており、言語が提供できる豊富な文脈情報を見落としている。 本稿では,視覚言語モデル(VLM)の可能性を生かした,条件付き多レベル復号化と細粒度セマンティックエンハンスメント(CMD-SE)を備えた新しいエンドツーエンドオープン語彙HOI検出フレームワークを提案する。 具体的には,両部間マッチングプロセス中にソフト制約を組み込むことで,特徴マップのレベルが異なる距離の人物体対をモデル化することを提案する。 さらに,GPTモデルなどの大規模言語モデル(LLM)を活用することで,人間の身体部分状態の記述を多種多様なインタラクションに活用する。 次に,人体部分の汎用的,きめ細かな意味論を統合し,インタラクション認識を改善する。 SWIG-HOI とHICO-DET の2つの実験結果から,提案手法が開語彙HOI 検出の最先端化を実現することを示す。 コードとモデルはhttps://github.com/ltttpku/CMD-SE-releaseで公開されている。

関連論文リスト

• Exploring Conditional Multi-Modal Prompts for Zero-shot HOI Detection [37.57355457749918]
  本稿では,条件付きマルチモーダルプロンプット(CMMP)を用いたゼロショットHOI検出のための新しいフレームワークを提案する。 従来のプロンプト学習法とは異なり,対話性を考慮した視覚特徴抽出のための学習用分離視覚と言語用プロンプトを提案する。 条件付きマルチモーダルプロンプトを用いた検知器の有効性を実験により実証し, 様々なゼロショット設定の未確認クラスにおいて, 先行技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-05T14:05:25Z)
• Exploring Interactive Semantic Alignment for Efficient HOI Detection with Vision-language Model [3.3772986620114387]
  ISA-HOIはCLIPからの知識を広範囲に活用し,視覚的特徴とテキスト的特徴の対話的意味論を整合させる。 本手法は, HICO-DETとV-COCOのベンチマークにおいて, トレーニングエポックがはるかに少なく, ゼロショット環境下での最先端性能を向上する。
  論文  参考訳（メタデータ） (2024-04-19T07:24:32Z)
• Detecting Any Human-Object Interaction Relationship: Universal HOI Detector with Spatial Prompt Learning on Foundation Models [55.20626448358655]
  本研究では,ビジョン・ランゲージ(VL)基礎モデルと大規模言語モデル(LLM)を用いて,オープンワールド環境におけるユニバーサルインタラクション認識について検討する。 我々の設計にはHO Prompt-guided Decoder (HOPD) が含まれており、基礎モデルにおける高次関係表現と画像内の様々なHOペアとの結合を容易にする。 オープンカテゴリの対話認識では,対話文と解釈文の2つのタイプがサポートされている。
  論文  参考訳（メタデータ） (2023-11-07T08:27:32Z)
• Contextual Object Detection with Multimodal Large Language Models [66.15566719178327]
  本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
  論文  参考訳（メタデータ） (2023-05-29T17:50:33Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)
• Weakly-Supervised HOI Detection from Interaction Labels Only and Language/Vision-Language Priors [36.75629570208193]
  人-物相互作用検出(Human-object Interaction, HOI)は、人-物対とその相互作用カテゴリを、与えられた自然な画像から抽出することを目的としている。 本稿では,画像レベルのインタラクションラベルのみを用いて,文献における最も弱い監視設定によるHOI検出に取り組む。 まず,非相互作用型人間とオブジェクトの提案を駆使して,バッグ内の正の対の質を高める手法を提案する。 第2に、大きな言語モデルを使用して、人間とオブジェクトのカテゴリ間の相互作用を問合せし、モデルを強調しないよう強制する。
  論文  参考訳（メタデータ） (2023-03-09T19:08:02Z)
• Exploiting Scene Graphs for Human-Object Interaction Detection [81.49184987430333]
  ヒューマン・オブジェクト・インタラクション(Human-Object Interaction,HOI)検出は、人間とオブジェクト間のインタラクションのローカライズと認識を目的とした、基本的な視覚的タスクである。 そこで本研究では,シーングラフを用いたヒューマン・オブジェクト・インタラクション(SG2HOI)検出タスクのための新しい手法を提案する。 SG2HOIはSG情報を2つの方法で組み込む:(1)シーングラフを世界的文脈の手がかりに埋め込み、シーン固有の環境コンテキストとして機能し、(2)オブジェクトの近傍から関係を収集し、それらを対話に転送するリレーショナル・アウェア・メッセージ・パッシング・モジュールを構築する。
  論文  参考訳（メタデータ） (2021-08-19T09:40:50Z)
• Detecting Human-Object Interaction via Fabricated Compositional Learning [106.37536031160282]
  ヒューマンオブジェクトインタラクション(HOI)検出は、高レベルのシーン理解のための基本的なタスクです。 人間は珍しいまたは見えないHOIのサンプルを認識する非常に強力な構成知覚能力があります。 オープン長尾HOI検出の課題を解決するために,FCL(Fabricated Compositional Learning)を提案する。
  論文  参考訳（メタデータ） (2021-03-15T08:52:56Z)
• Visual Compositional Learning for Human-Object Interaction Detection [111.05263071111807]
  人間-物体相互作用(Human-Object Interaction,HOI)は、画像中の人間と物体の関係を局所化し、推測することを目的としている。 オブジェクトと動詞の型の組み合わせの膨大な数が、長い尾の分布を形成するため、これは難しい。 私たちは、この問題に効果的に対処するための、シンプルで効率的なフレームワークである、深いビジュアルコンポジション学習フレームワークを考案しました。
  論文  参考訳（メタデータ） (2020-07-24T08:37:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。