論文の概要: Locality-Aware Zero-Shot Human-Object Interaction Detection

• arxiv url: http://arxiv.org/abs/2505.19503v1
• Date: Mon, 26 May 2025 04:31:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.171547
• Title: Locality-Aware Zero-Shot Human-Object Interaction Detection
• Title（参考訳）: 局所性を考慮したゼロショットヒューマンオブジェクトインタラクション検出
• Authors: Sanghyun Kim, Deunsol Jung, Minsu Cho,
• Abstract要約: 本稿では,新しいゼロショット・ヒューマン・オブジェクト・インタラクション(HOI)検出フレームワークであるLAINを紹介する。 LAINは、局所性と相互作用の認識をCLIP表現に注入することにより、人間とオブジェクトのペアに関する詳細な情報をキャプチャする。 実験の結果,LAINは様々なゼロショット設定で過去の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 43.13461922628371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent methods for zero-shot Human-Object Interaction (HOI) detection typically leverage the generalization ability of large Vision-Language Model (VLM), i.e., CLIP, on unseen categories, showing impressive results on various zero-shot settings. However, existing methods struggle to adapt CLIP representations for human-object pairs, as CLIP tends to overlook fine-grained information necessary for distinguishing interactions. To address this issue, we devise, LAIN, a novel zero-shot HOI detection framework enhancing the locality and interaction awareness of CLIP representations. The locality awareness, which involves capturing fine-grained details and the spatial structure of individual objects, is achieved by aggregating the information and spatial priors of adjacent neighborhood patches. The interaction awareness, which involves identifying whether and how a human is interacting with an object, is achieved by capturing the interaction pattern between the human and the object. By infusing locality and interaction awareness into CLIP representation, LAIN captures detailed information about the human-object pairs. Our extensive experiments on existing benchmarks show that LAIN outperforms previous methods on various zero-shot settings, demonstrating the importance of locality and interaction awareness for effective zero-shot HOI detection.
• Abstract（参考訳）: ゼロショット・ヒューマン・オブジェクト・インタラクション(HOI)検出の最近の手法は、通常、大きなビジョン・ランゲージ・モデル(VLM)、すなわちCLIPを目に見えないカテゴリで一般化する能力を活用し、様々なゼロショット設定で印象的な結果を示す。 しかし、既存の手法では人間とオブジェクトのペアにCLIP表現を適用するのに苦労している。 この問題に対処するため,新しいゼロショットHOI検出フレームワークであるLAINを考案し,CLIP表現の局所性と相互作用意識を高める。 個々の物体の微細な細部や空間構造を捉えた局所性認識は、隣接した近傍パッチの情報と空間的先行情報を集約することで達成される。 人間と物体の相互作用パターンを捉えることによって、人間が物体とどのように相互作用しているかを識別する相互作用意識を実現する。 LAINは、局所性と相互作用の認識をCLIP表現に注入することにより、人間とオブジェクトのペアに関する詳細な情報をキャプチャする。 既存のベンチマーク実験により、LAINは様々なゼロショット設定において従来の手法よりも優れており、効果的なゼロショットHOI検出における局所性と相互作用認識の重要性が示されている。

関連論文リスト

• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• InterTracker: Discovering and Tracking General Objects Interacting with Hands in the Wild [40.489171608114574]
  既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。 本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。 提案手法は最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-06T09:09:17Z)
• A Skeleton-aware Graph Convolutional Network for Human-Object Interaction Detection [14.900704382194013]
  そこで我々は,SGCN4HOIという人-物間相互作用検出のためのスケルトン対応グラフ畳み込みネットワークを提案する。 我々のネットワークは、人間のキーポイントとオブジェクトキーポイントの間の空間的接続を利用して、グラフの畳み込みによるきめ細かい構造的相互作用を捉えます。 このような幾何学的特徴と視覚的特徴と、人間と物体のペアから得られる空間的構成特徴を融合させる。
  論文  参考訳（メタデータ） (2022-07-11T15:20:18Z)
• Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition [111.87412719773889]
  本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。 本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
  論文  参考訳（メタデータ） (2021-10-28T10:09:34Z)
• DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
  人-物間相互作用(HOI)検出の課題に対処する。 既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。 本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:40Z)
• Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
  本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。 我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。 V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2020-03-31T08:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。