論文の概要: FineHOI: Part-Aware Dense Representations for Zero-Shot Human-Object Interaction Detection

• arxiv url: http://arxiv.org/abs/2609.05959v1
• Date: Sat, 05 Sep 2026 07:53:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 12:10:14.603196
• Title: FineHOI: Part-Aware Dense Representations for Zero-Shot Human-Object Interaction Detection
• Title（参考訳）: FineHOI: ゼロショット人間と物体の相互作用検出のための部分認識距離表現
• Abstract要約: FineHOIは、密集したパッチレベルの機能からインタラクションを明示的にモデル化するゼロショットHOIフレームワークである。 我々のアプローチは、人間と物体の相互作用は局所的な空間的関係によって定義されるという観察によって動機づけられる。 実験により、FinHOIは既存のゼロショットHOI法より一貫して優れていることが示された。
• 参考スコア（独自算出の注目度）: 26.006274699996027
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Human-Object Interaction (HOI) detection aims to localize humans and objects in images and classify their interactions. Zero-shot HOI focuses on recognizing interactions that are not observed during training, requiring models to generalize beyond seen verb-object compositions. Recent approaches leverage Vision-Language Models (VLMs), benefiting from rich semantic representations. However, they often rely on global or detector-centric features that compress interaction cues and hinder fine-grained spatial reasoning. To overcome this limitation, we propose FineHOI, a zero-shot HOI framework that explicitly models interactions from dense patch-level features. Our approach is motivated by the observation that human-object interactions are defined by localized spatial relationships, which are not preserved by global and detector-centric representations. To this end, we introduce an Adaptive Part-Level Attention module that decomposes humans and objects into semantically coherent parts via unsupervised clustering, and re-weights them based on their interaction relevance. These representations are then integrated through a Region-Aware Interaction Transformer that integrates part-aware and global features and produces the final HOI embedding. Extensive experiments demonstrate that FineHOI consistently outperforms existing zero-shot HOI methods, achieving particularly strong gains on unseen interactions. Code is available at https://github.com/francescotonini/fine-hoi.
• Abstract（参考訳）: ヒューマンオブジェクトインタラクション(HOI)検出は、画像中の人間とオブジェクトをローカライズし、そのインタラクションを分類することを目的としている。 ゼロショットHOIは、訓練中に観察されない相互作用を認識することに焦点を当てており、動詞オブジェクトの組成を超えてモデルを一般化する必要がある。 最近のアプローチでは、リッチなセマンティック表現の恩恵を受けながら、ビジョンランゲージモデル(VLM)を活用している。 しかし、それらはしばしば、相互作用キューを圧縮し、きめ細かい空間的推論を妨げるグローバルまたは検出器中心の特徴に依存している。 この制限を克服するため、高密度なパッチレベルの特徴から相互作用を明示的にモデル化するゼロショットHOIフレームワークであるFineHOIを提案する。 我々のアプローチは、人間と物体の相互作用は局所的な空間関係によって定義され、グローバルおよび検出器中心の表現では保存されないという観察に動機づけられている。 この目的のために,非教師付きクラスタリングにより人間や物体を意味的に一貫性のある部分に分解し,それらの相互作用関連性に基づいて再重み付けを行う適応的部分意図モジュールを導入する。 これらの表現は、部分認識とグローバル機能を統合し、最終的なHOI埋め込みを生成するRerea-Aware Interaction Transformerを通じて統合される。 大規模な実験により、FinHOIは既存のゼロショットHOI法を一貫して上回り、目に見えない相互作用において特に強い利得を達成している。 コードはhttps://github.com/francescotonini/fine-hoi.comで入手できる。

関連論文リスト

• Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition [71.5328300638085]
  Zero-shot Human-Object Interaction (HOI) は、画像中の人間と物体を特定し、その相互作用を認識することを目的としている。 2段階法を含む既存の手法は、特定の検出器との相互作用認識を密に結合する。 本稿では、オブジェクト検出をIRから分離し、マルチモーダル大言語モデル(MLLM)をゼロショットIRに活用する分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T19:01:31Z)
• Learning Human-Object Interaction as Groups [52.28258599873394]
  GroupHOIは、幾何学的近接性および意味的類似性の観点から文脈情報を伝播するフレームワークである。 これは、より困難な非言語間相互作用検出タスクにおいて、主要なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-10-21T07:25:10Z)
• Contextualized Representation Learning for Effective Human-Object Interaction Detection [17.242400169885453]
  ヒューマンオブジェクトインタラクション(HOI)検出は、人間オブジェクトのペアを同時にローカライズし、その相互作用を認識することを目的としている。 本研究では,条件付き推論と文脈的プロンプトを統合した文脈適応型表現学習を提案する。 提案手法は, HICO-DetデータセットとV-COCOデータセットの両方において, 多くのシナリオにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2025-09-16T08:03:16Z)
• Funnel-HOI: Top-Down Perception for Zero-Shot HOI Detection [3.656114607436271]
  人間オブジェクトの相互作用検出(Human-object Interaction Detection, HOID)とは、画像中の対話的な人間オブジェクトのペアをローカライズし、その相互作用を識別することである。 本研究では,Funnel-HOIというトップダウンフレームワークを構築した。 新規な非対称なコアテンション機構は、マルチモーダル情報(ゼロショット機能を含む)を利用してこれらのキューをマイニングし、エンコーダレベルでより強力な相互作用表現を生成する。
  論文  参考訳（メタデータ） (2025-07-16T20:47:24Z)
• Locality-Aware Zero-Shot Human-Object Interaction Detection [43.13461922628371]
  本稿では,新しいゼロショット・ヒューマン・オブジェクト・インタラクション(HOI)検出フレームワークであるLAINを紹介する。 LAINは、局所性と相互作用の認識をCLIP表現に注入することにより、人間とオブジェクトのペアに関する詳細な情報をキャプチャする。 実験の結果,LAINは様々なゼロショット設定で過去の手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-05-26T04:31:34Z)
• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• RR-Net: Injecting Interactive Semantics in Human-Object Interaction Detection [40.65483058890176]
  最新のエンドツーエンドHOI検出器は関係推論に欠けており、予測のためにHOI固有の対話的セマンティクスを学習できない。 まず、インタラクション推論のための新しい構造とパラメータ共有パターンをもたらす、プログレッシブな関係認識フレームを提案する。 上記のモジュールに基づいて、Relation Reasoning Network (abbr) というエンドツーエンドのトレーニング可能なフレームワークを構築します。 RR-Net)
  論文  参考訳（メタデータ） (2021-04-30T14:03:10Z)
• ConsNet: Learning Consistency Graph for Zero-Shot Human-Object Interaction Detection [101.56529337489417]
  画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。 我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。 提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
  論文  参考訳（メタデータ） (2020-08-14T09:11:18Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)
• Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
  本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。 我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。 V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2020-03-31T08:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。