論文の概要: Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild

• arxiv url: http://arxiv.org/abs/2607.13881v1
• Date: Wed, 15 Jul 2026 14:30:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.796588
• Title: Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild
• Title（参考訳）: 野生における訓練不要なHOI検出のためのマルチモーダル大言語モデル
• Abstract要約: 本稿では,基礎モデルの汎用的マルチモーダル推論能力を野生でのHOI検出に伝達する,訓練不要なエージェント型フレームワークであるAgenHoIを提案する。 不完全な相互作用発見と複雑な場面におけるあいまいな局所化の課題に対処するために,2つの重要なメカニズムを導入する。 AgentHOIは、リアルタイム設定において、最先端の教師付きおよび弱教師付きメソッドよりも優れたパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 49.77540427384148
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Human-object interaction detection (HOID) has traditionally been formulated as a supervised detection problem over predefined interaction categories. While such paradigms achieve strong performance on closed-set benchmarks, they fundamentally entangle interaction understanding with dataset-specific supervision, limiting their ability to generalize to open-world and compositional scenarios. Recent HOI detectors attempt to leverage MLLMs through prompting strategies to transfer interaction-specific knowledge. However, such prompt-based approaches primarily focus on extracting discriminative representations from pretrained models, while underexploring their inherent multimodal reasoning capabilities. As a result, they struggle to provide informative contextual reasoning for ambiguous and open-world interaction scenarios. In this work, we present AgentHOI, a training-free, agentic framework that transfers the generalist multimodal reasoning capabilities of foundation models to HOI detection in the wild. Instead of learning interaction classifiers, AgentHOI modularly orchestrates complementary vision foundation modules to perform open-ended semantic reasoning and spatial grounding in a coordinated manner. To address the challenges of incomplete interaction discovery and ambiguous localization in complex scenes, we introduce two key mechanisms: (1) Context-aware Multi-round Reasoning, which progressively refines interaction hypotheses to ensure exhaustive and compositional HOI discovery, and (2) Multifaceted Interaction Localization, which enhances grounding precision by generating instance-specific descriptions that integrate semantic, spatial, and appearance cues. Extensive experiments demonstrate that AgentHOI achieves superior performance over state-of-the-art supervised and weakly supervised methods in real-world settings, despite requiring no HOID data for training.
• Abstract（参考訳）: 人物体間相互作用検出(Human-object Interaction Detection, HOID)は、従来、事前に定義された相互作用カテゴリに対する教師付き検出問題として定式化されてきた。 このようなパラダイムはクローズドセットのベンチマークで強いパフォーマンスを達成するが、それらは基本的にデータセット固有の監督と相互作用の理解を絡み合わせ、オープンワールドとコンポジションのシナリオに一般化する能力を制限する。 近年のHOI検出器は、相互作用固有の知識を伝達する戦略を推進し、MLLMを活用しようとする。 しかし、このようなプロンプトベースのアプローチは、主に事前訓練されたモデルから差別的表現を抽出することに焦点を当て、その固有のマルチモーダル推論能力を過小評価している。 その結果、曖昧でオープンな相互作用シナリオに対する情報的文脈推論の提供に苦慮している。 本稿では,基礎モデルの汎用的マルチモーダル推論能力を野生におけるHOI検出に伝達する,訓練不要なエージェント型フレームワークであるAgentHOIを提案する。 相互作用分類器を学習する代わりに、AgentHOIは相補的な視覚基盤モジュールをモジュール的に編成し、オープンな意味的推論と空間的接地を協調的に行う。 複雑な場面における不完全な相互作用発見とあいまいな局所化の課題に対処するために,(1)包括的かつ構成的なHOI発見を確実にするための相互作用仮説を段階的に洗練するコンテキスト認識型マルチラウンド推論,(2)意味,空間,外観を統合したインスタンス固有記述を生成することで、接地精度を高める多面的相互作用局所化という2つの主要なメカニズムを導入する。 大規模な実験により、AgentHOIは、訓練にHOIDデータを必要としないにもかかわらず、実世界の環境で、最先端の教師付きおよび弱い教師付き手法よりも優れたパフォーマンスを達成していることが示された。

関連論文リスト

• A2DINOv3: Rethinking Multi-Modal Object Detection via Socialized Collaboration [3.467977830050488]
  マルチモーダル物体検出は、困難な状況下での堅牢なシーン理解に不可欠である。 最近のビジョン基礎モデル(例:DINOv3)は強力な表現能力を示した。 DINOv3 (A2DINOv3) へのアダプタを提案する。
  論文  参考訳（メタデータ） (2026-08-21T13:44:46Z)
• Inter-X++: A Comprehensive Benchmark for Multimodal Human-Human Interaction Analysis [55.78822230833247]
  We present Inter-X++, a comprehensive and large-scale benchmark designed to empower useful HHI analysis。 インターX++は11,388個の高忠実な相互作用シーケンスと8.1Mフレームを提供する。 インタラクションの再構築と意味理解を協調的に最適化する,単一かつ統一されたHHI表現とモデリングフレームワークOpenHHIを提案する。
  論文  参考訳（メタデータ） (2026-08-20T17:51:48Z)
• Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition [71.5328300638085]
  Zero-shot Human-Object Interaction (HOI) は、画像中の人間と物体を特定し、その相互作用を認識することを目的としている。 2段階法を含む既存の手法は、特定の検出器との相互作用認識を密に結合する。 本稿では、オブジェクト検出をIRから分離し、マルチモーダル大言語モデル(MLLM)をゼロショットIRに活用する分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T19:01:31Z)
• Generative Human-Object Interaction Detection via Differentiable Cognitive Steering of Multi-modal LLMs [85.69785384599827]
  人間と物体の相互作用(Human-object Interaction、HOI)の検出は、人と物体のペアとそれらの相互作用を局在させることを目的としている。 既存のメソッドはクローズドワールドの仮定の下で動作し、タスクを未定義の小さな動詞集合上の分類問題として扱う。 本稿では,閉集合分類タスクから開語彙生成問題へのHOI検出を再構成する新しい生成推論・ステアブル知覚フレームワークGRASP-HOを提案する。
  論文  参考訳（メタデータ） (2025-12-19T14:41:50Z)
• Contextualized Representation Learning for Effective Human-Object Interaction Detection [17.242400169885453]
  ヒューマンオブジェクトインタラクション(HOI)検出は、人間オブジェクトのペアを同時にローカライズし、その相互作用を認識することを目的としている。 本研究では,条件付き推論と文脈的プロンプトを統合した文脈適応型表現学習を提案する。 提案手法は, HICO-DetデータセットとV-COCOデータセットの両方において, 多くのシナリオにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2025-09-16T08:03:16Z)
• HOID-R1: Reinforcement Learning for Open-World Human-Object Interaction Detection Reasoning with Multimodal Large Language Model [13.82578761807402]
  HOID-R1は,チェーン・オブ・シント(CoT)とグループ相対的ポリシー最適化のファインチューニングを統合した最初のHOI検出フレームワークである。 CoT推論における幻覚を軽減するために,CoT出力を監督するMLLM-as-a-judge機構を導入する。 実験により、HOID-R1はHOI検出ベンチマークの最先端性能を達成し、新しいシナリオへのオープンワールドの一般化における既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-08-15T09:28:57Z)
• Exploring Conditional Multi-Modal Prompts for Zero-shot HOI Detection [37.57355457749918]
  本稿では,条件付きマルチモーダルプロンプット(CMMP)を用いたゼロショットHOI検出のための新しいフレームワークを提案する。 従来のプロンプト学習法とは異なり,対話性を考慮した視覚特徴抽出のための学習用分離視覚と言語用プロンプトを提案する。 条件付きマルチモーダルプロンプトを用いた検知器の有効性を実験により実証し, 様々なゼロショット設定の未確認クラスにおいて, 先行技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-05T14:05:25Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• Detecting Any Human-Object Interaction Relationship: Universal HOI Detector with Spatial Prompt Learning on Foundation Models [55.20626448358655]
  本研究では,ビジョン・ランゲージ(VL)基礎モデルと大規模言語モデル(LLM)を用いて,オープンワールド環境におけるユニバーサルインタラクション認識について検討する。 我々の設計にはHO Prompt-guided Decoder (HOPD) が含まれており、基礎モデルにおける高次関係表現と画像内の様々なHOペアとの結合を容易にする。 オープンカテゴリの対話認識では,対話文と解釈文の2つのタイプがサポートされている。
  論文  参考訳（メタデータ） (2023-11-07T08:27:32Z)
• Multi-granularity Interaction Simulation for Unsupervised Interactive Segmentation [38.08152990071453]
  我々は、教師なし対話的セグメンテーションのための有望な方向を開くために、MIS(Multi-granularity Interaction Simulation)アプローチを導入する。 我々のMISは、非深層学習の非教師付き手法よりも優れており、アノテーションを使わずに従来の深層教師付き手法と同等である。
  論文  参考訳（メタデータ） (2023-03-23T16:19:43Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。