論文の概要: Towards Unconstrained Human-Object Interaction

• arxiv url: http://arxiv.org/abs/2604.14069v1
• Date: Wed, 15 Apr 2026 16:39:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.645724
• Title: Towards Unconstrained Human-Object Interaction
• Title（参考訳）: 制約のない人間と物体の相互作用を目指して
• Authors: Francesco Tonini, Alessandro Conti, Lorenzo Vaquero, Cigdem Beyan, Elisa Ricci,
• Abstract要約: ヒューマン・オブジェクト・インタラクション(Human-Object Interaction,HOI)検出は、長年続くコンピュータビジョンの問題である。 MLLM(Multimodal Large Language Models)の出現により、対話認識のためのより柔軟なパラダイムを探求することが可能になった。 本研究では,MLLM のレンズによるHOI検出を再検討し,HOI検出に応用する。
• 参考スコア（独自算出の注目度）: 55.123145316966635
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Human-Object Interaction (HOI) detection is a longstanding computer vision problem concerned with predicting the interaction between humans and objects. Current HOI models rely on a vocabulary of interactions at training and inference time, limiting their applicability to static environments. With the advent of Multimodal Large Language Models (MLLMs), it has become feasible to explore more flexible paradigms for interaction recognition. In this work, we revisit HOI detection through the lens of MLLMs and apply them to in-the-wild HOI detection. We define the Unconstrained HOI (U-HOI) task, a novel HOI domain that removes the requirement for a predefined list of interactions at both training and inference. We evaluate a range of MLLMs on this setting and introduce a pipeline that includes test-time inference and language-to-graph conversion to extract structured interactions from free-form text. Our findings highlight the limitations of current HOI detectors and the value of MLLMs for U-HOI. Code will be available at https://github.com/francescotonini/anyhoi
• Abstract（参考訳）: ヒューマン・オブジェクト・インタラクション(Human-Object Interaction, HOI)は、人間と物体の相互作用を予測するためのコンピュータビジョン問題である。 現在のHOIモデルは、トレーニングと推論時のインタラクションの語彙に依存し、静的環境に適用性を制限する。 MLLM(Multimodal Large Language Models)の出現により、対話認識のためのより柔軟なパラダイムを探求することが可能になった。 本研究では,MLLM のレンズによるHOI検出を再検討し,HOI検出に応用する。 我々は、トレーニングと推論の両方において、予め定義された相互作用のリストの要求を除去する新しいHOIドメインであるUnconstrained HOI(U-HOI)タスクを定義する。 この設定でMLLMの範囲を評価し、テスト時間推論と言語間変換を含むパイプラインを導入し、自由形式のテキストから構造化された相互作用を抽出する。 以上の結果から,現在のHOI検出器の限界とU-HOIのMLLM値が明らかになった。 コードはhttps://github.com/francescotonini/anyhoiで入手できる。

関連論文リスト

• Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition [71.5328300638085]
  Zero-shot Human-Object Interaction (HOI) は、画像中の人間と物体を特定し、その相互作用を認識することを目的としている。 2段階法を含む既存の手法は、特定の検出器との相互作用認識を密に結合する。 本稿では、オブジェクト検出をIRから分離し、マルチモーダル大言語モデル(MLLM)をゼロショットIRに活用する分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T19:01:31Z)
• Open-Vocabulary HOI Detection with Interaction-aware Prompt and Concept Calibration [42.24582981160835]
  オープンヒューマンオブジェクトインタラクション(HOI)は、人間とオブジェクト間のインタラクションを検出することを目的としている。 現在の手法はビジョンと言語モデル(VLM)に頼っていることが多いが、最適な画像エンコーダによる課題に直面している。 Interaction-aware Prompting with Concept (INP-CC) を提案する。
  論文  参考訳（メタデータ） (2025-08-05T08:33:58Z)
• Dynamic Scoring with Enhanced Semantics for Training-Free Human-Object Interaction Detection [51.52749744031413]
  人間オブジェクトインタラクション(HOI)検出は、画像内の人間と物体を識別し、その相互作用を解釈することを目的としている。 既存のHOIメソッドは、視覚的手がかりからインタラクションを学ぶために手動アノテーションを備えた大規模なデータセットに大きく依存している。 本稿では,強化意味論を用いた動的スコーリングのための新しいトレーニング不要なHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-23T12:30:19Z)
• Collaborative Instance Object Navigation: Leveraging Uncertainty-Awareness to Minimize Human-Agent Dialogues [54.81155589931697]
  協調インスタンスオブジェクトナビゲーション(CoIN)は、エージェントがターゲットインスタンスに関する不確実性を積極的に解決する新しいタスク設定である。 未認識者に対するエージェント・ユーザインタラクション(AIUTA)の新たな学習自由化手法を提案する。 まず、オブジェクト検出時に、セルフクエチオナーモデルがエージェント内で自己対話を開始し、完全かつ正確な観察記述を得る。 インタラクショントリガーモジュールは、人間に質問するか、継続するか、ナビゲーションを停止するかを決定する。
  論文  参考訳（メタデータ） (2024-12-02T08:16:38Z)
• Exploring Conditional Multi-Modal Prompts for Zero-shot HOI Detection [37.57355457749918]
  本稿では,条件付きマルチモーダルプロンプット(CMMP)を用いたゼロショットHOI検出のための新しいフレームワークを提案する。 従来のプロンプト学習法とは異なり,対話性を考慮した視覚特徴抽出のための学習用分離視覚と言語用プロンプトを提案する。 条件付きマルチモーダルプロンプトを用いた検知器の有効性を実験により実証し, 様々なゼロショット設定の未確認クラスにおいて, 先行技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-05T14:05:25Z)
• Exploring the Potential of Large Foundation Models for Open-Vocabulary HOI Detection [9.788417605537965]
  条件付き多レベルデコードと細粒度セマンティックエンハンスメントを備えた新しいエンドツーエンドオープン語彙HOI検出フレームワークを提案する。 提案手法は,開語彙HOI検出の最先端化を実現する。
  論文  参考訳（メタデータ） (2024-04-09T10:27:22Z)
• Detecting Any Human-Object Interaction Relationship: Universal HOI Detector with Spatial Prompt Learning on Foundation Models [55.20626448358655]
  本研究では,ビジョン・ランゲージ(VL)基礎モデルと大規模言語モデル(LLM)を用いて,オープンワールド環境におけるユニバーサルインタラクション認識について検討する。 我々の設計にはHO Prompt-guided Decoder (HOPD) が含まれており、基礎モデルにおける高次関係表現と画像内の様々なHOペアとの結合を容易にする。 オープンカテゴリの対話認識では,対話文と解釈文の2つのタイプがサポートされている。
  論文  参考訳（メタデータ） (2023-11-07T08:27:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。