論文の概要: Rethinking Human-Object Interaction Evaluation for both Vision-Language Models and HOI-Specific Methods

• arxiv url: http://arxiv.org/abs/2508.18753v2
• Date: Mon, 29 Sep 2025 05:32:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 14:13:47.481619
• Title: Rethinking Human-Object Interaction Evaluation for both Vision-Language Models and HOI-Specific Methods
• Title（参考訳）: 視覚言語モデルとHOI-Specific Methodの双方に対する人間と物体の相互作用評価の再考
• Authors: Qinqian Lei, Bo Wang, Robby T. Tan,
• Abstract要約: 本稿では,HOI検出を複数問合せタスクとして再構成するベンチマークデータセットを提案する。 以上の結果から,多くの指標において,大規模VLMが最先端のHOI固有の手法をすでに超越していることが示唆された。
• 参考スコア（独自算出の注目度）: 33.074167753966314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human-object interaction (HOI) detection has traditionally been approached with task-specific models, sometimes augmented by early vision-language models (VLMs) such as CLIP. With the rise of large, generative VLMs, however, a natural question emerges: can standalone VLMs effectively perform HOI detection, and how do they compare to specialized HOI methods? Addressing this requires a benchmarking dataset and protocol that support both paradigms. Existing benchmarks such as HICO-DET were developed before modern VLMs and rely on exact label matching. This clashes with generative outputs, which may yield multiple equally valid interpretations. For example, in a single image, a person mid-motion with a frisbee might plausibly be described as 'throwing' or 'catching', yet only one is annotated as correct. Such rigid evaluation penalizes valid predictions from both VLMs and HOI-specific methods, but disproportionately underestimates VLM performance because their outputs are less constrained. We introduce a new benchmarking dataset that reformulates HOI detection as a multiple-answer multiple-choice task. It emphasizes challenging scenarios by (i) including a higher proportion of multi-person scenes where individuals perform different interactions, (ii) removing overly simple cases, and (iii) curating hard negative choices. This makes the benchmark more challenging than prior HOI datasets, while still supporting systematic evaluation of both standalone VLMs and HOI-specific methods under a unified protocol. Our results show that large VLMs already surpass state-of-the-art HOI-specific methods across most metrics, while analysis further uncovers key limitations: VLMs often misattribute surrounding people's interactions to the target person and struggle in complex multi-person or occluded scenarios.
• Abstract（参考訳）: ヒューマン・オブジェクト・インタラクション(HOI)検出は伝統的にタスク固有のモデルによってアプローチされてきたが、CLIPのような初期の視覚言語モデル(VLM)によって拡張されることもある。 スタンドアローンのVLMはHOI検出を効果的に行えますか? これに対応するには、両方のパラダイムをサポートするベンチマークデータセットとプロトコルが必要です。 HICO-DETのような既存のベンチマークは、現代のVLM以前に開発され、正確なラベルマッチングに依存していた。 これは生成出力と衝突し、複数の等価な解釈をもたらす。 例えば、1枚の画像では、フリスビーのミッドモーションの人は「投球」または「キャッチ」と表現されるが、正しいと注釈付けされているのは1人だけである。 このような厳密な評価は、VLMとHOI固有の手法の両方から有効な予測を罰するが、その出力が制約が少ないため、不当にVLMの性能を過小評価する。 本稿では,HOI検出を複数問合せタスクとして再構成するベンチマークデータセットを提案する。 それは挑戦的なシナリオを強調する (i)個人が異なる対話を行う多人数場面の比率が高いこと。 (二)過度に簡単な症例を取り除き 三 厳しいネガティブな選択を治すこと。 これにより、ベンチマークは以前のHOIデータセットよりも難しくなり、統一プロトコルの下ではスタンドアロンのVLMとHOI固有のメソッドの両方の体系的な評価をサポートする。 以上の結果から,多くの指標において,大規模VLMは最先端のHOI特有の手法をすでに超越しており,分析によって重要な制約が明らかにされている。

関連論文リスト

• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• AdvQDet: Detecting Query-Based Adversarial Attacks with Adversarial Contrastive Prompt Tuning [93.77763753231338]
  CLIP画像エンコーダを微調整し、2つの中間対向クエリに対して同様の埋め込みを抽出するために、ACPT(Adversarial Contrastive Prompt Tuning)を提案する。 我々は,ACPTが7つの最先端クエリベースの攻撃を検出できることを示す。 また,ACPTは3種類のアダプティブアタックに対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-08-04T09:53:50Z)
• LLM meets Vision-Language Models for Zero-Shot One-Class Classification [4.094697851983375]
  ゼロショットワンクラス視覚分類の問題を考える。 本稿では、視覚的に混乱するオブジェクトに対して、まず大きな言語モデルをクエリする2段階のソリューションを提案する。 我々は,そのラベルのみを用いて,あるカテゴリと他のセマンティック関連カテゴリを識別する能力を初めて示す。
  論文  参考訳（メタデータ） (2024-03-31T12:48:07Z)
• Revisiting Few-Shot Object Detection with Vision-Language Models [49.79495118650838]
  我々は、最近の基礎視覚言語モデル(VLM)の文脈で、少数ショットオブジェクト検出(FSOD)のタスクを再考する。 我々は,任意の外部データ上で事前学習された検出器を評価する新しいベンチマークプロトコルであるFoundational FSODを提案する。 CVPR 2024 Foundational FSOD コンペティションについて論じ,コミュニティからの洞察を共有した。
  論文  参考訳（メタデータ） (2023-12-22T07:42:00Z)
• Practical Membership Inference Attacks against Fine-tuned Large Language Models via Self-prompt Calibration [32.15773300068426]
  メンバーシップ推論攻撃は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。 自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。
  論文  参考訳（メタデータ） (2023-11-10T13:55:05Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Full-Spectrum Out-of-Distribution Detection [42.98617540431124]
  両シフトタイプを考慮し、フルスペクトルOOD(FS-OOD)検出を導入する。 本稿では,単純な特徴に基づくセマンティックススコア関数であるSEMを提案する。 SEMは現在の最先端の手法を大きく上回っている。
  論文  参考訳（メタデータ） (2022-04-11T17:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。