論文の概要: Rethinking Human-Object Interaction Evaluation for both Vision-Language Models and HOI-Specific Methods

• arxiv url: http://arxiv.org/abs/2508.18753v1
• Date: Tue, 26 Aug 2025 07:30:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.727986
• Title: Rethinking Human-Object Interaction Evaluation for both Vision-Language Models and HOI-Specific Methods
• Title（参考訳）: 視覚言語モデルとHOI-Specific Methodの双方に対する人間と物体の相互作用評価の再考
• Authors: Qinqian Lei, Bo Wang, Robby T. Tan,
• Abstract要約: 本稿では,HOI検出を複数問合せタスクとして再構成する新しいベンチマークを提案する。 提案した評価プロトコルは,VLM法とHOI法の両方において,最初の評価プロトコルである。
• 参考スコア（独自算出の注目度）: 33.074167753966314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior human-object interaction (HOI) detection methods have integrated early vision-language models (VLMs) such as CLIP, but only as supporting components within their frameworks. In contrast, recent advances in large, generative VLMs suggest that these models may already possess strong ability to understand images involving HOI. This naturally raises an important question: can general-purpose standalone VLMs effectively solve HOI detection, and how do they compare with specialized HOI methods? Answering this requires a benchmark that can accommodate both paradigms. However, existing HOI benchmarks such as HICO-DET were developed before the emergence of modern VLMs, and their evaluation protocols require exact matches to annotated HOI classes. This is poorly aligned with the generative nature of VLMs, which often yield multiple valid interpretations in ambiguous cases. For example, a static image may capture a person mid-motion with a frisbee, which can plausibly be interpreted as either "throwing" or "catching". When only "catching" is annotated, the other, though equally plausible for the image, is marked incorrect when exact matching is used. As a result, correct predictions might be penalized, affecting both VLMs and HOI-specific methods. To avoid penalizing valid predictions, we introduce a new benchmark that reformulates HOI detection as a multiple-answer multiple-choice task, where each question includes only ground-truth positive options and a curated set of negatives that are constructed to reduce ambiguity (e.g., when "catching" is annotated, "throwing" is not selected as a negative to avoid penalizing valid predictions). The proposed evaluation protocol is the first of its kind for both VLMs and HOI methods, enabling direct comparison and offering new insight into the current state of progress in HOI understanding.
• Abstract（参考訳）: 従来の人-物間相互作用(HOI)検出方法は、CLIPのような初期視覚言語モデル(VLM)を統合するが、フレームワーク内のサポートコンポーネントとしてのみ使用される。 対照的に、大規模で生成的なVLMの最近の進歩は、これらのモデルが既にHOIを含む画像を理解する強力な能力を持っていることを示唆している。 汎用的なスタンドアロンVLMは、HOI検出を効果的に解決できるのか? これを答えるには、両方のパラダイムに対応可能なベンチマークが必要です。 しかし、HICO-DETのような既存のHOIベンチマークは、現代のVLMの出現以前に開発され、それらの評価プロトコルは、注釈付きHOIクラスと正確に一致する必要がある。 これは、しばしばあいまいな場合において複数の有効な解釈をもたらすVLMの生成的性質と不一致である。 例えば、静的な画像は、フリスビーで人の動きの途中を捉え、それは「投球」または「キャッチ」と解釈できる。 キャッチ」がアノテートされた場合、もう1つは画像に等しく当てはまるが、正確なマッチングが使われると不正確となる。 結果として、正しい予測は罰せられ、VLMとHOI固有の方法の両方に影響を与える可能性がある。 提案手法では,複数問合せタスクとしてHOI検出を再構成するベンチマークを新たに導入する。各質問には,曖昧さを軽減するために構築された基本トラスト正のオプションと負のキュレートセットのみを含む(例えば,"キャッチ"アノテーションが付与された場合,"スロー"は負に選択されず,有効な予測をペナルライズしない)。 提案した評価プロトコルは, VLMとHOIの両手法において, 直接比較が可能であり, HOI理解の進展状況に関する新たな知見を提供する。

関連論文リスト

• More Images, More Problems? A Controlled Analysis of VLM Failure Modes [80.64323947730905]
  大規模視覚言語モデル (LVLM) は目覚ましい能力を示しているが、複数の画像に対する理解と推論の能力は未解明のままである。 LVLMのマルチイメージ能力を厳格に評価する新しいベンチマークMIMICを紹介する。
  論文  参考訳（メタデータ） (2026-01-12T18:45:13Z)
• Contamination Detection for VLMs using Multi-Modal Semantic Perturbation [73.76465227729818]
  オープンソースのVision-Language Models (VLM)は、ベンチマークタスクで最先端のパフォーマンスを達成した。 プレトレーニングコーパスは,テストセットリークによるパフォーマンスの低下という,実践者とユーザ双方にとって重要な懸念を提起する。 既存の検出手法が不整合性を示すか,不整合性を示すかを示す。 マルチモーダルなセマンティック摂動に基づく,新しい簡易かつ効果的な検出法を提案する。
  論文  参考訳（メタデータ） (2025-11-05T18:59:52Z)
• Multi-Objective Task-Aware Predictor for Image-Text Alignment [39.642519339252054]
  本稿では,多目的・単目的のスコアリングが可能な頑健な予測器であるMulti-TAPを構築するためのプラグイン・アンド・プレイアーキテクチャを提案する。 マルチTAPは、大きな視覚言語モデルの上に構築された報酬ヘッドを利用して、単一の総合スコアを生成することができる。 予め訓練したLVLMの凍結した隠れ状態に対して軽量なリッジ回帰層をトレーニングすることにより、マルチTAPは複数の人間の解釈可能な目的に対してきめ細かいスコアを生成できる。
  論文  参考訳（メタデータ） (2025-10-01T10:55:33Z)
• Revisiting LLM Value Probing Strategies: Are They Robust and Expressive? [81.49470136653665]
  広範に利用されている3つの探索戦略における値表現の頑健さと表現性を評価する。 人口統計学的文脈は自由テキスト生成にはほとんど影響を与えず、モデルの値は値に基づく行動の好みと弱い相関しか示さない。
  論文  参考訳（メタデータ） (2025-07-17T18:56:41Z)
• Let's Think in Two Steps: Mitigating Agreement Bias in MLLMs with Self-Grounded Verification [17.67273082468732]
  検証 -- エージェントの振る舞いに報酬を割り当てる関数 -- は、数学やボードゲームのような分野におけるAIの進歩の鍵となっている。 我々は,Multimodal Large Language Models (MLLM) を,Webナビゲーション,コンピュータ利用,ロボット操作におけるエージェントトラジェクトリの検証手段として評価した。 本稿では,MLLMの知識と推論をより効果的に活用する軽量な手法である自己検証(SGV)を提案する。
  論文  参考訳（メタデータ） (2025-07-15T18:50:29Z)
• Robust Multi-View Learning via Representation Fusion of Sample-Level Attention and Alignment of Simulated Perturbation [61.64052577026623]
  実世界のマルチビューデータセットは、しばしば不均一で不完全である。 本稿では,表現融合とアライメントを同時に行う新しいロバストMVL法(RML)を提案する。 我々のRMLは自己教師型であり、正規化として下流のタスクにも適用できます。
  論文  参考訳（メタデータ） (2025-03-06T07:01:08Z)
• New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
  Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。 MLLM(Multimodal Large Language Models)の試験場として機能する。
  論文  参考訳（メタデータ） (2025-02-27T13:58:44Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• Human Re-ID Meets LVLMs: What can we expect? [14.370360290704197]
  人間の再識別作業における主要な視覚言語モデルの性能を比較した。 以上の結果から,LVLMの強度は確認できたが,破滅的な回答につながる場合が多い。
  論文  参考訳（メタデータ） (2025-01-30T19:00:40Z)
• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• AdvQDet: Detecting Query-Based Adversarial Attacks with Adversarial Contrastive Prompt Tuning [93.77763753231338]
  CLIP画像エンコーダを微調整し、2つの中間対向クエリに対して同様の埋め込みを抽出するために、ACPT(Adversarial Contrastive Prompt Tuning)を提案する。 我々は,ACPTが7つの最先端クエリベースの攻撃を検出できることを示す。 また,ACPTは3種類のアダプティブアタックに対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-08-04T09:53:50Z)
• LLM meets Vision-Language Models for Zero-Shot One-Class Classification [4.094697851983375]
  ゼロショットワンクラス視覚分類の問題を考える。 本稿では、視覚的に混乱するオブジェクトに対して、まず大きな言語モデルをクエリする2段階のソリューションを提案する。 我々は,そのラベルのみを用いて,あるカテゴリと他のセマンティック関連カテゴリを識別する能力を初めて示す。
  論文  参考訳（メタデータ） (2024-03-31T12:48:07Z)
• Revisiting Few-Shot Object Detection with Vision-Language Models [49.79495118650838]
  我々は、最近の基礎視覚言語モデル(VLM)の文脈で、少数ショットオブジェクト検出(FSOD)のタスクを再考する。 我々は,任意の外部データ上で事前学習された検出器を評価する新しいベンチマークプロトコルであるFoundational FSODを提案する。 CVPR 2024 Foundational FSOD コンペティションについて論じ,コミュニティからの洞察を共有した。
  論文  参考訳（メタデータ） (2023-12-22T07:42:00Z)
• Practical Membership Inference Attacks against Fine-tuned Large Language Models via Self-prompt Calibration [32.15773300068426]
  メンバーシップ推論攻撃は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。 自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。
  論文  参考訳（メタデータ） (2023-11-10T13:55:05Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Full-Spectrum Out-of-Distribution Detection [42.98617540431124]
  両シフトタイプを考慮し、フルスペクトルOOD(FS-OOD)検出を導入する。 本稿では,単純な特徴に基づくセマンティックススコア関数であるSEMを提案する。 SEMは現在の最先端の手法を大きく上回っている。
  論文  参考訳（メタデータ） (2022-04-11T17:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。