論文の概要: Benchmarking Multimodal Large Language Models for Zero-Shot Human-Object Interaction

• arxiv url: http://arxiv.org/abs/2610.18161v1
• Date: Tue, 13 Oct 2026 11:05:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 07:04:08.20676
• Title: Benchmarking Multimodal Large Language Models for Zero-Shot Human-Object Interaction
• Title（参考訳）: ゼロショットヒューマンオブジェクトインタラクションのためのマルチモーダル大言語モデルのベンチマーク
• Abstract要約: 本稿では,パイプライン内におけるHOI認識と検出のためのMLLMの最初の体系的研究について述べる。 本稿では,ゼロショットプロンプト戦略を統一した分類法からなる,原則的ゼロショット評価のためのベンチマークフレームワークを提案する。 さらに,標準HOIデータセットに対する質問応答アノテーションを新たに構築し,MLLMに適したフォーマットに変換する。
• 参考スコア（独自算出の注目度）: 43.77182813030722
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have demonstrated strong zero-shot reasoning across diverse domains, but their potential for Human-Object Interaction (HOI) remains unexplored. Unlike traditional HOI approaches that rely on extensive labeled datasets and fixed interaction taxonomies, MLLMs offer flexible reasoning, making them well-suited for dynamic, real-world scenarios. In this work, we present the first systematic study of MLLMs for HOI recognition and detection within a pipeline that combines an external object detector for entity localization with zero-shot multimodal reasoning for interaction understanding. We introduce a benchmark framework for principled zero-shot evaluation, consisting of (i) a unified taxonomy of zero-shot prompting strategies, and (ii) a methodology that transforms token-level logits into interaction scores, enabling fair comparison with specialized HOI models under standard metrics. To support prompt-based evaluation, we additionally construct new question-answer annotations for standard HOI datasets, transforming them into a format suitable for MLLMs. Building on this, we propose two visual prompting strategies, namely Objects as Context and Black Other Objects, that guide MLLMs to target objects while preserving scene context. Experiments on HICO, HICO-DET, and V-COCO demonstrate state-of-the-art zero-shot performance, achieving 53.50 mAP on HICO and 23.69 mAP on HICO-DET. Overall, our work provides a principled benchmarking framework for MLLMs in HOI, opening the door to new models and datasets and enabling flexible open-world interaction understanding.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、様々な領域にまたがる強力なゼロショット推論を実証しているが、Human-Object Interaction(HOI)の可能性は未解明のままである。 広範なラベル付きデータセットと固定された相互作用分類に依存する従来のHOIアプローチとは異なり、MLLMは柔軟な推論を提供し、動的で現実世界のシナリオに適している。 本研究では、外部物体検出器とゼロショットマルチモーダル推論を組み合わせ、相互作用理解を行うパイプライン内でのHOI認識と検出のためのMLLMの最初の系統的研究について述べる。 原理的ゼロショット評価のためのベンチマークフレームワークについて紹介する。 (i)ゼロショット推進戦略の統一分類法、及び (ii)トークンレベルのロジットをインタラクションスコアに変換する手法により,標準メトリクスに基づく特殊なHOIモデルとの公正な比較が可能となる。 また,プロンプトベースの評価を支援するため,標準HOIデータセットに対する質問応答アノテーションを新たに構築し,MLLMに適したフォーマットに変換する。 これに基づいて、シーンコンテキストを維持しながら、MLLMをターゲットオブジェクトに誘導する2つの視覚的プロンプト戦略、すなわち、コンテキストとしてのオブジェクトと、その他のオブジェクトのブラック化を提案する。 HICO、HICO-DET、V-COCOの実験は最先端のゼロショット性能を示し、HICOでは53.50 mAP、HICO-DETでは23.69 mAPを達成した。 全体として、私たちの研究はHOIにおけるMLLMの基本的なベンチマークフレームワークを提供し、新しいモデルやデータセットへの扉を開き、柔軟なオープンワールドインタラクション理解を可能にします。

関連論文リスト

• presto: Efficient, Training-free, and Open-world Object Placement via Imaginary Search [7.245565016902194]
  我々は、MLLM(Multimodal Large Language Model)から導かれる検索タスクとして、オープンワールドのオブジェクト配置を再構成する。 我々は、オブジェクトの位置とスケールを反復的に洗練するために、仮想アクション空間内で機能するゼロショットのトレーニングフリーフレームワークであるtextsfprestoを紹介した。 実験によると、textsfprestoachieves state-of-the-art performance、特にこれまでは目に見えなかったオープンワールドセッティングにおいて。
  論文  参考訳（メタデータ） (2026-08-21T18:32:28Z)
• OpenCompass: A Universal Evaluation Platform for Large Language Models [62.59671563145442]
  汎用大規模言語モデル (LLM) は, 技術の進歩において重要なリンクとなっている。 メインストリームベンチマークデータセットは、タスクタイプの多様性、一貫性のない評価基準、データと処理の断片化といった課題に直面している。 本稿では,ワンストップ,スケーラブル,高精度な汎用評価プラットフォームであるOpen LLMをオープンソースとして提案する。
  論文  参考訳（メタデータ） (2026-05-19T02:50:11Z)
• Toward Purpose-oriented Topic Model Evaluation enabled by Large Language Models [0.8193467416247519]
  トピック品質の4つの重要な側面にまたがる9つのLarge Language Models(LLM)ベースのメトリクスを利用する目的指向評価フレームワークを導入する。 このフレームワークは、敵対的およびサンプリングベースのプロトコルを通じて検証され、ニュース記事、学術出版物、ソーシャルメディア投稿にまたがるデータセットに適用される。
  論文  参考訳（メタデータ） (2025-09-08T18:46:08Z)
• EOC-Bench: Can MLLMs Identify, Recall, and Forecast Objects in an Egocentric World? [52.99661576320663]
  マルチモーダル・大規模言語モデル(MLLM)は、自我中心の視覚応用において画期的な進歩を遂げた。 EOC-Benchは、動的自我中心のシナリオにおいて、オブジェクト中心の具体的認識を体系的に評価するために設計された革新的なベンチマークである。 EOC-Benchに基づく各種プロプライエタリ,オープンソース,オブジェクトレベルのMLLMの総合評価を行う。
  論文  参考訳（メタデータ） (2025-06-05T17:44:12Z)
• EarthMind: Leveraging Cross-Sensor Data for Advanced Earth Observation Interpretation with a Unified Multimodal LLM [103.7537991413311]
  地球観測(EO)データ分析は、環境と人間の動態のモニタリングに不可欠である。 最近のMultimodal Large Language Models (MLLM) は、EO理解の可能性を秘めているが、シングルセンサー入力に限定されている。 我々は、シングルセンサーとクロスセンサーの両方の入力を処理する統合視覚言語フレームワークであるEarthMindを提案する。
  論文  参考訳（メタデータ） (2025-06-02T13:36:05Z)
• Dynamic benchmarking framework for LLM-based conversational data capture [0.0]
  本稿では,大規模言語モデル(LLM)を評価するためのベンチマークフレームワークを提案する。 生成エージェントシミュレーションを統合して、情報抽出、コンテキスト認識、適応エンゲージメントといった重要次元のパフォーマンスを評価する。 その結果,不明瞭な応答を扱う場合,適応戦略によりデータの抽出精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-02-04T15:47:47Z)
• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• TestAgent: Automatic Benchmarking and Exploratory Interaction for Evaluating LLMs in Vertical Domains [19.492393243160244]
  大規模言語モデル(LLM)は、高度に専門化された垂直ドメインにデプロイされることが多い。 既存の垂直領域の評価は、通常、静的な単一ターンデータセットの労働集約的な構築に依存している。 垂直領域における自動ベンチマークと探索動的評価のためのフレームワークであるTestAgentを提案する。
  論文  参考訳（メタデータ） (2024-10-15T11:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。