論文の概要: HumanVBench: Exploring Human-Centric Video Understanding Capabilities of MLLMs with Synthetic Benchmark Data

• arxiv url: http://arxiv.org/abs/2412.17574v2
• Date: Wed, 12 Mar 2025 03:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 16:44:43.482487
• Title: HumanVBench: Exploring Human-Centric Video Understanding Capabilities of MLLMs with Synthetic Benchmark Data
• Title（参考訳）: HumanVBench: 合成ベンチマークデータによるMLLMの人間中心のビデオ理解能力の探索
• Authors: Ting Zhou, Daoyuan Chen, Qirui Jiao, Bolin Ding, Yaliang Li, Ying Shen,
• Abstract要約: 我々は,ビデオMLLMの評価において,ギャップを埋めるために巧みに構築された,革新的なベンチマークであるHumanVBenchを紹介する。 HumanVBenchは、内的感情と外的表現、静的、動的、基本的、複雑にまたがる2つの主要な側面と、単一モーダルとクロスモーダルという2つの側面を慎重に検討する16のタスクで構成されている。 22のSOTAビデオMLLMの総合評価では、特にクロスモーダルおよび感情知覚において、現在のパフォーマンスに顕著な制限が示される。
• 参考スコア（独自算出の注目度）: 55.739633494946204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the domain of Multimodal Large Language Models (MLLMs), achieving human-centric video understanding remains a formidable challenge. Existing benchmarks primarily emphasize object and action recognition, often neglecting the intricate nuances of human emotions, behaviors, and speech-visual alignment within video content. We present HumanVBench, an innovative benchmark meticulously crafted to bridge these gaps in the evaluation of video MLLMs. HumanVBench comprises 16 carefully designed tasks that explore two primary dimensions: inner emotion and outer manifestations, spanning static and dynamic, basic and complex, as well as single-modal and cross-modal aspects. With two advanced automated pipelines for video annotation and distractor-included QA generation, HumanVBench utilizes diverse state-of-the-art (SOTA) techniques to streamline benchmark data synthesis and quality assessment, minimizing human annotation dependency tailored to human-centric multimodal attributes. A comprehensive evaluation across 22 SOTA video MLLMs reveals notable limitations in current performance, especially in cross-modal and emotion perception, underscoring the necessity for further refinement toward achieving more human-like understanding. HumanVBench is open-sourced to facilitate future advancements and real-world applications in video MLLMs.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の分野では、人間中心のビデオ理解の実現は依然として困難な課題である。 既存のベンチマークは、主にオブジェクトとアクションの認識を強調しており、しばしば人間の感情、行動、およびビデオコンテンツ内の音声と視覚のアライメントの複雑なニュアンスを無視している。 我々は、ビデオMLLMの評価において、これらのギャップを埋めるために細心の注意を払って作られた、革新的なベンチマークであるHumanVBenchを紹介する。 HumanVBenchは、内的感情と外的表現、静的、動的、基本的、複雑にまたがる2つの主要な側面と、単一モーダルとクロスモーダルという2つの側面を慎重に検討する16のタスクで構成されている。 ビデオアノテーションとイントラクタを含むQA生成のための2つの高度な自動パイプラインにより、HumanVBenchは、さまざまな最先端(SOTA)技術を使用して、ベンチマークデータの合成と品質評価を合理化し、人間中心のマルチモーダル属性に合わせた人間の依存性を最小限にする。 22のSOTAビデオMLLMの包括的な評価では、特にクロスモーダルや感情知覚において、現在のパフォーマンスに顕著な制限が示され、より人間的な理解を達成するためのさらなる改善の必要性が強調されている。 HumanVBenchは、ビデオMLLMにおける将来の進歩と現実世界の応用を促進するために、オープンソースとして公開されている。

関連論文リスト

• ActionArt: Advancing Multimodal Large Models for Fine-Grained Human-Centric Video Understanding [31.481969919049472]
  ActionArtは、人間中心のマルチモーダル理解の研究を促進するために設計された、きめ細かいビデオキャプチャデータセットである。 私たちのデータセットは、幅広い人間の行動、人間とオブジェクトの相互作用、さまざまなシナリオをキャプチャする何千ものビデオで構成されています。 本研究では,異なる次元にまたがる既存大規模マルチモーダルモデルの細粒度理解能力を評価するために,8つのサブタスクを開発した。
  論文  参考訳（メタデータ） (2025-04-25T08:05:32Z)
• GazeLLM: Multimodal LLMs incorporating Human Visual Attention [27.901311447875948]
  大規模言語モデル (LLM) は、画像、オーディオ、ビデオ、およびテキストを処理できるマルチモーダル LLM に進化している。 本稿では、視線追跡データを統合することにより、一対一の映像分析を最適化する手法を提案し、一対一の視覚映像を視線焦点領域のサブ領域に分解する手法を提案する。
  論文  参考訳（メタデータ） (2025-03-31T20:50:04Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• Omni-Emotion: Extending Video MLLM with Detailed Face and Audio Modeling for Multimodal Emotion Analysis [6.387263468033964]
  自己レビューデータセットと人間レビューデータセットを導入し,24,137個の粗粒度サンプルと3,500個の手作業で詳細な感情アノテーションを付加したアノテートサンプルを作成した。 音声モデリングに加えて,既存の高度なビデオMLLMに顔符号化モデルを明示的に統合することを提案する。 我々のOmni-Emotionは、感情認識と推論の両方において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-01-16T12:27:05Z)
• MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis [53.012111671763776]
  そこで本研究では、7,145枚の肖像画からなる総合的なベンチマークであるMEMO-Benchを紹介した。 以上の結果から,既存のT2Iモデルは負のモデルよりも肯定的な感情を生成するのに効果的であることが示唆された。 MLLMは人間の感情の識別と認識に一定の効果を示すが、人間のレベルの正確さには欠ける。
  論文  参考訳（メタデータ） (2024-11-18T02:09:48Z)
• StimuVAR: Spatiotemporal Stimuli-aware Video Affective Reasoning with Multimodal Large Language Models [39.61402609070949]
  Video Affective Reasoning(ビデオ影響推論)は、ビデオが人間にどのように感じられるかを予測するためのフレームワークである。 Stimu-MLは多言語モデル(LMLM)を用いたビデオ影響推論(「映像影響推論」)のためのフレームワークである。 Stimu-MLには、フレームレベルの認識とトークンレベルの認識という、2段階の刺激認識機構が組み込まれている。 我々は、ビデオに対する視聴者の感情反応を理解し、一貫性と洞察に富んだ説明を提供する上で、Stimu-MLの優位性を実証する。
  論文  参考訳（メタデータ） (2024-08-31T00:00:50Z)
• The Surprising Effectiveness of Multimodal Large Language Models for Video Moment Retrieval [36.516226519328015]
  ビデオ言語タスクは空間的・時間的理解を必要とし、かなりの計算を必要とする。 本研究は,画像テキスト事前学習MLLMをモーメント検索に活用することの驚くべき有効性を示す。 我々は、Charades-STA、QVHighlights、ActivityNet Captionsといった広く使われているベンチマーク上で、新しい最先端のモーメント検索を実現する。
  論文  参考訳（メタデータ） (2024-06-26T06:59:09Z)
• EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
  マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-06-24T08:33:02Z)
• Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis [118.08008540513596]
  Video-MMEは、ビデオ解析におけるMLLMの完全なマルチモード評価ベンチマークである。 我々は,GPT-4シリーズやGemini 1.5 Pro,オープンソース画像モデルなど,最先端のMLLMを幅広く評価した。 我々の実験によると、Gemini 1.5 Proは最も優れた商用モデルであり、オープンソースモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-31T17:59:47Z)
• How Good is my Video LMM? Complex Video Reasoning and Robustness Evaluation Suite for Video-LMMs [98.37571997794072]
  CVRR-ES(Complex Video Reasoning and Robustness Evaluation Suite)について紹介する。 CVRR-ESは、11種類の実世界のビデオ次元にわたるビデオLMMの性能を包括的に評価する。 我々の発見は、次世代の人間中心AIシステムを構築する上で貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-05-06T17:59:45Z)
• MVBench: A Comprehensive Multi-modal Video Understanding Benchmark [63.14000659130736]
  本稿では、MVBenchという総合的なマルチモーダルビデオ理解ベンチマークを紹介する。 まず、これらの時間的タスクを定義するための新しい静的-動的手法を提案する。 そして,タスク定義に従って,公開ビデオアノテーションを複数選択QAに自動的に変換し,各タスクを評価する。
  論文  参考訳（メタデータ） (2023-11-28T17:59:04Z)
• MIMIC-IT: Multi-Modal In-Context Instruction Tuning [44.879418596312554]
  本稿では,280万のマルチモーダル・インストラクション・レスポンス・ペアからなるデータセットについて述べる。 MIMIC-ITデータセットを用いて、Otterはマルチモーダル認識、推論、文脈内学習において顕著な習熟度を示した。 我々はMIMIC-ITデータセット、命令応答型コレクションパイプライン、ベンチマーク、オッターモデルをリリースする。
  論文  参考訳（メタデータ） (2023-06-08T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。