論文の概要: HumanEval-V: Evaluating Visual Understanding and Reasoning Abilities of Large Multimodal Models Through Coding Tasks

• arxiv url: http://arxiv.org/abs/2410.12381v2
• Date: Thu, 24 Oct 2024 13:33:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 16:43:12.217076
• Title: HumanEval-V: Evaluating Visual Understanding and Reasoning Abilities of Large Multimodal Models Through Coding Tasks
• Title（参考訳）: HumanEval-V: 符号化タスクによる大規模マルチモーダルモデルの視覚的理解と推論能力の評価
• Authors: Fengji Zhang, Linquan Wu, Huiyu Bai, Guancheng Lin, Xiao Li, Xiao Yu, Yue Wang, Bei Chen, Jacky Keung,
• Abstract要約: HumanEval-Vは、コード生成による大規模言語モデルの視覚的理解と推論能力を評価するために設計されたベンチマークである。 HumanEval-Vには、CodeForcesやStack Overflowといったプラットフォームから派生した、108の慎重に構築されたエントリーレベルのPythonコーディングタスクが含まれている。 我々はHumanEval-Vを用いて19の最先端LMMを評価し、重要な課題を明らかにした。
• 参考スコア（独自算出の注目度）: 25.959032350818795
• License:
• Abstract: Coding tasks have been valuable for evaluating Large Language Models (LLMs), as they demand the comprehension of high-level instructions, complex reasoning, and the implementation of functional programs -- core capabilities for advancing Artificial General Intelligence. Despite the progress in Large Multimodal Models (LMMs), which extend LLMs with visual perception and understanding capabilities, there remains a notable lack of coding benchmarks that rigorously assess these models, particularly in tasks that emphasize visual reasoning. To address this gap, we introduce HumanEval-V, a novel and lightweight benchmark specifically designed to evaluate LMMs' visual understanding and reasoning capabilities through code generation. HumanEval-V includes 108 carefully crafted, entry-level Python coding tasks derived from platforms like CodeForces and Stack Overflow. Each task is adapted by modifying the context and algorithmic patterns of the original problems, with visual elements redrawn to ensure distinction from the source, preventing potential data leakage. LMMs are required to complete the code solution based on the provided visual context and a predefined Python function signature outlining the task requirements. Every task is equipped with meticulously handcrafted test cases to ensure a thorough and reliable evaluation of model-generated solutions. We evaluate 19 state-of-the-art LMMs using HumanEval-V, uncovering significant challenges. Proprietary models like GPT-4o achieve only 13% pass@1 and 36.4% pass@10, while open-weight models with 70B parameters score below 4% pass@1. Ablation studies further reveal the limitations of current LMMs in vision reasoning and coding capabilities. These results underscore key areas for future research to enhance LMMs' capabilities. We have open-sourced our code and benchmark at https://github.com/HumanEval-V/HumanEval-V-Benchmark.
• Abstract（参考訳）: コーディングタスクは、高レベルの命令の理解、複雑な推論、そして関数型プログラムの実装を必要とするため、Large Language Models (LLM)を評価するのに有用である。 LLMを視覚的知覚と理解能力で拡張するLMM(Large Multimodal Models)の進歩にもかかわらず、これらのモデルを厳格に評価するコーディングベンチマークは、特に視覚的推論を強調するタスクにおいて、依然として顕著に欠落している。 このギャップに対処するために、コード生成によるLMMの視覚的理解と推論能力を評価するために設計された、新しくて軽量なベンチマークであるHumanEval-Vを紹介する。 HumanEval-Vには、CodeForcesやStack Overflowといったプラットフォームから派生した、108の慎重に構築されたエントリーレベルのPythonコーディングタスクが含まれている。 各タスクは、元の問題のコンテキストとアルゴリズムパターンを変更し、視覚要素がソースと区別されることを保証し、潜在的なデータ漏洩を防ぐことで適応される。 LMMは、提供されるビジュアルコンテキストと、タスク要求の概要を概説したPython関数シグネチャに基づいて、コードソリューションを完成させる必要がある。 すべてのタスクは、モデル生成ソリューションの徹底的で信頼性の高い評価を保証するために、巧妙に手作りのテストケースを備えている。 我々はHumanEval-Vを用いて19の最先端LMMを評価し、重要な課題を明らかにした。 GPT-4oのようなプロプライエタリモデルは13%のpass@1と36.4%のpass@10しか達成していない。 アブレーション研究は、視覚推論と符号化能力における現在のLMMの限界をさらに明らかにしている。 これらの結果は,LMMの能力向上に向けた今後の研究の鍵となる部分である。 コードとベンチマークはhttps://github.com/HumanEval-V/HumanEval-V-Benchmarkで公開しています。

関連論文リスト

• Why Vision Language Models Struggle with Visual Arithmetic? Towards Enhanced Chart and Geometry Understanding [94.64781599202882]
  視覚言語モデル(VLM)はマルチモーダルタスクにおいて顕著な進歩を遂げた。 彼らはしばしば、オブジェクトのカウントや長さ比較のような一見単純な機能である視覚的算術に苦しむ。 我々は、ピアジェの認知発達理論に触発された新しいポストトレーニング戦略であるCogAlignを提案する。
  論文  参考訳（メタデータ） (2025-02-17T06:54:49Z)
• LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs [103.0226977561914]
  大規模言語モデルにおけるステップバイステップの視覚的推論を促進するための包括的フレームワークを提案する。 マルチステップ推論タスクの評価に特化して設計された視覚推論ベンチマークを導入する。 第二に,個々のステップの粒度で視覚的推論品質を評価する新しい指標を提案する。 第3に、マルチステップのカリキュラム学習アプローチを用いて学習したLlamaV-o1という新しいマルチモーダル視覚推論モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-10T18:59:51Z)
• MageBench: Bridging Large Multimodal Models to Agents [90.59091431806793]
  LMMは印象的な視覚的理解能力を示しており、エージェントに適用される可能性がある。 既存のベンチマークは、主に言語部分における推論能力を評価する。 MageBenchは推論機能指向のマルチモーダルエージェントベンチマークである。
  論文  参考訳（メタデータ） (2024-12-05T17:08:19Z)
• Intriguing Properties of Large Language and Vision Models [18.449076451976236]
  大規模言語とビジョンモデル(LLVM)は、その顕著な一般化性能のために、大きな注目と開発努力を受けている。 高度な推論タスクの達成にもかかわらず、基本的な知覚関連タスクのパフォーマンスは驚くほど低いままである。 LLVMの最も一般的なファミリー(LLaVA)を10評価ベンチマークで評価することで、この問題を調査する。
  論文  参考訳（メタデータ） (2024-10-07T05:07:01Z)
• Multimodal LLMs Struggle with Basic Visual Network Analysis: a VNA Benchmark [4.112909937203117]
  GPT-4 と LLaVa のゼロショット能力を評価し,小規模グラフ上で単純な Visual Network Analysis タスクを実行する。 GPT-4はLLaVaより一貫して優れていますが、どちらのモデルも提案するすべての視覚的ネットワーク分析タスクに苦労しています。
  論文  参考訳（メタデータ） (2024-05-10T17:51:35Z)
• Lumen: Unleashing Versatile Vision-Centric Capabilities of Large Multimodal Models [87.47400128150032]
  本稿では,多目的視覚中心機能拡張を備えた大規模マルチモーダルモデルであるLumenという新しいLMMアーキテクチャを提案する。 ルーメンはまず、きめ細かい視覚言語の概念のアライメントを促進する。 そして、共有表現を軽量なタスクデコーダに柔軟にルーティングすることで、タスク固有のデコーダを実行する。
  論文  参考訳（メタデータ） (2024-03-12T04:13:45Z)
• Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined Levels [95.44077384918725]
  スコアの代わりにテキスト定義のレーティングレベルを持つ大規模マルチモーダリティモデル(LMM)を提案する。 提案したQ-Alignは、画像品質評価(IQA)、画像美学評価(IAA)、映像品質評価(VQA)タスクにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-28T16:10:25Z)
• BloomVQA: Assessing Hierarchical Multi-modal Comprehension [18.21961616174999]
  我々は、様々なレベルの理解を反映した絵物語に基づいて、複数の選択サンプルを収集する。 モデル一貫性を特徴付ける新しい尺度と自動データ拡張を可能にする新しい階層グラフ表現にマッピングする。 従来のモデルと比較して、GPT-4Vは全ての理解レベルよりも精度が向上し、特に高次タスクでは視覚入力をバイパスする傾向を示す。
  論文  参考訳（メタデータ） (2023-12-20T02:22:49Z)
• MMBench: Is Your Multi-modal Model an All-around Player? [114.45702807380415]
  視覚言語モデルのマルチモーダル能力を評価するためのベンチマークであるMMBenchを提案する。 MMBenchは、よく設計された品質制御スキームで慎重にキュレートされている。 MMBenchは英語版と中国語版の両方で複数の質問を取り入れている。
  論文  参考訳（メタデータ） (2023-07-12T16:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。