論文の概要: HumanEval-V: Benchmarking High-Level Visual Reasoning with Complex Diagrams in Coding Tasks

• arxiv url: http://arxiv.org/abs/2410.12381v3
• Date: Tue, 18 Feb 2025 06:00:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:04:17.751025
• Title: HumanEval-V: Benchmarking High-Level Visual Reasoning with Complex Diagrams in Coding Tasks
• Title（参考訳）: HumanEval-V:コーディングタスクにおける複雑なダイアグラムを用いたハイレベルビジュアル推論のベンチマーク
• Authors: Fengji Zhang, Linquan Wu, Huiyu Bai, Guancheng Lin, Xiao Li, Xiao Yu, Yue Wang, Bei Chen, Jacky Keung,
• Abstract要約: 人間のアノテーションによるコーディングタスクのベンチマークであるHumanEval-Vを提案する。 各タスクは、関数シグネチャとテストケースを組み合わせた、慎重に構築されたダイアグラムを備えている。 トップパフォーマンスモデルでさえ、控えめな成功率を実現しています。
• 参考スコア（独自算出の注目度）: 25.959032350818795
• License:
• Abstract: Understanding and reasoning over diagrams is a fundamental aspect of human intelligence. While Large Multimodal Models (LMMs) have demonstrated impressive capabilities across various tasks, existing benchmarks lack comprehensive evaluation of their diagram interpretation and reasoning abilities, particularly in coding contexts. We present HumanEval-V, a rigorous benchmark of human-annotated coding tasks that spans six task types and evaluates diverse visual reasoning capabilities. Each task features carefully crafted diagrams paired with function signatures and test cases, employing novel code generation tasks to thoroughly assess models' diagram comprehension. Through extensive experiments with 22 LMMs, we find that even top-performing models achieve modest success rates, with Claude 3.5 Sonnet reaching only 36.8% pass@1, highlighting substantial room for improvement. Our analysis reveals that current LMMs struggle with spatial transformations, topological relationships, and dynamic patterns that humans find intuitive. These findings provide valuable insights for advancing LMMs' visual reasoning abilities. We have open-sourced our code and benchmark at https://github.com/HumanEval-V/HumanEval-V-Benchmark.
• Abstract（参考訳）: 図の理解と推論は人間の知性の基本的側面である。 LMM(Large Multimodal Models)は様々なタスクにまたがる印象的な機能を示しているが、既存のベンチマークではダイアグラムの解釈と推論能力、特にコーディングコンテキストにおいて、包括的な評価が欠如している。 我々は、6つのタスクタイプにまたがる人間のアノテーション付きコーディングタスクの厳密なベンチマークであるHumanEval-Vを紹介し、多様な視覚的推論能力を評価する。 それぞれのタスクは、関数シグネチャとテストケースを組み合わせて、慎重に構築されたダイアグラムを特徴付け、新しいコード生成タスクを使用して、モデルのダイアグラムの理解を徹底的に評価する。 22 LMMによる広範な実験により、最高性能のモデルでさえもわずかに成功し、Claude 3.5 Sonnetはわずか36.8%のパス@1に到達した。 我々の分析によると、現在のLMMは、人間が直感的に感じる空間変換、トポロジカルな関係、動的パターンに悩まされている。 これらの知見は,LMMの視覚的推論能力の向上に有用である。 コードとベンチマークはhttps://github.com/HumanEval-V/HumanEval-V-Benchmarkで公開しています。

関連論文リスト

• Why Vision Language Models Struggle with Visual Arithmetic? Towards Enhanced Chart and Geometry Understanding [94.64781599202882]
  視覚言語モデル(VLM)はマルチモーダルタスクにおいて顕著な進歩を遂げた。 彼らはしばしば、オブジェクトのカウントや長さ比較のような一見単純な機能である視覚的算術に苦しむ。 我々は、ピアジェの認知発達理論に触発された新しいポストトレーニング戦略であるCogAlignを提案する。
  論文  参考訳（メタデータ） (2025-02-17T06:54:49Z)
• LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs [103.0226977561914]
  大規模言語モデルにおけるステップバイステップの視覚的推論を促進するための包括的フレームワークを提案する。 マルチステップ推論タスクの評価に特化して設計された視覚推論ベンチマークを導入する。 第二に,個々のステップの粒度で視覚的推論品質を評価する新しい指標を提案する。 第3に、マルチステップのカリキュラム学習アプローチを用いて学習したLlamaV-o1という新しいマルチモーダル視覚推論モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-10T18:59:51Z)
• MageBench: Bridging Large Multimodal Models to Agents [90.59091431806793]
  LMMは印象的な視覚的理解能力を示しており、エージェントに適用される可能性がある。 既存のベンチマークは、主に言語部分における推論能力を評価する。 MageBenchは推論機能指向のマルチモーダルエージェントベンチマークである。
  論文  参考訳（メタデータ） (2024-12-05T17:08:19Z)
• Intriguing Properties of Large Language and Vision Models [18.449076451976236]
  大規模言語とビジョンモデル(LLVM)は、その顕著な一般化性能のために、大きな注目と開発努力を受けている。 高度な推論タスクの達成にもかかわらず、基本的な知覚関連タスクのパフォーマンスは驚くほど低いままである。 LLVMの最も一般的なファミリー(LLaVA)を10評価ベンチマークで評価することで、この問題を調査する。
  論文  参考訳（メタデータ） (2024-10-07T05:07:01Z)
• Multimodal LLMs Struggle with Basic Visual Network Analysis: a VNA Benchmark [4.112909937203117]
  GPT-4 と LLaVa のゼロショット能力を評価し,小規模グラフ上で単純な Visual Network Analysis タスクを実行する。 GPT-4はLLaVaより一貫して優れていますが、どちらのモデルも提案するすべての視覚的ネットワーク分析タスクに苦労しています。
  論文  参考訳（メタデータ） (2024-05-10T17:51:35Z)
• Lumen: Unleashing Versatile Vision-Centric Capabilities of Large Multimodal Models [87.47400128150032]
  本稿では,多目的視覚中心機能拡張を備えた大規模マルチモーダルモデルであるLumenという新しいLMMアーキテクチャを提案する。 ルーメンはまず、きめ細かい視覚言語の概念のアライメントを促進する。 そして、共有表現を軽量なタスクデコーダに柔軟にルーティングすることで、タスク固有のデコーダを実行する。
  論文  参考訳（メタデータ） (2024-03-12T04:13:45Z)
• Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined Levels [95.44077384918725]
  スコアの代わりにテキスト定義のレーティングレベルを持つ大規模マルチモーダリティモデル(LMM)を提案する。 提案したQ-Alignは、画像品質評価(IQA)、画像美学評価(IAA)、映像品質評価(VQA)タスクにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-28T16:10:25Z)
• BloomVQA: Assessing Hierarchical Multi-modal Comprehension [18.21961616174999]
  我々は、様々なレベルの理解を反映した絵物語に基づいて、複数の選択サンプルを収集する。 モデル一貫性を特徴付ける新しい尺度と自動データ拡張を可能にする新しい階層グラフ表現にマッピングする。 従来のモデルと比較して、GPT-4Vは全ての理解レベルよりも精度が向上し、特に高次タスクでは視覚入力をバイパスする傾向を示す。
  論文  参考訳（メタデータ） (2023-12-20T02:22:49Z)
• MMBench: Is Your Multi-modal Model an All-around Player? [114.45702807380415]
  視覚言語モデルのマルチモーダル能力を評価するためのベンチマークであるMMBenchを提案する。 MMBenchは、よく設計された品質制御スキームで慎重にキュレートされている。 MMBenchは英語版と中国語版の両方で複数の質問を取り入れている。
  論文  参考訳（メタデータ） (2023-07-12T16:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。