論文の概要: GRAB: A Challenging GRaph Analysis Benchmark for Large Multimodal Models
- arxiv url: http://arxiv.org/abs/2408.11817v1
- Date: Wed, 21 Aug 2024 17:59:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-22 15:58:35.739781
- Title: GRAB: A Challenging GRaph Analysis Benchmark for Large Multimodal Models
- Title(参考訳): GRAB: 大規模マルチモーダルモデルのGRaph解析ベンチマーク
- Authors: Jonathan Roberts, Kai Han, Samuel Albanie,
- Abstract要約: グラフ解析のベンチマークであるGRABを現在および将来のLMMに適用する。
私たちのベンチマークは完全に総合的で、高品質でノイズフリーな質問を確実にします。
GRAB上で20のLMMを評価し、21.7%のスコアで最高のパフォーマンスのモデルで、挑戦的なベンチマークであることが判明した。
- 参考スコア(独自算出の注目度): 36.83397306207386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large multimodal models (LMMs) have exhibited proficiencies across many visual tasks. Although numerous well-known benchmarks exist to evaluate model performance, they increasingly have insufficient headroom. As such, there is a pressing need for a new generation of benchmarks challenging enough for the next generation of LMMs. One area that LMMs show potential is graph analysis, specifically, the tasks an analyst might typically perform when interpreting figures such as estimating the mean, intercepts or correlations of functions and data series. In this work, we introduce GRAB, a graph analysis benchmark, fit for current and future frontier LMMs. Our benchmark is entirely synthetic, ensuring high-quality, noise-free questions. GRAB is comprised of 2170 questions, covering four tasks and 23 graph properties. We evaluate 20 LMMs on GRAB, finding it to be a challenging benchmark, with the highest performing model attaining a score of just 21.7%. Finally, we conduct various ablations to investigate where the models succeed and struggle. We release GRAB to encourage progress in this important, growing domain.
- Abstract(参考訳): 大規模マルチモーダルモデル (LMM) は多くの視覚的タスクに習熟している。
モデル性能を評価するためによく知られたベンチマークが多数存在するが、ヘッドルームはますます不十分である。
そのため、次世代のLMMに十分挑戦する新しい世代のベンチマークが必要である。
LMMがポテンシャルを示す分野の1つはグラフ解析であり、具体的には、平均やインターセプト、関数やデータ系列の相関を推定するといった数字を解釈する際に、アナリストが一般的に行うべきタスクである。
本稿では,現在および将来のフロンティアLMMに適合するグラフ解析ベンチマークGRABを紹介する。
私たちのベンチマークは完全に総合的で、高品質でノイズフリーな質問を確実にします。
GRABは2170の質問で構成され、4つのタスクと23のグラフプロパティをカバーしている。
GRAB上で20のLMMを評価し、21.7%のスコアで最高のパフォーマンスのモデルで、挑戦的なベンチマークであることが判明した。
最後に、モデルがどのように成功し、苦闘するかを調べるために、様々な試みを行う。
この重要で成長しているドメインの進展を促進するため、GRABをリリースします。
関連論文リスト
- CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs [62.84082370758761]
CharXivは、arXiv論文の2,323のチャートを含む総合的な評価スイートである。
品質を確保するために、すべてのチャートと質問は、人間の専門家によって手書きされ、キュレーションされ、検証されます。
その結果、最強のプロプライエタリモデルの推論スキルの間に、かなり過小評価されていたギャップが明らかとなった。
論文 参考訳(メタデータ) (2024-06-26T17:50:11Z) - MR-BEN: A Comprehensive Meta-Reasoning Benchmark for Large Language Models [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
メタ推論スキルを必要とするプロセスベースのベンチマークを提案する。
MR-BENは、人間の専門家から収集された5,975の質問からなる総合的なベンチマークである。
論文 参考訳(メタデータ) (2024-06-20T03:50:23Z) - GraphFM: A Comprehensive Benchmark for Graph Foundation Model [33.157367455390144]
ファンデーション・モデル(FM)は、人工知能システムの開発のための一般的なクラスである。
FMの基礎として自己教師型学習の研究が盛んに行われたが、いくつかの顕著な問題が続いている。
下流タスクにおける一般化能力の程度は未だ不明である。
これらのモデルが大規模なデータセットにどの程度効果的にスケールできるかは不明だ。
論文 参考訳(メタデータ) (2024-06-12T15:10:44Z) - A-Bench: Are LMMs Masters at Evaluating AI-generated Images? [78.3699767628502]
A-Benchは、マルチモーダルモデル(LMM)がAI生成画像(AIGI)を評価するマスターであるかどうかを診断するために設計されたベンチマークである。
最終的に、16のテキスト・ツー・イメージモデルの2,864のAIGIがサンプリングされ、それぞれが人間の専門家によって注釈付けされた質問回答と組み合わせられ、18のLMMでテストされる。
論文 参考訳(メタデータ) (2024-06-05T08:55:02Z) - Are We on the Right Way for Evaluating Large Vision-Language Models? [92.5761176224556]
大規模視覚言語モデル(LVLM)は、最近急速に進歩し、そのマルチモーダル能力を評価するために多くの研究を巻き起こした。
視覚コンテンツは多くのサンプルに対して不要であり、意図的なデータ漏洩が存在する。
本稿では,人間によって精巧に選択された1500個のサンプルからなる,高度に視覚に欠かせないマルチモーダルベンチマークMMStarを提案する。
論文 参考訳(メタデータ) (2024-03-29T17:59:34Z) - Measuring Multimodal Mathematical Reasoning with MATH-Vision Dataset [33.65525875690291]
実数競合から得られる視覚的コンテキストを持つ3,040個の高品質な数学問題の集合であるMATH-Visionデータセットを提示する。
広汎な実験により,MATH-Vにおける現在のLMMと人的性能の顕著な差が明らかになった。
我々の詳細な分類は、LMMの完全なエラー分析を可能にし、将来の研究開発のガイドとなる貴重な洞察を提供する。
論文 参考訳(メタデータ) (2024-02-22T18:56:38Z) - MMC: Advancing Multimodal Chart Understanding with Large-scale Instruction Tuning [48.63002688222462]
グラフの抽象的な構成要素が異なるため、チャートイメージ理解の領域にギャップが残っている。
多様なタスクとチャートタイプをサポートする600kインスタンスからなる大規模マルチモーダルチャートインストラクションデータセットを提案する。
我々は既存のグラフQAベンチマークで最先端性能を実現するLMMであるMultiModal Chart Assistant(textbfMMC-A)を開発した。
論文 参考訳(メタデータ) (2023-11-15T23:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。