論文の概要: SEED-Bench-2: Benchmarking Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2311.17092v1
• Date: Tue, 28 Nov 2023 05:53:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 00:04:48.795034
• Title: SEED-Bench-2: Benchmarking Multimodal Large Language Models
• Title（参考訳）: SEED-Bench-2:マルチモーダル大言語モデルのベンチマーク
• Authors: Bohao Li, Yuying Ge, Yixiao Ge, Guangzhi Wang, Rui Wang, Ruimao Zhang, Ying Shan
• Abstract要約: MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
• 参考スコア（独自算出の注目度）: 67.28089415198338
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs), building upon the foundation of powerful large language models (LLMs), have recently demonstrated exceptional capabilities in generating not only texts but also images given interleaved multimodal inputs (acting like a combination of GPT-4V and DALL-E 3). However, existing MLLM benchmarks remain limited to assessing only models' comprehension ability of single image-text inputs, failing to keep up with the strides made in MLLMs. A comprehensive benchmark is imperative for investigating the progress and uncovering the limitations of current MLLMs. In this work, we categorize the capabilities of MLLMs into hierarchical levels from $L_0$ to $L_4$ based on the modalities they can accept and generate, and propose SEED-Bench-2, a comprehensive benchmark that evaluates the \textbf{hierarchical} capabilities of MLLMs. Specifically, SEED-Bench-2 comprises 24K multiple-choice questions with accurate human annotations, which spans 27 dimensions, including the evaluation of both text and image generation. Multiple-choice questions with groundtruth options derived from human annotation enables an objective and efficient assessment of model performance, eliminating the need for human or GPT intervention during evaluation. We further evaluate the performance of 23 prominent open-source MLLMs and summarize valuable observations. By revealing the limitations of existing MLLMs through extensive evaluations, we aim for SEED-Bench-2 to provide insights that will motivate future research towards the goal of General Artificial Intelligence. Dataset and evaluation code are available at \href{https://github.com/AILab-CVC/SEED-Bench}
• Abstract（参考訳）: MLLM(Multimodal large language model)は、強力な大規模言語モデル(LLM)の基礎の上に構築され、最近、テキストだけでなく、インターリーブされたマルチモーダル入力(GPT-4VとDALL-E3)の組合せのような)の画像を生成できることを実証した。 しかし、既存のMLLMベンチマークは、単一の画像テキスト入力のモデルの理解能力のみを評価することに限定されており、MLLMの歩みに遅れている。 包括的なベンチマークは、現在のMLLMの進歩と限界を明らかにするために不可欠である。 本研究は,MLLMの機能を,受容・生成可能なモダリティに基づいて,階層レベルを$L_0$から$L_4$に分類し,MLLMの‘textbf{hierarchical}機能を評価する総合ベンチマークSEED-Bench-2を提案する。 具体的には、SEED-Bench-2は、テキストと画像生成の両方の評価を含む27次元にわたる正確な人間のアノテーションを持つ24Kの多重選択質問を含む。 人間のアノテーションを基本とした複数選択質問は、モデル性能の客観的かつ効率的な評価を可能にし、評価中に人間やGPTの介入が不要になる。 さらに,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。 大規模な評価を通じて既存のMLLMの限界を明らかにすることにより、SEED-Bench-2は、汎用人工知能の目標に向けた将来の研究の動機となる洞察を提供することを目指している。 データセットと評価コードは \href{https://github.com/AILab-CVC/SEED-Bench} で公開されている。

関連論文リスト

• MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
  本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。 オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。 我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
  論文  参考訳（メタデータ） (2024-10-16T07:52:57Z)
• SEED-Bench-2-Plus: Benchmarking Multimodal Large Language Models with Text-Rich Visual Comprehension [62.40482764691584]
  MLLMのテキストに富んだ視覚的理解を評価するためのベンチマークSEED-Bench-2-Plusを紹介する。 私たちのベンチマークでは、チャート、マップ、ウェブの3つのカテゴリにまたがる、正確な人間のアノテーションによる2.3Kの多重選択質問で構成されています。 我々は,34の著名なMLLMを包含する徹底的な評価を行い,テキストリッチ視覚理解におけるMLLMの現在の限界を強調した。
  論文  参考訳（メタデータ） (2024-04-25T17:39:35Z)
• Q-Bench+: A Benchmark for Multi-modal Foundation Models on Low-level Vision from Single Images to Pairs [71.07108539262721]
  低レベルの視覚に関連する人間の言語応答をエミュレートするためのベンチマーク設定を設計する。 我々は,MLLMの低レベルの認識関連質問応答と記述評価を,単一画像から画像ペアへ拡張する。 複数のMLLMが単一の画像に対して十分な低レベルの視覚能力を持つことを示したが、GPT-4Vのみが人間よりも高い精度で比較できる。
  論文  参考訳（メタデータ） (2024-02-11T06:44:11Z)
• ChEF: A Comprehensive Evaluation Framework for Standardized Assessment of Multimodal Large Language Models [49.48109472893714]
  MLLM(Multimodal Large Language Models)は、視覚コンテンツと無数の下流タスクとを相互作用する優れた能力を示す。 本稿では,各MLLMを全体プロファイルし,異なるMLLMを比較した最初の総合評価フレームワーク(ChEF)を提案する。 詳細な実装をすべて公開して、さらなる分析と、新しいレシピやモデルを統合するための使い易いモジュラーツールキットを提供します。
  論文  参考訳（メタデータ） (2023-11-05T16:01:40Z)
• SEED-Bench: Benchmarking Multimodal LLMs with Generative Comprehension [27.53415400454066]
  生成モデルを評価するためにSEED-Benchというベンチマークを導入する。 SEED-Benchは、正確な人間のアノテーションを持つ19Kの複数の選択質問からなる。 空間的および時間的理解の両面を網羅し,全12次元にわたる18モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2023-07-30T04:25:16Z)
• MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
  マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。 本稿では,MLLM 評価ベンチマーク MME について述べる。 知覚能力と認知能力の両方を合計14のサブタスクで測定する。
  論文  参考訳（メタデータ） (2023-06-23T09:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。