論文の概要: MM-Vet v2: A Challenging Benchmark to Evaluate Large Multimodal Models for Integrated Capabilities

• arxiv url: http://arxiv.org/abs/2408.00765v1
• Date: Thu, 1 Aug 2024 17:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 19:37:48.208787
• Title: MM-Vet v2: A Challenging Benchmark to Evaluate Large Multimodal Models for Integrated Capabilities
• Title（参考訳）: MM-Vet v2: 統合機能のための大規模マルチモーダルモデルの評価ベンチマーク
• Authors: Weihao Yu, Zhengyuan Yang, Linfeng Ren, Linjie Li, Jianfeng Wang, Kevin Lin, Chung-Ching Lin, Zicheng Liu, Lijuan Wang, Xinchao Wang,
• Abstract要約: MM-Vet v2は、"image-text sequence understanding"と呼ばれる新しい"image-text sequence understanding"機能を含んでいる。 MM-Vet v2を用いて大規模マルチモーダルモデルのベンチマークを行った結果,Claude 3.5 Sonnetはスコア71.8の最良のモデルであり,スコア71.0のGPT-4oより若干優れていた。
• 参考スコア（独自算出の注目度）: 146.4724093405187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: MM-Vet, with open-ended vision-language questions targeting at evaluating integrated capabilities, has become one of the most popular benchmarks for large multimodal model evaluation. MM-Vet assesses six core vision-language (VL) capabilities: recognition, knowledge, spatial awareness, language generation, OCR, and math. However, its question format is restricted to single image-text pairs, lacking the interleaved image and text sequences prevalent in real-world scenarios. To address this limitation, we introduce MM-Vet v2, which includes a new VL capability called "image-text sequence understanding", evaluating models' ability to process VL sequences. Furthermore, we maintain the high quality of evaluation samples while further expanding the evaluation set size. Using MM-Vet v2 to benchmark large multimodal models, we found that Claude 3.5 Sonnet is the best model with a score of 71.8, slightly outperforming GPT-4o which scored 71.0. Among open-weight models, InternVL2-Llama3-76B leads with a score of 68.4.
• Abstract（参考訳）: MM-Vetは、統合能力の評価を目的としたオープンエンドの視覚言語質問であり、大規模なマルチモーダルモデル評価のための最も人気のあるベンチマークの1つとなっている。 MM-Vetは、認識、知識、空間認識、言語生成、OCR、数学の6つのコアビジョン言語(VL)能力を評価する。 しかし、その質問形式は単一の画像とテキストのペアに限られており、実際のシナリオで広く見られるインターリーブ画像とテキストシーケンスが欠如している。 この制限に対処するため、MM-Vet v2を導入し、「画像テキストシーケンス理解」と呼ばれる新しいVL機能を導入し、VLシーケンスを処理するモデルの能力を評価する。 さらに,評価セットのサイズをさらに拡大しながら,評価サンプルの品質を向上する。 MM-Vet v2を用いて大規模マルチモーダルモデルのベンチマークを行った結果,Claude 3.5 Sonnetはスコア71.8の最良のモデルであり,スコア71.0のGPT-4oより若干優れていた。 オープンウェイトモデルの中では、InternVL2-Llama3-76Bが68.4のスコアでリードしている。

関連論文リスト

• VLRewardBench: A Challenging Benchmark for Vision-Language Generative Reward Models [66.56298924208319]
  視覚言語生成報酬モデル(VL-GenRM)は、マルチモーダルAIシステムの調整と評価において重要な役割を果たす。 現在のアセスメント手法は、従来のタスクからAIアノテートされた好みラベルに依存している。 VL-RewardBenchは、一般的なマルチモーダルクエリ、視覚幻覚検出、複雑な推論タスクにまたがるベンチマークである。
  論文  参考訳（メタデータ） (2024-11-26T14:08:34Z)
• VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks [60.5257456681402]
  我々は、幅広い下流タスクを扱える普遍的な埋め込みモデルを構築している。 1 MMEB(Massive Multimodal Embedding Benchmark)は、4 つのメタタスク(分類、視覚的質問応答、マルチモーダル検索、視覚的グラウンド)と36 つのデータセット(20 のトレーニングと16 の評価データセットを含む)と、2 の VLM2Vec (Vision-Language Model -> Vector) を含む。
  論文  参考訳（メタデータ） (2024-10-07T16:14:05Z)
• DARE: Diverse Visual Question Answering with Robustness Evaluation [16.87867803628065]
  視覚言語モデル(VLM)は、テキストのみの大規模言語モデルと視覚のみのモデルの顕著な機能を拡張する。 彼らは数え上げや空間的推論といった重要な視覚言語(VL)推論能力に苦しむ。 本稿では,ロバストネス評価を用いたDARE,Diverse Visual Question Answeringを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T16:31:50Z)
• MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities [159.9847317300497]
  複雑なマルチモーダルタスクにおける大規模マルチモーダルモデル(LMM)を評価する評価ベンチマークであるMM-Vetを提案する。 近年のLMMは、黒板に書かれた数学の問題を解くこと、ニュース画像の出来事や有名人を推論すること、視覚的ジョークを説明することなど、様々な興味深い能力を示している。
  論文  参考訳（メタデータ） (2023-08-04T17:59:47Z)
• MMBench: Is Your Multi-modal Model an All-around Player? [114.45702807380415]
  視覚言語モデルのマルチモーダル能力を評価するためのベンチマークであるMMBenchを提案する。 MMBenchは、よく設計された品質制御スキームで慎重にキュレートされている。 MMBenchは英語版と中国語版の両方で複数の質問を取り入れている。
  論文  参考訳（メタデータ） (2023-07-12T16:23:09Z)
• Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
  我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。 実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
  論文  参考訳（メタデータ） (2022-03-12T09:33:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。