論文の概要: AlignMMBench: Evaluating Chinese Multimodal Alignment in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2406.09295v2
• Date: Fri, 14 Jun 2024 02:14:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 12:17:38.727867
• Title: AlignMMBench: Evaluating Chinese Multimodal Alignment in Large Vision-Language Models
• Title（参考訳）: AlignMMBench: 大規模視覚言語モデルにおける中国のマルチモーダルアライメントの評価
• Authors: Yuhang Wu, Wenmeng Yu, Yean Cheng, Yan Wang, Xiaohan Zhang, Jiazheng Xu, Ming Ding, Yuxiao Dong,
• Abstract要約: 新興中国ビジョンランゲージモデル(VLM)の総合的アライメントベンチマークであるAlignMMBenchを紹介する。 このベンチマークは、現実世界のシナリオと中国のインターネットソースから慎重にキュレートされ、3つのカテゴリにまたがる13の特定のタスクを含み、シングルターンとマルチターンの対話シナリオを含んでいる。 評価パイプラインを容易にするために,GPT-4の評価能力を超えるルール校正評価器であるCristiqueVLMを提案する。
• 参考スコア（独自算出の注目度）: 34.843603169616486
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Evaluating the alignment capabilities of large Vision-Language Models (VLMs) is essential for determining their effectiveness as helpful assistants. However, existing benchmarks primarily focus on basic abilities using nonverbal methods, such as yes-no and multiple-choice questions. In this paper, we address this gap by introducing AlignMMBench, a comprehensive alignment benchmark specifically designed for emerging Chinese VLMs. This benchmark is meticulously curated from real-world scenarios and Chinese Internet sources, encompassing thirteen specific tasks across three categories, and includes both single-turn and multi-turn dialogue scenarios. Incorporating a prompt rewrite strategy, AlignMMBench encompasses 1,054 images and 4,978 question-answer pairs. To facilitate the evaluation pipeline, we propose CritiqueVLM, a rule-calibrated evaluator that exceeds GPT-4's evaluation ability. Finally, we report the performance of representative VLMs on AlignMMBench, offering insights into the capabilities and limitations of different VLM architectures. All evaluation codes and data are available on https://alignmmbench.github.io.
• Abstract（参考訳）: 視覚言語モデル(VLM)のアライメント能力を評価することは,その有効性を決定する上で重要である。 しかし、既存のベンチマークは主に、Yes-noやMulti-choiceのような非言語的手法を用いた基本的な能力に焦点を当てている。 本稿では,中国の新興VLM向けに設計された総合的なアライメントベンチマークであるAlignMMBenchを導入することで,このギャップに対処する。 このベンチマークは、現実世界のシナリオと中国のインターネットソースから慎重にキュレートされ、3つのカテゴリにまたがる13の特定のタスクを含み、シングルターンとマルチターンの対話シナリオを含んでいる。 即時書き直し戦略を取り入れたAlignMMBenchは1,054のイメージと4,978の質問応答ペアを含んでいる。 評価パイプラインを容易にするために,GPT-4の評価能力を超えるルール校正評価器であるCristiqueVLMを提案する。 最後に,AlignMMBench上でのVLMの代表的な性能について報告する。 すべての評価コードとデータはhttps://alignmmbench.github.ioで公開されている。

関連論文リスト

• AutoBench-V: Can Large Vision-Language Models Benchmark Themselves? [55.14033256706175]
  視覚・言語情報の統合を促進するためには,LVLM(Large Vision-Language Models)が不可欠である。 本稿では,需要評価のための自動フレームワークであるAutoBench-Vを紹介する。 5つの要求されたユーザ入力にまたがる7つのLVLMの広範な評価を通じて、このフレームワークの有効性と信頼性を示す。
  論文  参考訳（メタデータ） (2024-10-28T17:55:08Z)
• DARE: Diverse Visual Question Answering with Robustness Evaluation [16.87867803628065]
  視覚言語モデル(VLM)は、テキストのみの大規模言語モデルと視覚のみのモデルの顕著な機能を拡張する。 彼らは数え上げや空間的推論といった重要な視覚言語(VL)推論能力に苦しむ。 本稿では,ロバストネス評価を用いたDARE,Diverse Visual Question Answeringを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T16:31:50Z)
• AlignBench: Benchmarking Chinese Alignment of Large Language Models [99.24597941555277]
  中国語大言語モデルのアライメントを評価するための総合ベンチマークであるAlignBenchを紹介する。 我々は,8つの主要なカテゴリ,683の実シナリオ根付きクエリ,およびそれに対応する人間の検証基準を含む,ループ内データキュレーションパイプラインを設計する。 自動評価には,Chain-of-Thoughtを用いた多次元LCM-as-Judgecitezheng2023アジュジング手法を用いて説明と最終評価を生成する。
  論文  参考訳（メタデータ） (2023-11-30T17:41:30Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• ChEF: A Comprehensive Evaluation Framework for Standardized Assessment of Multimodal Large Language Models [49.48109472893714]
  MLLM(Multimodal Large Language Models)は、視覚コンテンツと無数の下流タスクとを相互作用する優れた能力を示す。 本稿では,各MLLMを全体プロファイルし,異なるMLLMを比較した最初の総合評価フレームワーク(ChEF)を提案する。 詳細な実装をすべて公開して、さらなる分析と、新しいレシピやモデルを統合するための使い易いモジュラーツールキットを提供します。
  論文  参考訳（メタデータ） (2023-11-05T16:01:40Z)
• ZhuJiu: A Multi-dimensional, Multi-faceted Chinese Benchmark for Large Language Models [17.562961249150295]
  大規模言語モデル(LLM)評価のためのZhuJiuベンチマークを提案する。 ZhuJiuは中国語でLLMを十分に評価する先駆的なベンチマークであり、英語でも同様に堅牢な評価能力を提供している。 ZhuJiuベンチマークとオープンパーティのリーダーボードはhttp://www.zhujiu-benchmark.com/で公開されている。
  論文  参考訳（メタデータ） (2023-08-28T06:56:44Z)
• MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities [159.9847317300497]
  複雑なマルチモーダルタスクにおける大規模マルチモーダルモデル(LMM)を評価する評価ベンチマークであるMM-Vetを提案する。 近年のLMMは、黒板に書かれた数学の問題を解くこと、ニュース画像の出来事や有名人を推論すること、視覚的ジョークを説明することなど、様々な興味深い能力を示している。
  論文  参考訳（メタデータ） (2023-08-04T17:59:47Z)
• MMBench: Is Your Multi-modal Model an All-around Player? [114.45702807380415]
  視覚言語モデルのマルチモーダル能力を評価するためのベンチマークであるMMBenchを提案する。 MMBenchは、よく設計された品質制御スキームで慎重にキュレートされている。 MMBenchは英語版と中国語版の両方で複数の質問を取り入れている。
  論文  参考訳（メタデータ） (2023-07-12T16:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。