論文の概要: MIA-Bench: Towards Better Instruction Following Evaluation of Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2407.01509v3
• Date: Thu, 25 Jul 2024 19:50:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 17:32:36.761535
• Title: MIA-Bench: Towards Better Instruction Following Evaluation of Multimodal LLMs
• Title（参考訳）: MIA-Bench:マルチモーダルLCMの評価による教育改善に向けて
• Authors: Yusu Qian, Hanrong Ye, Jean-Philippe Fauconnier, Peter Grasch, Yinfei Yang, Zhe Gan,
• Abstract要約: MIA-Benchは、マルチモーダルな大規模言語モデル(MLLM)を、複雑な命令に厳密に準拠する能力に基づいて評価するために設計されたベンチマークである。 私たちのベンチマークでは、400のイメージプロンプトペアで構成されており、それぞれが階層化された命令に対するモデルのコンプライアンスに挑戦するために作られています。
• 参考スコア（独自算出の注目度）: 47.94710556156627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce MIA-Bench, a new benchmark designed to evaluate multimodal large language models (MLLMs) on their ability to strictly adhere to complex instructions. Our benchmark comprises a diverse set of 400 image-prompt pairs, each crafted to challenge the models' compliance with layered instructions in generating accurate responses that satisfy specific requested patterns. Evaluation results from a wide array of state-of-the-art MLLMs reveal significant variations in performance, highlighting areas for improvement in instruction fidelity. Additionally, we create extra training data and explore supervised fine-tuning to enhance the models' ability to strictly follow instructions without compromising performance on other tasks. We hope this benchmark not only serves as a tool for measuring MLLM adherence to instructions, but also guides future developments in MLLM training methods.
• Abstract（参考訳）: MIA-Benchは,マルチモーダルな大規模言語モデル(MLLM)を,複雑な命令に厳密に準拠する能力に基づいて評価するための新しいベンチマークである。 私たちのベンチマークは400のイメージプロンプトペアで構成されており、それぞれが特定の要求されたパターンを満たす正確な応答を生成するために、階層化された命令に対するモデルのコンプライアンスに挑戦するために作られています。 最先端MLLMの幅広い評価結果から, 性能の大幅な変化が明らかとなり, 命令忠実度向上のための領域が強調された。 さらに、余分なトレーニングデータを作成し、教師付き微調整を探索し、他のタスクのパフォーマンスを損なうことなく、モデルが厳格に指示に従う能力を高める。 我々は,このベンチマークがMLLMの指示への付着度を測定するツールとして機能するだけでなく,MLLMトレーニング手法の今後の発展を導くことを願っている。

関連論文リスト

• Optimizing and Testing Instruction-Following: Analyzing the Impact of Fine-Grained Instruction Variants on instruction-tuned LLMs [27.321629102942754]
  我々は、複雑な命令を単純なサブコンポーネントに分解し、それらを修正し、それらを新しい変種に再構成する効果的なデータ拡張手法を導入する。 以上の結果から,DeMoReconで微調整したLCMは,命令追従ベンチマークと一般的な命令追従ベンチマークの両方において,大幅な性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T08:08:11Z)
• Distilling Instruction-following Abilities of Large Language Models with Task-aware Curriculum Planning [12.651588927599441]
  本稿では,TAPIR(Destruction Refinement)のためのタスク対応カリキュラム計画について紹介する。 TAPIRは、バランスの取れたタスク分布と動的難易度調整を備えた多層蒸留フレームワークである。 AlpacaEval 2.0 や MT-Bench など,広く知られている2つのベンチマークを用いて,TAPIR を厳格に評価した。
  論文  参考訳（メタデータ） (2024-05-22T08:38:26Z)
• CoIN: A Benchmark of Continual Instruction tuNing for Multimodel Large Language Model [128.46104068327435]
  逐次的命令チューニングパラダイムにおける既存のMLLMを評価するためのベンチマークであるContinuous Instruction tuNing(CoIN)を提案する。 CoINの実験では、現在の強力なMLLMが依然として破滅的な忘れを被っていることが示されている。 従来の命令アライメントを維持するのに有効なMLLMにMoELoRAを導入する。
  論文  参考訳（メタデータ） (2024-03-13T08:54:31Z)
• Model Composition for Multimodal Large Language Models [73.70317850267149]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• MM-BigBench: Evaluating Multimodal Models on Multimodal Content Comprehension Tasks [56.60050181186531]
  MM-BigBenchを導入し、様々なモデルや命令のパフォーマンスを広範囲に評価する。 本稿では,6タスクにまたがる14のマルチモーダルデータセット上で,20の言語モデル (14 MLLM) を評価し,各タスクに10の指示を与え,新しい洞察を導き出す。
  論文  参考訳（メタデータ） (2023-10-13T11:57:04Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• On the Performance of Multimodal Language Models [4.677125897916577]
  本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。 大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2023-10-04T23:33:36Z)
• MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
  マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。 本稿では,MLLM 評価ベンチマーク MME について述べる。 知覚能力と認知能力の両方を合計14のサブタスクで測定する。
  論文  参考訳（メタデータ） (2023-06-23T09:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。