Fugu-MT 論文翻訳(概要): Evaluating and Advancing Multimodal Large Language Models in Perception Ability Lens

論文の概要: Evaluating and Advancing Multimodal Large Language Models in Perception Ability Lens

arxiv url: http://arxiv.org/abs/2411.14725v2
Date: Tue, 03 Jun 2025 08:55:05 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-05 01:42:08.946733
Title: Evaluating and Advancing Multimodal Large Language Models in Perception Ability Lens
Title（参考訳）: 知覚能力レンズを用いた多モード大言語モデルの評価と改善
Authors: Feng Chen, Chenhui Gou, Jing Liu, Yang Yang, Zhaoyang Li, Jiyuan Zhang, Zhenbang Sun, Bohan Zhuang, Qi Wu,
Abstract要約: textbfAbilityLensはMLLMを6つの重要な知覚能力で評価する統合ベンチマークである。我々は、現在のメインストリームMLLMの長所と短所を特定し、安定性パターンを強調し、最先端のオープンソースモデルとクローズドソースモデルの顕著なパフォーマンスギャップを明らかにする。
参考スコア（独自算出の注目度）: 30.083110119139793
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As multimodal large language models (MLLMs) advance rapidly, rigorous evaluation has become essential, providing further guidance for their development. In this work, we focus on a unified and robust evaluation of \textbf{vision perception} abilities, the foundational skill of MLLMs. We find that existing perception benchmarks, each focusing on different question types, domains, and evaluation metrics, introduce significant evaluation variance, complicating comprehensive assessments of perception abilities when relying on any single benchmark. To address this, we introduce \textbf{AbilityLens}, a unified benchmark designed to evaluate MLLMs in six key perception abilities (ranging from counting, OCR, to understanding structural data), focusing on both accuracy and stability, with each ability encompassing diverse types of questions, domains, and metrics. With the assistance of AbilityLens, we: (1) identify the strengths and weaknesses of current main-stream MLLMs, highlighting stability patterns and revealing a notable performance gap between state-of-the-art open-source and closed-source models; (2) uncover interesting ability conflict and early convergence phenomena during MLLM training; (3) reveal the primary reason of ability conflict is data mixing ratio and LLM model size; and (4) discuss the effectiveness of some straightforward strategies \eg, fine-tuning and model merging, to solve the ability conflict. The benchmark and online leaderboard is released in https://github.com/Chenfeng1271/AbilityLens.
Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)が急速に進歩するにつれて、厳密な評価が不可欠となり、開発のためのさらなるガイダンスが提供された。本研究は,MLLMの基礎的スキルである‘textbf{vision perception}能力の統一的で堅牢な評価に焦点を当てる。既存の知覚ベンチマークは、それぞれ異なる質問タイプ、ドメイン、評価指標に焦点を合わせ、重要な評価分散を導入し、単一のベンチマークに依存する場合の知覚能力の総合的な評価を複雑化する。これを解決するために,MLLMを6つの重要な知覚能力(カウント,OCR,構造データ理解など)で評価するための統一ベンチマークである‘textbf{AbilityLens} を導入する。 AbilityLensの助けを借りて、(1)現在のメインストリームMLLMの長所と短所を特定し、安定パターンを強調し、最先端のオープンソースモデルとクローズドソースモデルの顕著なパフォーマンスギャップを明らかにし、(2)MLLMトレーニング中に興味深い能力衝突と早期収束現象を明らかにし、(3)データ混合比とLCMモデルサイズが能力衝突の原因を明らかにする。ベンチマークとオンラインのリーダーボードはhttps://github.com/Chenfeng1271/AbilityLensで公開されている。

関連論文リスト

Firm or Fickle? Evaluating Large Language Models Consistency in Sequential Interactions [8.069858557211132]
大きな言語モデル(LLM)は、様々なタスクにまたがって顕著な能力を示していますが、高い領域への展開には、複数のインタラクションラウンドで一貫したパフォーマンスが必要です。本稿では,LLM応答整合性の評価と改善のための総合的なフレームワークを紹介し,その3つの重要な貢献について述べる。
論文参考訳（メタデータ） (2025-03-28T11:49:56Z)
Are Your LLMs Capable of Stable Reasoning? [38.03049704515947]
大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な進歩を示している。しかし、ベンチマークパフォーマンスと実世界のアプリケーションの間には大きな違いがある。 G-Pass@kはモデルの性能を連続的に評価する新しい評価指標である。本稿では,挑戦的,現代数学的な問題からなる動的ベンチマークであるLiveMathBenchを紹介する。
論文参考訳（メタデータ） (2024-12-17T18:12:47Z)
MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
論文参考訳（メタデータ） (2024-11-22T18:59:54Z)
MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
論文参考訳（メタデータ） (2024-10-14T04:15:00Z)
MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文参考訳（メタデータ） (2024-06-20T03:50:23Z)
Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文参考訳（メタデータ） (2024-06-13T14:41:00Z)
Benchmarking Trustworthiness of Multimodal Large Language Models: A Comprehensive Study [51.19622266249408]
MultiTrustはMLLMの信頼性に関する最初の総合的で統一されたベンチマークである。我々のベンチマークでは、マルチモーダルリスクとクロスモーダルインパクトの両方に対処する厳格な評価戦略を採用している。 21の近代MLLMによる大規模な実験は、これまで調査されなかった信頼性の問題とリスクを明らかにしている。
論文参考訳（メタデータ） (2024-06-11T08:38:13Z)
NPHardEval4V: A Dynamic Reasoning Benchmark of Multimodal Large Language Models [34.91372939329467]
MLLMの純粋推論能力を評価するためのベンチマークであるNPHardEval4Vを導入する。異なるモデルにまたがる推論能力に有意な差が認められた。また,視覚,テキスト,視覚とテキストの組み合わせがMLLMの推論能力に与える影響についても検討した。
論文参考訳（メタデータ） (2024-03-04T07:10:31Z)
Evaluating and Improving Continual Learning in Spoken Language Understanding [58.723320551761525]
本研究では,連続学習における安定性,可塑性,一般化性に関する統一的な評価手法を提案する。提案手法を用いることで,SLUモデルのこれらの3つの特性の異なる側面を,様々な知識蒸留の導入によってどのように改善するかを実証する。
論文参考訳（メタデータ） (2024-02-16T03:30:27Z)
EpiK-Eval: Evaluation for Language Models as Epistemic Models [16.485951373967502]
セグメンテッドな物語から一貫した知識表現を定式化する上で,LLMの習熟度を評価するための新しい質問答えベンチマークであるEpiK-Evalを紹介する。これらの欠点は、一般的な訓練目的の本質的な性質に起因していると論じる。本研究の成果は,より堅牢で信頼性の高いLCMを開発する上での洞察を与えるものである。
論文参考訳（メタデータ） (2023-10-23T21:15:54Z)
MMBench: Is Your Multi-modal Model an All-around Player? [114.45702807380415]
視覚言語モデルのマルチモーダル能力を評価するためのベンチマークであるMMBenchを提案する。 MMBenchは、よく設計された品質制御スキームで慎重にキュレートされている。 MMBenchは英語版と中国語版の両方で複数の質問を取り入れている。
論文参考訳（メタデータ） (2023-07-12T16:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。