論文の概要: A Survey on Multimodal Benchmarks: In the Era of Large AI Models

• arxiv url: http://arxiv.org/abs/2409.18142v1
• Date: Sat, 21 Sep 2024 15:22:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 15:51:02.740950
• Title: A Survey on Multimodal Benchmarks: In the Era of Large AI Models
• Title（参考訳）: マルチモーダルベンチマークに関する調査:大規模AIモデルの時代
• Authors: Lin Li, Guikun Chen, Hanrong Shi, Jun Xiao, Long Chen,
• Abstract要約: MLLM(Multimodal Large Language Models)は、人工知能に大きな進歩をもたらした。 この調査は、4つのコアドメイン(理解、推論、生成、アプリケーション)にわたるMLLMを評価する211のベンチマークを体系的にレビューする。
• 参考スコア（独自算出の注目度）: 13.299775710527962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid evolution of Multimodal Large Language Models (MLLMs) has brought substantial advancements in artificial intelligence, significantly enhancing the capability to understand and generate multimodal content. While prior studies have largely concentrated on model architectures and training methodologies, a thorough analysis of the benchmarks used for evaluating these models remains underexplored. This survey addresses this gap by systematically reviewing 211 benchmarks that assess MLLMs across four core domains: understanding, reasoning, generation, and application. We provide a detailed analysis of task designs, evaluation metrics, and dataset constructions, across diverse modalities. We hope that this survey will contribute to the ongoing advancement of MLLM research by offering a comprehensive overview of benchmarking practices and identifying promising directions for future work. An associated GitHub repository collecting the latest papers is available.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の急速な進化は、人工知能の大幅な進歩をもたらし、マルチモーダルコンテンツを理解して生成する能力を大幅に向上させた。 先行研究はモデルアーキテクチャとトレーニング方法論に大きく焦点を合わせてきたが、これらのモデルを評価するために使われるベンチマークの徹底的な分析は未定のままである。 この調査は、4つのコアドメイン(理解、推論、生成、アプリケーション)にわたるMLLMを評価する211のベンチマークを体系的にレビューすることで、このギャップに対処する。 タスク設計、評価指標、データセット構築に関する詳細な分析を、多種多様なモダリティにわたって提供する。 本調査は,ベンチマークプラクティスの包括的概要と今後の作業に向けた有望な方向性を明らかにすることで,MLLM研究の進展に寄与することを期待している。 最新の論文を収集するGitHubリポジトリが公開されている。

関連論文リスト

• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• Surveying the MLLM Landscape: A Meta-Review of Current Surveys [17.372501468675303]
  MLLM(Multimodal Large Language Models)は、人工知能分野における変革の原動力となっている。 本研究の目的は,MLLMのベンチマークテストと評価方法の体系的レビューを提供することである。
  論文  参考訳（メタデータ） (2024-09-17T14:35:38Z)
• A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
  MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。 本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
  論文  参考訳（メタデータ） (2024-08-02T15:14:53Z)
• Needle In A Multimodal Haystack [79.81804334634408]
  本稿では,従来のMLLMの長大なマルチモーダル文書の理解能力を評価するために設計された,最初のベンチマークを示す。 我々のベンチマークには、マルチモーダル検索、カウント、推論の3種類の評価タスクが含まれている。 既存のモデルには、これらのタスク、特に視覚中心の評価において、改善の余地がまだ残っていることを観察する。
  論文  参考訳（メタデータ） (2024-06-11T13:09:16Z)
• A Survey of Multimodal Large Language Model from A Data-centric Perspective [46.57232264950785]
  マルチモーダル大言語モデル(MLLM)は、複数のモーダルからのデータの統合と処理によって、標準的な大言語モデルの能力を高める。 データはこれらのモデルの開発と改良において重要な役割を担います。
  論文  参考訳（メタデータ） (2024-05-26T17:31:21Z)
• Large Multimodal Agents: A Survey [78.81459893884737]
  大規模言語モデル(LLM)は、テキストベースのAIエージェントのパワーで優れたパフォーマンスを実現している。 LLMを利用したAIエージェントをマルチモーダルドメインに拡張することに焦点を当てた、新たな研究トレンドがある。 本総説は, この急速に発展する分野において, 今後の研究に有用な洞察とガイドラインを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-02-23T06:04:23Z)
• Exploring the Reasoning Abilities of Multimodal Large Language Models (MLLMs): A Comprehensive Survey on Emerging Trends in Multimodal Reasoning [44.12214030785711]
  マルチモーダル大言語モデル(MLLM)のフロンティアを分類・記述し、既存のマルチモーダル推論の評価プロトコルについて概観する。 本稿では,MLLMの推論集約型タスクへの適用動向を紹介するとともに,現在の実践と今後の方向性について論じる。
  論文  参考訳（メタデータ） (2024-01-10T15:29:21Z)
• MM-BigBench: Evaluating Multimodal Models on Multimodal Content Comprehension Tasks [56.60050181186531]
  MM-BigBenchを導入し、様々なモデルや命令のパフォーマンスを広範囲に評価する。 本稿では,6タスクにまたがる14のマルチモーダルデータセット上で,20の言語モデル (14 MLLM) を評価し,各タスクに10の指示を与え,新しい洞察を導き出す。
  論文  参考訳（メタデータ） (2023-10-13T11:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。