論文の概要: Benchmarking Large and Small MLLMs

• arxiv url: http://arxiv.org/abs/2501.04150v1
• Date: Sat, 04 Jan 2025 07:44:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:56:05.471724
• Title: Benchmarking Large and Small MLLMs
• Title（参考訳）: 大小MLLMのベンチマーク
• Authors: Xuelu Feng, Yunsheng Li, Dongdong Chen, Mei Gao, Mengchen Liu, Junsong Yuan, Chunming Qiao,
• Abstract要約: 大規模なマルチモーダル言語モデル(MLLM)は、マルチモーダルコンテンツの理解と生成において顕著な進歩を遂げている。 しかし、そのデプロイメントは、遅い推論、高い計算コスト、デバイス上のアプリケーションに対する非現実性など、重大な課題に直面している。 LLavaシリーズモデルとPhi-3-Visionによって実証された小さなMLLMは、より高速な推論、デプロイメントコストの削減、ドメイン固有のシナリオを扱う能力を備えた有望な代替手段を提供する。
• 参考スコア（独自算出の注目度）: 71.78055760441256
• License:
• Abstract: Large multimodal language models (MLLMs) such as GPT-4V and GPT-4o have achieved remarkable advancements in understanding and generating multimodal content, showcasing superior quality and capabilities across diverse tasks. However, their deployment faces significant challenges, including slow inference, high computational cost, and impracticality for on-device applications. In contrast, the emergence of small MLLMs, exemplified by the LLava-series models and Phi-3-Vision, offers promising alternatives with faster inference, reduced deployment costs, and the ability to handle domain-specific scenarios. Despite their growing presence, the capability boundaries between large and small MLLMs remain underexplored. In this work, we conduct a systematic and comprehensive evaluation to benchmark both small and large MLLMs, spanning general capabilities such as object recognition, temporal reasoning, and multimodal comprehension, as well as real-world applications in domains like industry and automotive. Our evaluation reveals that small MLLMs can achieve comparable performance to large models in specific scenarios but lag significantly in complex tasks requiring deeper reasoning or nuanced understanding. Furthermore, we identify common failure cases in both small and large MLLMs, highlighting domains where even state-of-the-art models struggle. We hope our findings will guide the research community in pushing the quality boundaries of MLLMs, advancing their usability and effectiveness across diverse applications.
• Abstract（参考訳）: GPT-4VやGPT-4oのような大規模マルチモーダル言語モデル(MLLM)は、多モーダルコンテンツの理解と生成において顕著な進歩を遂げ、様々なタスクにおいて優れた品質と能力を示している。 しかし、そのデプロイメントは、遅い推論、高い計算コスト、デバイス上のアプリケーションに対する非現実性など、重大な課題に直面している。 対照的に、LLavaシリーズモデルとPhi-3-Visionによって実証された小さなMLLMの出現は、より高速な推論、デプロイメントコストの削減、ドメイン固有のシナリオを扱う能力を備えた有望な代替手段を提供する。 その存在感は増しているが、大小MLLM間の能力境界は未探索のままである。 本研究では,物体認識,時間的推論,マルチモーダル理解といった汎用能力と,産業や自動車などの領域における実世界の応用にまたがる,小規模・大規模MLLMのベンチマークを行うための体系的・包括的評価を行う。 評価の結果,小さいMLLMは特定のシナリオでは大規模モデルに匹敵する性能を達成できるが,複雑なタスクではより深い推論やニュアンス理解を必要とすることが判明した。 さらに,中小MLLMと大規模MLLMの両方で一般的な障害事例を特定し,最先端モデルでさえ苦労する領域を強調した。 我々は,MLLMの品質境界を推し進める研究コミュニティを指導し,多様なアプリケーションにおけるユーザビリティと有効性を向上させることを願っている。

関連論文リスト

• DriVLM: Domain Adaptation of Vision-Language Models in Autonomous Driving [20.644133177870852]
  マルチモーダル大言語モデル(MLLM)は、画像、ビデオ、音声、テキストなど、複数のモダリティを組み合わせることができる。 ほとんどのMLLMは高い計算資源を必要としており、ほとんどの研究者や開発者にとって大きな課題である。 本稿では,小型MLLMの実用性について検討し,小型MLLMを自律運転分野に適用した。
  論文  参考訳（メタデータ） (2025-01-09T09:02:41Z)
• A Comprehensive Survey of Small Language Models in the Era of Large Language Models: Techniques, Enhancements, Applications, Collaboration with LLMs, and Trustworthiness [31.758459020683574]
  小言語モデル(SLM)は、低推論のレイテンシ、コスト効率性、効率的な開発、カスタマイズと適応性に対して、ますます好まれています。 これらのモデルは、リソース制限された環境とドメイン知識の獲得に特に適しています。 資源制約のある設定に特化タスクと適合性を持たせる能力によってSLMを定義することを提案する。
  論文  参考訳（メタデータ） (2024-11-04T04:43:01Z)
• Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
  Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。 我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-21T17:58:20Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [70.19607283302712]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 具体的には,l-MLLMとs-MLLMの視覚的テキスト出力分布のばらつきを最小限に抑えるために,MDist(Multimodal Distillation)を導入する。 また,S-MLLMの可能性を完全に活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
  MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。 本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
  論文  参考訳（メタデータ） (2024-08-02T15:14:53Z)
• Efficient Multimodal Large Language Models: A Survey [60.7614299984182]
  MLLM(Multimodal Large Language Models)は、視覚的質問応答、視覚的理解、推論などのタスクにおいて顕著な性能を示す。 モデルサイズと高いトレーニングと推論コストが、MLLMのアカデミックや産業への応用を妨げている。 本調査は,効率的なMLLMの現状を包括的かつ体系的に概観するものである。
  論文  参考訳（メタデータ） (2024-05-17T12:37:10Z)
• VisualWebBench: How Far Have Multimodal LLMs Evolved in Web Page Understanding and Grounding? [115.60866817774641]
  MLLM(Multimodal Large Language Model)は、Web関連のタスクにおいて有望であることを示す。 Webドメインにおけるパフォーマンス評価は、包括的なベンチマークが欠如しているため、依然として課題である。 benchは、さまざまなWebタスクにわたるMLLMの機能を評価するために設計されたマルチモーダルベンチマークである。
  論文  参考訳（メタデータ） (2024-04-09T02:29:39Z)
• Exploring the Reasoning Abilities of Multimodal Large Language Models (MLLMs): A Comprehensive Survey on Emerging Trends in Multimodal Reasoning [44.12214030785711]
  マルチモーダル大言語モデル(MLLM)のフロンティアを分類・記述し、既存のマルチモーダル推論の評価プロトコルについて概観する。 本稿では,MLLMの推論集約型タスクへの適用動向を紹介するとともに,現在の実践と今後の方向性について論じる。
  論文  参考訳（メタデータ） (2024-01-10T15:29:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。