論文の概要: MagicVL-2B: Empowering Vision-Language Models on Mobile Devices with Lightweight Visual Encoders via Curriculum Learning

• arxiv url: http://arxiv.org/abs/2508.01540v1
• Date: Sun, 03 Aug 2025 01:49:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.928847
• Title: MagicVL-2B: Empowering Vision-Language Models on Mobile Devices with Lightweight Visual Encoders via Curriculum Learning
• Title（参考訳）: MagicVL-2B: カリキュラム学習による軽量ビジュアルエンコーダを用いたモバイルデバイス上のビジョンランゲージモデル
• Authors: Yi Liu, Xiao Xu, Zeyu Xu, Meng Zhang, Yibo Li, Haoyu Chen, Junkang Zhang, Qiang Wang, Jifa Sun, Siling Lin, Shengxun Cheng, Lingshu Zhang, Kang Wang,
• Abstract要約: VLM(Vision-Language Models)は近年,目覚ましいブレークスルーを達成している。 本稿では,フラグシップスマートフォン向けに高度に最適化された新しいVLMであるMagicVL-2Bを紹介する。 我々は,MagicVL-2Bが現在の最先端モデルの精度と一致し,デバイス上での消費電力を41.1%削減することを示した。
• 参考スコア（独自算出の注目度）: 21.12739286363107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) have achieved remarkable breakthroughs in recent years, enabling a diverse array of applications in everyday life. However, the substantial computational and storage demands of VLMs pose significant challenges for their efficient deployment on mobile devices, which represent the most ubiquitous and accessible computing platforms today. In this work, we introduce MagicVL-2B, a novel VLM meticulously optimized for flagship smartphones. MagicVL-2B leverages a lightweight visual encoder with fewer than 100M parameters and features a redesigned dynamic resolution scheme that adaptively generates image tokens without excessive modification of image dimensions. To further enhance the performance of this compact encoder within VLMs, we propose a multimodal curriculum learning strategy that incrementally increases task difficulty and data information density throughout training. This approach substantially improves the model's performance across a variety of sub-tasks. Extensive evaluations on standard VLM benchmarks demonstrate that MagicVL-2B matches the accuracy of current state-of-the-art models while reducing on-device power consumption by 41.1%. These results establish MagicVL-2B as a practical and robust solution for real-world mobile vision-language applications, enabling advanced multimodal intelligence to run directly on smartphones.
• Abstract（参考訳）: VLM(Vision-Language Models)は近年,目覚ましいブレークスルーを達成している。 しかしながら、VLMの相当量の計算およびストレージ要求は、モバイルデバイスへの効率的なデプロイに重大な課題をもたらしており、今日では最もユビキタスでアクセスしやすいコンピューティングプラットフォームとなっている。 本稿では,フラッグシップスマートフォン向けに高度に最適化された新しいVLMであるMagicVL-2Bを紹介する。 MagicVL-2Bは、100M未満のパラメータを持つ軽量なビジュアルエンコーダを活用し、画像次元の過剰な変更なしに画像トークンを適応的に生成する動的解像度スキームを再設計する。 VLMにおけるこのコンパクトエンコーダの性能をさらに向上させるために,タスクの難易度とデータ情報密度を漸進的に向上させるマルチモーダルカリキュラム学習戦略を提案する。 このアプローチは、様々なサブタスクにわたるモデルの性能を大幅に改善する。 標準的なVLMベンチマークによる大規模な評価では、MagicVL-2Bは現在の最先端モデルの精度と一致し、デバイス上での消費電力を41.1%削減している。 これらの結果により、MagicVL-2Bは現実のモバイルビジョン言語アプリケーションのための実用的で堅牢なソリューションとして確立され、高度なマルチモーダルインテリジェンスをスマートフォン上で直接動作させることができる。

関連論文リスト

• Flash-VL 2B: Optimizing Vision-Language Model Performance for Ultra-Low Latency and High Throughput [12.996955972977986]
  Flash-VL 2Bは、リアルタイムアプリケーションのためにビジョンランゲージモデルを最適化するための新しいアプローチである。 本稿では,Flash-VL 2B が高速かつ高精度に実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-05-14T15:45:17Z)
• DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs [124.52164183968145]
  視覚言語モデル(VLM)の計算負担を軽減する,効率的なトレーニング不要なフレームワークであるDyMUを提案する。 まず、動的トークンマージ(DToMe)は、画像の複雑さに基づいて類似のトークンをマージすることで、視覚トークンの埋め込み数を削減します。 第二に、仮想トークンアンマージ(VTU)は、大きな言語モデル(LLM)の期待トークンシーケンスを、フルシーケンスの注意ダイナミクスを効率的に再構築することでシミュレートする。
  論文  参考訳（メタデータ） (2025-04-23T18:38:18Z)
• EVEv2: Improved Baselines for Encoder-Free Vision-Language Models [72.07868838411474]
  既存のエンコーダフリービジョン言語モデル(VLM)は、エンコーダベースモデルと性能ギャップを狭めている。 我々は,主流のエンコーダをベースとしたVLMと競合するエンコーダフリーVLMの効率的な戦略を開発する。 統一モデルにおいて、視覚と言語を適切に階層的に関連付けることで、モダリティ間の干渉を減少させることを示す。
  論文  参考訳（メタデータ） (2025-02-10T18:59:58Z)
• VLsI: Verbalized Layers-to-Interactions from Large to Small Vision Language Models [63.27511432647797]
  VLsI: Verbalized Layers-to-Interactions, a new VLM family in 2B and 7B model size。 GPT-4Vよりも優れた性能向上(2Bは11.0%、7Bは17.4%)を達成した。
  論文  参考訳（メタデータ） (2024-12-02T18:58:25Z)
• ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
  ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。 我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
  論文  参考訳（メタデータ） (2024-10-23T11:31:06Z)
• Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
  Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。 我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-21T17:58:20Z)
• Rethinking VLMs and LLMs for Image Classification [6.550471260627169]
  大きな言語モデル(LLM)は、新しい機能を実現するために、Visual Language Models(VLM)と統合されつつある。 オブジェクト認識やシーン認識では,LLMを使わないVLMの方が,VLMよりも優れた性能が得られることを示す。 本稿では,視覚的タスクをタスクに適したモデルに効率的にルーティングする,比較的小さなLCMを含む軽量な修正法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T23:40:21Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• MobileVLM : A Fast, Strong and Open Vision Language Assistant for Mobile Devices [73.46317110474064]
  MobileVLM (MobileVLM) は、モバイルデバイス上で動作する多モード視覚言語モデル(MMVLM)である。 これは、CLIP方式で事前訓練されたマルチモーダル視覚モデルである、スクラッチからトレーニングされた1.4Bと2.7Bのスケールの言語モデルで構成されている。
  論文  参考訳（メタデータ） (2023-12-28T08:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。