論文の概要: MindVL: Towards Efficient and Effective Training of Multimodal Large Language Models on Ascend NPUs

• arxiv url: http://arxiv.org/abs/2509.11662v1
• Date: Mon, 15 Sep 2025 08:00:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:23.188398
• Title: MindVL: Towards Efficient and Effective Training of Multimodal Large Language Models on Ascend NPUs
• Title（参考訳）: MindVL: 補助NPUを用いた多モーダル大規模言語モデルの効率的かつ効果的な訓練を目指して
• Authors: Feilong Chen, Yijiang Liu, Yi Huang, Hao Wang, Miren Tian, Ya-Qi Yu, Minghui Liao, Jihao Wu,
• Abstract要約: Ascend NPUをトレーニングした大規模言語モデルであるMindVLを提案する。 MindVLはネイティブ解像度のビジョントランスフォーマーを採用しており、元の可変解像度で画像を処理できる。 Ascend NPUにおけるMindVLのスムーズなトレーニングを実現するため,分散マルチモーダルトレーニングフレームワークであるMindspeed-MLLMを開発した。
• 参考スコア（独自算出の注目度）: 20.842336447426682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose MindVL, a multimodal large langauge model trained on Ascend NPUs. Similar to Qwen2.5-VL, MindVL adopts native-resolution Vision Transformers, which enables it to process images at their original variable resolutions. This design avoids the degradation caused by fixed-resolution tiling while preserving fine-grained details and global layouts, which is crucial for visually dense content such as complex charts and diagrams. To ensure the smooth training of MindVL on Ascend NPUs, we develop Mindspeed-MLLM, a distributed multimodal training framework tailored for Ascend NPUs. To maintain training accuracy, we implement equivalent replacements for certain operators. MindVL undergoes a three-phase training process, namely the warm-up phase, multitask training phase, and supervised instruction tuning phase, to gradually enhance its capabilities. This process starts with basic visual and multimodal pre-training, followed by large-scale multiask trainging and instruction tuning. We also adopt multimodal data packaging and hybrid parallelism techniques, which significantly improve end-to-end training speed. To further boost model performance, we specifically introduce test-time resolution search and model weight averaging. Notably, despite using about 1/10 of the training data required by Qwen2.5-VL, MindVL achieves performance on par with Qwen2.5-VL in evaluations of general multimodal understanding and document/table comprehension. Beyond overall scores, MindVL also delivers leading performance in OCR assessments.
• Abstract（参考訳）: Ascend NPUをベースとしたマルチモーダル大規模言語モデルであるMindVLを提案する。 Qwen2.5-VLと同様、MindVLはネイティブ解像度のビジョントランスフォーマーを採用しており、元の可変解像度で画像を処理できる。 この設計は、複雑なチャートや図のような視覚的に密なコンテンツに不可欠な細部や大域的なレイアウトを保存しながら、固定解像度のタイリングによる劣化を避ける。 Ascend NPU上でのMindVLのスムーズなトレーニングを実現するため,Ascend NPUに適した分散マルチモーダルトレーニングフレームワークであるMindspeed-MLLMを開発した。 トレーニング精度を維持するため,特定の演算子に等価な置換を実装した。 MindVLは、ウォームアップフェーズ、マルチタスクトレーニングフェーズ、教師付きインストラクションチューニングフェーズという3段階のトレーニングプロセスを実行し、徐々にその能力を高める。 このプロセスは、基本的な視覚的およびマルチモーダルな事前訓練から始まり、大規模マルチタスクトレーニングと命令チューニングが続く。 また、マルチモーダルデータパッケージングとハイブリッド並列化技術を採用し、エンドツーエンドのトレーニング速度を大幅に向上させる。 モデル性能をさらに向上させるために、テスト時間分解能探索とモデルウェイト平均化を導入する。 特に、Qwen2.5-VLが要求するトレーニングデータの1/10については、一般的なマルチモーダル理解と文書/表理解の評価において、MindVLはQwen2.5-VLと同等のパフォーマンスを達成する。 全体的なスコア以外にも、MindVLはOCRアセスメントでも主要なパフォーマンスを提供している。

関連論文リスト

• Kwai Keye-VL Technical Report [80.53170317017147]
  ショートビデオ理解のためのマルチモーダル基盤モデルである textbfKwai Keye-VL を紹介する。 Keye-VLの開発は,ビデオに重点を置いた大規模で高品質なデータセットと,革新的なトレーニングレシピという,2つのコア柱に留まっている。 提案手法の有効性を検証するため,我々は,Kee-VLが公開ビデオベンチマークにおける最先端の成果を達成し,一般的な画像ベースタスクにおいて高い競争力を保っていることを示す,広範囲な評価を行う。
  論文  参考訳（メタデータ） (2025-07-02T17:57:28Z)
• InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models [139.19991097260115]
  InternVL3は、ネイティブなマルチモーダル事前学習パラダイムを備えたInternVLシリーズの重要な進歩である。 特に、InternVL3-78B は MMMU ベンチマークで72.2 のスコアを獲得し、オープンソースの MLLM に新しい最先端技術を設定する。 オープンサイエンスの原則を追求するため、我々は、次世代MLLMのさらなる研究・開発を促進するために、トレーニングデータとモデルウェイトの両方を公開します。
  論文  参考訳（メタデータ） (2025-04-14T17:59:25Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• An Empirical Study of Training End-to-End Vision-and-Language Transformers [50.23532518166621]
  我々はMETER(textbfMultimodal textbfEnd-to-end textbfTransformtextbfER)を提案する。 具体的には、視覚エンコーダ(例えば、CLIP-ViT、Swin変換器)、テキストエンコーダ(例えば、RoBERTa、DeBERTa)、マルチモーダルフュージョン(例えば、マージアテンション対共振器)である。
  論文  参考訳（メタデータ） (2021-11-03T17:55:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。