Fugu-MT 論文翻訳(概要): MindVL: Towards Efficient and Effective Training of Multimodal Large Language Models on Ascend NPUs

論文の概要: MindVL: Towards Efficient and Effective Training of Multimodal Large Language Models on Ascend NPUs

arxiv url: http://arxiv.org/abs/2509.11662v1
Date: Mon, 15 Sep 2025 08:00:31 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-16 17:26:23.188398
Title: MindVL: Towards Efficient and Effective Training of Multimodal Large Language Models on Ascend NPUs
Title（参考訳）: MindVL: 補助NPUを用いた多モーダル大規模言語モデルの効率的かつ効果的な訓練を目指して
Authors: Feilong Chen, Yijiang Liu, Yi Huang, Hao Wang, Miren Tian, Ya-Qi Yu, Minghui Liao, Jihao Wu,
Abstract要約: Ascend NPUをトレーニングした大規模言語モデルであるMindVLを提案する。 MindVLはネイティブ解像度のビジョントランスフォーマーを採用しており、元の可変解像度で画像を処理できる。 Ascend NPUにおけるMindVLのスムーズなトレーニングを実現するため,分散マルチモーダルトレーニングフレームワークであるMindspeed-MLLMを開発した。
参考スコア（独自算出の注目度）: 20.842336447426682
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose MindVL, a multimodal large langauge model trained on Ascend NPUs. Similar to Qwen2.5-VL, MindVL adopts native-resolution Vision Transformers, which enables it to process images at their original variable resolutions. This design avoids the degradation caused by fixed-resolution tiling while preserving fine-grained details and global layouts, which is crucial for visually dense content such as complex charts and diagrams. To ensure the smooth training of MindVL on Ascend NPUs, we develop Mindspeed-MLLM, a distributed multimodal training framework tailored for Ascend NPUs. To maintain training accuracy, we implement equivalent replacements for certain operators. MindVL undergoes a three-phase training process, namely the warm-up phase, multitask training phase, and supervised instruction tuning phase, to gradually enhance its capabilities. This process starts with basic visual and multimodal pre-training, followed by large-scale multiask trainging and instruction tuning. We also adopt multimodal data packaging and hybrid parallelism techniques, which significantly improve end-to-end training speed. To further boost model performance, we specifically introduce test-time resolution search and model weight averaging. Notably, despite using about 1/10 of the training data required by Qwen2.5-VL, MindVL achieves performance on par with Qwen2.5-VL in evaluations of general multimodal understanding and document/table comprehension. Beyond overall scores, MindVL also delivers leading performance in OCR assessments.
Abstract（参考訳）: Ascend NPUをベースとしたマルチモーダル大規模言語モデルであるMindVLを提案する。 Qwen2.5-VLと同様、MindVLはネイティブ解像度のビジョントランスフォーマーを採用しており、元の可変解像度で画像を処理できる。この設計は、複雑なチャートや図のような視覚的に密なコンテンツに不可欠な細部や大域的なレイアウトを保存しながら、固定解像度のタイリングによる劣化を避ける。 Ascend NPU上でのMindVLのスムーズなトレーニングを実現するため,Ascend NPUに適した分散マルチモーダルトレーニングフレームワークであるMindspeed-MLLMを開発した。トレーニング精度を維持するため,特定の演算子に等価な置換を実装した。 MindVLは、ウォームアップフェーズ、マルチタスクトレーニングフェーズ、教師付きインストラクションチューニングフェーズという3段階のトレーニングプロセスを実行し、徐々にその能力を高める。このプロセスは、基本的な視覚的およびマルチモーダルな事前訓練から始まり、大規模マルチタスクトレーニングと命令チューニングが続く。また、マルチモーダルデータパッケージングとハイブリッド並列化技術を採用し、エンドツーエンドのトレーニング速度を大幅に向上させる。モデル性能をさらに向上させるために、テスト時間分解能探索とモデルウェイト平均化を導入する。特に、Qwen2.5-VLが要求するトレーニングデータの1/10については、一般的なマルチモーダル理解と文書/表理解の評価において、MindVLはQwen2.5-VLと同等のパフォーマンスを達成する。全体的なスコア以外にも、MindVLはOCRアセスメントでも主要なパフォーマンスを提供している。

関連論文リスト

MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe [68.04078852416248]
MiniCPM-V 4.5は8Bパラメータモデルであり、高効率で高性能に設計されている。本稿では,モデルアーキテクチャ,データストラテジー,トレーニング手法の3つの改良点を紹介する。 MiniCPM-V 4.5は30B以下のモデル間で最先端の性能を達成する。
論文参考訳（メタデータ） (2025-09-16T19:41:48Z)
Kwai Keye-VL Technical Report [80.53170317017147]
ショートビデオ理解のためのマルチモーダル基盤モデルである textbfKwai Keye-VL を紹介する。 Keye-VLの開発は,ビデオに重点を置いた大規模で高品質なデータセットと,革新的なトレーニングレシピという,2つのコア柱に留まっている。提案手法の有効性を検証するため,我々は,Kee-VLが公開ビデオベンチマークにおける最先端の成果を達成し,一般的な画像ベースタスクにおいて高い競争力を保っていることを示す,広範囲な評価を行う。
論文参考訳（メタデータ） (2025-07-02T17:57:28Z)
Pangu Ultra MoE: How to Train Your Big MoE on Ascend NPUs [111.69640966866059]
ミキチャー・オブ・エキスパート(MoE)と1兆近いパラメータを持つ疎大言語モデル(LLM)が、最も有能な言語モデルの領域を支配している。本稿では,Ascend NPU上でそのようなスケールを利用するレシピを明らかにすることを目的としている。主な目的は、動的スパースモデル構造下でのコンピューティングリソースのより良い使用と、実際のハードウェアで期待されるパフォーマンス向上の実現である。
論文参考訳（メタデータ） (2025-05-07T15:46:36Z)
InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models [139.19991097260115]
InternVL3は、ネイティブなマルチモーダル事前学習パラダイムを備えたInternVLシリーズの重要な進歩である。特に、InternVL3-78B は MMMU ベンチマークで72.2 のスコアを獲得し、オープンソースの MLLM に新しい最先端技術を設定する。オープンサイエンスの原則を追求するため、我々は、次世代MLLMのさらなる研究・開発を促進するために、トレーニングデータとモデルウェイトの両方を公開します。
論文参考訳（メタデータ） (2025-04-14T17:59:25Z)
Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling [191.7830199016589]
InternVL 2.5は、InternVL 2.0上に構築された高度マルチモーダル大規模言語モデル(MLLM)シリーズである。 InternVL 2.5は、GPT-4oやClaude-3.5-Sonnetといった主要な商用モデルと競合する競争力を持つ。このモデルが、マルチモーダルAIシステムの開発と適用のための新しい標準を設定することで、オープンソースコミュニティに貢献できることを願っています。
論文参考訳（メタデータ） (2024-12-06T18:57:08Z)
NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
論文参考訳（メタデータ） (2024-09-17T17:59:06Z)
NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models [38.41524186248607]
我々はNV-Embedを導入し、アーキテクチャ設計、トレーニング手順、キュレートされたデータセットを取り入れた。モデルアーキテクチャでは, プール埋め込みを実現するために, 潜時注意層を提案する。学習アルゴリズムでは,2段階のコントラッシブ・インストラクション・チューニング手法を導入する。
論文参考訳（メタデータ） (2024-05-27T17:59:45Z)
Efficient Multimodal Learning from Data-centric Perspective [21.35857180519653]
効率的なマルチモーダル学習のためのフレキシブルビジョンと言語バックボーンを備えた軽量MLLMのファミリであるBunnyを紹介する。実験の結果,Bunny-4B/8Bは複数のベンチマークで最先端の大規模MLLMよりも優れていた。
論文参考訳（メタデータ） (2024-02-18T10:09:10Z)
MoE-LLaVA: Mixture of Experts for Large Vision-Language Models [49.32669226551026]
本稿では,LVLMのための簡易かつ効果的なトレーニング戦略であるMoE-Tuningを提案する。 MoE-LLaVAはMoEベースのスパースLVLMアーキテクチャであり、ルータを通じてトップkの専門家のみをユニークに活性化する。様々な視覚的理解と物体幻覚のベンチマークにおいて,MoE-LLaVAの顕著な性能を示す実験を行った。
論文参考訳（メタデータ） (2024-01-29T08:13:40Z)
An Empirical Study of Training End-to-End Vision-and-Language Transformers [50.23532518166621]
我々はMETER(textbfMultimodal textbfEnd-to-end textbfTransformtextbfER)を提案する。具体的には、視覚エンコーダ(例えば、CLIP-ViT、Swin変換器)、テキストエンコーダ(例えば、RoBERTa、DeBERTa)、マルチモーダルフュージョン(例えば、マージアテンション対共振器)である。
論文参考訳（メタデータ） (2021-11-03T17:55:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。