論文の概要: BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training

• arxiv url: http://arxiv.org/abs/2605.25451v1
• Date: Mon, 25 May 2026 06:01:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.337347
• Title: BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training
• Title（参考訳）: BigMac:マルチモーダルLDMトレーニングにおける計算と記憶のParetoフロンティアを破る
• Authors: Zili Zhang, Chengxu Yang, Shenglong Zhang, Chenyu Wang, Yufan Zhang, Tuo Dai, Zhouyang Li, Yuhong Ge, Chao Jin, Xin Jin, Yuliang Liu,
• Abstract要約: BigMacはマルチモーダルな大規模言語モデル(MLLM)のための新しいトレーニングパイプラインである エンコーダとジェネレータを元のLLMパイプラインにネストし、依存性を安全なネストしたパイプライン構造を形成する。 メモリ無制限の理想設定と同じ計算効率を実現する。
• 参考スコア（独自算出の注目度）: 26.934356103647904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training multimodal large language models (MLLMs) is challenged by both model and data heterogeneity. Existing systems redesign the training pipeline to address these challenges, but remain bound by a Pareto frontier between compute and memory efficiency, improving one only at the expense of the other. We present BigMac, a new training pipeline for multimodal LLMs. The core idea of BigMac is to elegantly nest the encoder and generator computation into the original LLM pipeline, forming a dependency-safe nested pipeline structure. With this design, BigMac reduces the activation memory complexity of the encoder and generator to O(1) while keeping the activation memory complexity of the LLM unchanged. At the same time, it achieves the same computational efficiency as the idealized setting with unlimited memory. As a result, BigMac breaks the Pareto frontier between computational efficiency and memory usage, enabling simultaneous optimization of both computation and memory in MLLM training. We evaluate BigMac on multiple MLLMs and training workloads. Experimental results show that BigMac achieves a 1.08$\times$-1.9$\times$ training speedup over baseline systems while maintaining stable memory usage as batch size increases.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)の訓練には,モデルとデータの不均一性の両方が課題である。 既存のシステムはこれらの課題に対処するためにトレーニングパイプラインを再設計するが、計算とメモリ効率の間にあるParetoフロンティアによって拘束され、他方のコストで改善されている。 マルチモーダルLLMのための新しいトレーニングパイプラインであるBigMacを紹介する。 BigMacの中核となる考え方は、エンコーダとジェネレータの計算をオリジナルのLLMパイプラインにエレガントにネストし、依存性を安全なネストしたパイプライン構造を形成することである。 この設計により、BigMacはエンコーダとジェネレータのアクティベーションメモリの複雑さをO(1)に減らし、LCMのアクティベーションメモリの複雑さを一定に保つ。 同時に、メモリ無制限の理想設定と同じ計算効率を実現する。 その結果、BigMacは計算効率とメモリ使用量の間のParetoフロンティアを破り、MLLMトレーニングにおける計算とメモリの同時最適化を可能にした。 複数のMLLMおよびトレーニングワークロード上でBigMacを評価する。 実験の結果、BigMacはベースラインシステム上でのトレーニングスピードアップを1.08$\times$-1.9$\timesで達成し、バッチサイズの増加とともに安定したメモリ使用率を維持した。

関連論文リスト

• Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
  長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。 この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。 本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
  論文  参考訳（メタデータ） (2026-02-02T13:52:40Z)
• MEMO: Fine-grained Tensor Management For Ultra-long Context LLM Training [24.066283519769968]
  大規模言語モデル(LLM)は、よりクリエイティブなアプリケーションを促進するために、拡張コンテキスト長を使用して訓練されている。 本稿では,メモリ管理を微粒化するための新しいフレームワークであるMEMOを提案する。 MeMOはMegatron-LMやDeepSpeedと比べて平均1.97倍と1.80倍のMFUを達成している。
  論文  参考訳（メタデータ） (2024-07-16T18:59:49Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• L2MAC: Large Language Model Automatic Computer for Extensive Code Generation [52.81694565226513]
  トランスフォーマーベースの大規模言語モデル(LLM)は、基盤となるトランスフォーマーアーキテクチャの固定コンテキストウィンドウによって制約される。 本稿では,L2MACを提案する。L2MACは,LLMをベースとした汎用型自動計算機(von Neumann Architecture)フレームワークで,長期的かつ一貫した出力生成を実現する。
  論文  参考訳（メタデータ） (2023-10-02T16:55:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。