Fugu-MT 論文翻訳(概要): BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training

論文の概要: BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training

arxiv url: http://arxiv.org/abs/2605.25451v1
Date: Mon, 25 May 2026 06:01:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-26 19:50:19.337347
Title: BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training
Title（参考訳）: BigMac:マルチモーダルLDMトレーニングにおける計算と記憶のParetoフロンティアを破る
Abstract要約: BigMacはマルチモーダルな大規模言語モデル(MLLM)のための新しいトレーニングパイプラインであるエンコーダとジェネレータを元のLLMパイプラインにネストし、依存性を安全なネストしたパイプライン構造を形成する。メモリ無制限の理想設定と同じ計算効率を実現する。
参考スコア（独自算出の注目度）: 26.934356103647904
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Training multimodal large language models (MLLMs) is challenged by both model and data heterogeneity. Existing systems redesign the training pipeline to address these challenges, but remain bound by a Pareto frontier between compute and memory efficiency, improving one only at the expense of the other. We present BigMac, a new training pipeline for multimodal LLMs. The core idea of BigMac is to elegantly nest the encoder and generator computation into the original LLM pipeline, forming a dependency-safe nested pipeline structure. With this design, BigMac reduces the activation memory complexity of the encoder and generator to O(1) while keeping the activation memory complexity of the LLM unchanged. At the same time, it achieves the same computational efficiency as the idealized setting with unlimited memory. As a result, BigMac breaks the Pareto frontier between computational efficiency and memory usage, enabling simultaneous optimization of both computation and memory in MLLM training. We evaluate BigMac on multiple MLLMs and training workloads. Experimental results show that BigMac achieves a 1.08$\times$-1.9$\times$ training speedup over baseline systems while maintaining stable memory usage as batch size increases.
Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)の訓練には,モデルとデータの不均一性の両方が課題である。既存のシステムはこれらの課題に対処するためにトレーニングパイプラインを再設計するが、計算とメモリ効率の間にあるParetoフロンティアによって拘束され、他方のコストで改善されている。マルチモーダルLLMのための新しいトレーニングパイプラインであるBigMacを紹介する。 BigMacの中核となる考え方は、エンコーダとジェネレータの計算をオリジナルのLLMパイプラインにエレガントにネストし、依存性を安全なネストしたパイプライン構造を形成することである。この設計により、BigMacはエンコーダとジェネレータのアクティベーションメモリの複雑さをO(1)に減らし、LCMのアクティベーションメモリの複雑さを一定に保つ。同時に、メモリ無制限の理想設定と同じ計算効率を実現する。その結果、BigMacは計算効率とメモリ使用量の間のParetoフロンティアを破り、MLLMトレーニングにおける計算とメモリの同時最適化を可能にした。複数のMLLMおよびトレーニングワークロード上でBigMacを評価する。実験の結果、BigMacはベースラインシステム上でのトレーニングスピードアップを1.08$\times$-1.9$\timesで達成し、バッチサイズの増加とともに安定したメモリ使用率を維持した。

関連論文リスト

Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
論文参考訳（メタデータ） (2026-07-02T08:06:57Z)
Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
論文参考訳（メタデータ） (2026-02-02T13:52:40Z)
Towards Building Private LLMs: Exploring Multi-Node Expert Parallelism on Apple Silicon for Mixture-of-Experts Large Language Model [5.395171082357636]
大規模言語モデル(LLM)は、OpenAIのChatGPT、MetaのLlama、DatabricksのDBRXといった進歩とともに、人工知能(AI)に革命をもたらした。本稿では,個人サービスや小グループサービス用のLLMシステムを構築する際に発生するコストとスケーラビリティの課題について論じる。 AppleのM2 Ultraチップを搭載したMac Studioクラスタは、事前訓練されたDBRXモデルをホストし、高速化するためのコスト効率の高いソリューションとして確立されている。
論文参考訳（メタデータ） (2025-06-30T09:04:25Z)
QKV Projections Require a Fraction of Their Memory [11.048086031066623]
本稿では,注意層におけるQ,K,V$プロジェクションのメモリ消費を最大512ドルまで削減するテンソル圧縮手法を提案する。 PAMMはFlashAttentionのような効率的な注意手法で完全に構成可能であり、メモリ効率のLLMトレーニングのための実用的で補完的な方法である。
論文参考訳（メタデータ） (2025-06-03T14:37:17Z)
Skipping Computations in Multimodal LLMs [63.29737699997859]
本研究では,マルチモーダル大言語モデル(MLLM)における推論時の冗長性について検討する。ブロック全体,FFN,自己保持層をスキップするなど,計算をスキップするさまざまな手法を提案する。本研究は,推定時に大量の計算を回避できることを実証した。
論文参考訳（メタデータ） (2024-10-12T09:21:45Z)
MEMO: Fine-grained Tensor Management For Ultra-long Context LLM Training [24.066283519769968]
大規模言語モデル(LLM)は、よりクリエイティブなアプリケーションを促進するために、拡張コンテキスト長を使用して訓練されている。本稿では,メモリ管理を微粒化するための新しいフレームワークであるMEMOを提案する。 MeMOはMegatron-LMやDeepSpeedと比べて平均1.97倍と1.80倍のMFUを達成している。
論文参考訳（メタデータ） (2024-07-16T18:59:49Z)
Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文参考訳（メタデータ） (2024-05-28T22:19:30Z)
Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
論文参考訳（メタデータ） (2024-04-16T06:34:08Z)
L2MAC: Large Language Model Automatic Computer for Extensive Code Generation [52.81694565226513]
トランスフォーマーベースの大規模言語モデル(LLM)は、基盤となるトランスフォーマーアーキテクチャの固定コンテキストウィンドウによって制約される。本稿では,L2MACを提案する。L2MACは,LLMをベースとした汎用型自動計算機(von Neumann Architecture)フレームワークで,長期的かつ一貫した出力生成を実現する。
論文参考訳（メタデータ） (2023-10-02T16:55:19Z)
In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
論文参考訳（メタデータ） (2023-06-22T14:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。