論文の概要: BOOST: BOttleneck-Optimized Scalable Training Framework for Low-Rank Large Language Models

• arxiv url: http://arxiv.org/abs/2512.12131v1
• Date: Sat, 13 Dec 2025 01:50:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.13582
• Title: BOOST: BOttleneck-Optimized Scalable Training Framework for Low-Rank Large Language Models
• Title（参考訳）: BOOST:低ランク大言語モデルのためのボトルネック最適化スケーラブルトレーニングフレームワーク
• Authors: Zhengyang Wang, Ziyue Liu, Ruijie Zhang, Avinash Maurya, Paul Hovland, Bogdan Nicolae, Franck Cappello, Zheng Zhang,
• Abstract要約: 低ランクのボトルネックアーキテクチャは、トレーニング時間とメモリフットプリントを大幅に削減する、有望なソリューションを提供する。 大規模低ランクボトルネックアーキテクチャに適した効率的なトレーニングフレームワークであるBOOSTを提案する。 BOOSTは1.46-1.91$times$ speedup over full-rank model baselinesと1.87-2.27$times$ speedup over low-rank model with naively integrated 3D parallelismを達成した。
• 参考スコア（独自算出の注目度）: 16.973973367103508
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The scale of transformer model pre-training is constrained by the increasing computation and communication cost. Low-rank bottleneck architectures offer a promising solution to significantly reduce the training time and memory footprint with minimum impact on accuracy. Despite algorithmic efficiency, bottleneck architectures scale poorly under standard tensor parallelism. Simply applying 3D parallelism designed for full-rank methods leads to excessive communication and poor GPU utilization. To address this limitation, we propose BOOST, an efficient training framework tailored for large-scale low-rank bottleneck architectures. BOOST introduces a novel Bottleneck-aware Tensor Parallelism, and combines optimizations such as online-RMSNorm, linear layer grouping, and low-rank activation checkpointing to achieve end-to-end training speedup. Evaluations on different low-rank bottleneck architectures demonstrate that BOOST achieves 1.46-1.91$\times$ speedup over full-rank model baselines and 1.87-2.27$\times$ speedup over low-rank model with naively integrated 3D parallelism, with improved GPU utilization and reduced communication overhead.
• Abstract（参考訳）: トランスモデルの事前学習の規模は、計算と通信コストの増大によって制約される。 低ランクボトルネックアーキテクチャは、トレーニング時間とメモリフットプリントを大幅に削減し、精度に最小限の影響を与える、有望なソリューションを提供する。 アルゴリズムの効率にもかかわらず、ボトルネックアーキテクチャは標準テンソル並列性の下では不十分である。 フルランクメソッド用に設計された3D並列処理を単純に適用すれば、過剰な通信とGPU使用率の低下につながる。 この制限に対処するために,大規模低ランクボトルネックアーキテクチャに適した効率的なトレーニングフレームワークであるBOOSTを提案する。 BOOSTは、新しいBottleneck対応テンソル並列性を導入し、オンラインRMSNorm、リニアレイヤグループ化、低ランクアクティベーションチェックポイントなどの最適化を組み合わせて、エンドツーエンドのトレーニングスピードアップを実現する。 BOOSTは1.46-1.91$\times$フルランクモデルベースラインでのスピードアップ、1.87-2.27$\times$Naively integrated 3D parallelismによる低ランクモデルでのスピードアップ、GPU利用の向上と通信オーバーヘッドの低減を実現している。

関連論文リスト

• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Protocol Models: Scaling Decentralized Training with Communication-Efficient Model Parallelism [59.79227116582264]
  モデルスケーリングはディープラーニングの大幅な進歩につながったが、これらのモデルを分散環境でトレーニングすることは依然として難しい。 本研究では,前処理と後処理の両方を圧縮し,最大99%の圧縮が可能となる新しい圧縮アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-02T02:19:22Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• ACCO: Accumulate While You Communicate for Communication-Overlapped Sharded LLM Training [22.940404796500985]
  分散学習LLMのためのメモリ効率最適化アルゴリズムを提案する。 新しい処理を計算しながら遅延勾配を同期することにより、ACCOはGPUアイドル時間を短縮し、異種ハードウェアをサポートする。 ZeRO-1と比較して、我々のアプローチは大幅に高速で、異種ハードウェアで効果的にスケールできる。
  論文  参考訳（メタデータ） (2024-06-03T08:23:45Z)
• Pipette: Automatic Fine-grained Large Language Model Training Configurator for Real-World Clusters [5.190794062263327]
  大規模言語モデル(LLM)の訓練は、膨大な計算能力とメモリ容量の要求のために困難であることが知られている。 本稿では,実世界のクラスタを対象としたLLM自動微粒化トレーニングであるPipetteを提案する。
  論文  参考訳（メタデータ） (2024-05-28T11:59:44Z)
• Teal: Learning-Accelerated Optimization of WAN Traffic Engineering [68.7863363109948]
  本稿では,GPUの並列処理能力を活用してTE制御を高速化する学習型TEアルゴリズムTealを提案する。 問題スケールの削減と学習のトラクタビリティ向上のために,Tealはマルチエージェント強化学習(RL)アルゴリズムを用いて,各トラフィック要求を独立に割り当てる。 他のTE加速方式と比較して、Tealは需要を6～32%増やし、197～625倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2022-10-25T04:46:30Z)
• Accelerating Deep Learning Model Inference on Arm CPUs with Ultra-Low Bit Quantization and Runtime [57.5143536744084]
  ディープラーニングモデルの高性能化は、高い計算、ストレージ、電力要求を犠牲にしている。 我々はDeplite Neutrinoを導入し、DepliteはArmベースのプラットフォームに超低ビット量子化モデルを展開する。
  論文  参考訳（メタデータ） (2022-07-18T15:05:17Z)
• Merak: An Efficient Distributed DNN Training Framework with Automated 3D Parallelism for Giant Foundation Models [14.903847751841221]
  資源利用率の高い3次元並列化ディープラーニング学習フレームワークであるMerakを提案する。 Merakは、モデルのプロキシ表現にグラフシャーディングアルゴリズムを使用する自動モデルパーティショナで自動的にデプロイする。 Merakは1.5、2.5、8.3、200億のパラメータを持つモデルの最先端の3D並列化フレームワークをそれぞれ1.42X、1.39X、1.43X、1.61Xまで高速化することができる。
  論文  参考訳（メタデータ） (2022-06-10T09:15:48Z)
• Communication-Efficient TeraByte-Scale Model Training Framework for Online Advertising [32.5337643852876]
  CTR(Click-Through Rate)予測は、オンライン広告業界において重要な要素である。 大規模な広告モデルのための既存のGPUトレーニングにおける2つの大きな課題を特定します。 ハードウェアトポロジをアルゴリズム設計に結合するハードウェア対応トレーニングワークフローを提案する。
  論文  参考訳（メタデータ） (2022-01-05T18:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。