論文の概要: CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation

• arxiv url: http://arxiv.org/abs/2502.10940v2
• Date: Tue, 20 May 2025 16:27:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:51.790298
• Title: CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation
• Title（参考訳）: CoLA:低域活性化によるLCMのコンピュータ効率事前評価
• Authors: Ziyue Liu, Ruijie Zhang, Zhengyang Wang, Zi Yang, Paul Hovland, Bogdan Nicolae, Franck Cappello, Zheng Zhang,
• Abstract要約: 我々は,計算効率の高いオートエンコーダを用いて,CoLAとそのメモリ効率の高い実装であるCoLA-Mを提案する。 6000万から70億のパラメータを持つLLaMAモデルに対する実験は、CoLAが計算コストを$bf 2pmbtimes$.bf 2pmbtimes$.comに削減したことを示している。 CoLA-Mはスループットを犠牲にすることなくメモリコストをさらに削減し、全体として優れたパラメータ、計算、メモリ効率を備えた事前学習アプローチを提供する。
• 参考スコア（独自算出の注目度）: 17.807249890437767
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The full-size MLPs and the projection layers in attention introduce tremendous model sizes of large language models (LLMs), imposing extremely demanding needs of computational resources in the pre-training stage. However, we empirically observe that the activations of pre-trained LLMs exhibit low-rank property. Motivated by such observations, we propose CoLA and its memory-efficient implementation, CoLA-M, to replace these full-size layers with compute-efficient auto-encoders that naturally enforce low-rank activations throughout training. This fundamental architectural change eliminates the activation redundancy and significantly boosts model capacity and training efficiency. Experiments on LLaMA models with 60 million to 7 billion parameters show that CoLA reduces the computing cost by $\bf 2\pmb{\times}$ and improves training throughput by $\bf 1.86\pmb{\times}$ while maintaining full-rank level performance. CoLA-M further squeezes memory cost without sacrificing throughput, offering a pre-training approach with collectively superior parameter, computing, and memory efficiency. The LLMs produced are also $\bf 2\pmb{\times}$ smaller, enabling faster inference with lower memory cost on resource-constrained platforms.
• Abstract（参考訳）: フルサイズのMLPとプロジェクション層は、大規模言語モデル(LLM)の膨大なモデルサイズを導入し、事前学習段階における計算資源の要求が極めて高いことを示唆している。 しかし, 事前学習したLDMの活性化は低ランク性を示すことが実証的に観察された。 このような観測により,我々は,CoLAとそのメモリ効率の高い実装であるCoLA-Mを提案し,これらフルサイズのレイヤーを,トレーニングを通して自然に低ランクのアクティベーションを強制する計算効率の高いオートエンコーダに置き換える。 この基本的なアーキテクチャ変更はアクティベーションの冗長性を排除し、モデルのキャパシティとトレーニング効率を大幅に向上させる。 6000万から70億のパラメータを持つLLaMAモデルの実験は、CoLAがコンピューティングコストを$\bf 2\pmb{\times}$に削減し、フルランクレベルのパフォーマンスを維持しながら、トレーニングスループットを$\bf 1.86\pmb{\times}$に改善したことを示している。 CoLA-Mはスループットを犠牲にすることなくメモリコストをさらに削減し、全体として優れたパラメータ、計算、メモリ効率を備えた事前学習アプローチを提供する。 生成された LLM は$\bf 2\pmb{\times} より小さく、リソース制約のあるプラットフォームでのメモリコストを低くしてより高速な推論を可能にする。

関連論文リスト

• Cost-Optimal Grouped-Query Attention for Long-Context LLMs [64.90662568387683]
  効率的なTransformerベースの大規模言語モデル(LLM)の構築が最近研究の焦点となっている。 モデル性能,計算コスト,メモリコストの面で,パラメータサイズ,コンテキスト長,アテンションヘッド構成の異なるモデルを比較した。 本研究は, 十分に長いシーケンスを処理した場合, より少ないアテンションヘッドを持つモデルでは, 計算コストとメモリコストの低減を図りながら, 損失を低減できることを示した。
  論文  参考訳（メタデータ） (2025-03-12T17:50:42Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
  大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。 既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。 本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:49:44Z)
• ShiftAddLLM: Accelerating Pretrained LLMs via Post-Training Multiplication-Less Reparameterization [13.622268474310918]
  ShiftAddLLMは大規模言語モデルの効率的な乗算自由モデルである。 5.6および22.7ポイントのパープレキシティ改善を同等または低いレイテンシで達成する。 5つのLLMファミリーと8つのタスクの実験は、ShiftAddLLMの有効性を一貫して検証している。
  論文  参考訳（メタデータ） (2024-06-10T02:47:55Z)
• SLTrain: a sparse plus low-rank approach for parameter and memory efficient pretraining [39.56934385513862]
  大規模言語モデル(LLM)をゼロから訓練するには、計算能力と広範なメモリ容量が必要である。 最近の研究では、パラメータとメモリの点で効率的な微調整のための重量の低ランク構造を探索している。 本稿では,SLTrain と呼ばれる事前学習用低ランク行列とスパース行列の和として重みをパラメータ化することを提案する。
  論文  参考訳（メタデータ） (2024-06-04T11:14:21Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• FinGPT-HPC: Efficient Pretraining and Finetuning Large Language Models for Financial Applications with High-Performance Computing [10.47214968497857]
  本稿では,低ランク構造を利用した大規模言語モデルの事前学習と微調整を行う高性能手法を提案する。 本手法は精度低下を伴わずに保持できる1.3Xの高速化と2.64Xのモデル圧縮比を実現する。 ファインタニングでは,一般タスクと財務タスクの平均精度が6.3%,24.0%向上した。
  論文  参考訳（メタデータ） (2024-02-21T05:03:17Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
  そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。 動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。 本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
  論文  参考訳（メタデータ） (2023-10-13T07:38:52Z)
• CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
  本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。 我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。 計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
  論文  参考訳（メタデータ） (2021-06-20T15:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。