論文の概要: Adacc: Adaptive Compression and Activation Checkpointing for LLM Memory Management

• arxiv url: http://arxiv.org/abs/2508.00806v1
• Date: Fri, 01 Aug 2025 17:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.973881
• Title: Adacc: Adaptive Compression and Activation Checkpointing for LLM Memory Management
• Title（参考訳）: Adacc: LLMメモリ管理のための適応圧縮とアクティベーションチェックポイント
• Authors: Ping Chen, Zhuohong Deng, Ping Li, Shuibing He, Hongzi Zhu, Yi Zheng, Zhefeng Wang, Baoxing Huai, Minyi Guo,
• Abstract要約: Adaccは、適応圧縮とアクティベーションチェックポイントを組み合わせたメモリ管理フレームワークで、GPUメモリフットプリントを削減する。 Adaccは、最先端のフレームワークと比較して、LLMトレーニングを1.01倍から1.37倍に加速することができる。
• 参考スコア（独自算出の注目度）: 40.371351103295765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training large language models often employs recomputation to alleviate memory pressure, which can introduce up to 30% overhead in real-world scenarios. In this paper, we propose Adacc, a novel memory management framework that combines adaptive compression and activation checkpointing to reduce the GPU memory footprint. It comprises three modules: (1) We design layer-specific compression algorithms that account for outliers in LLM tensors, instead of directly quantizing floats from FP16 to INT4, to ensure model accuracy. (2) We propose an optimal scheduling policy that employs MILP to determine the best memory optimization for each tensor. (3) To accommodate changes in training tensors, we introduce an adaptive policy evolution mechanism that adjusts the policy during training to enhance throughput. Experimental results show that Adacc can accelerate the LLM training by 1.01x to 1.37x compared to state-of-the-art frameworks, while maintaining comparable model accuracy to the Baseline.
• Abstract（参考訳）: 大規模な言語モデルのトレーニングでは、しばしばメモリプレッシャーを軽減するために再計算を使用し、現実のシナリオでは最大30%のオーバーヘッドを発生させることができる。 本稿では,GPUメモリのフットプリントを削減するために,適応圧縮とアクティベーションチェックポイントを組み合わせた新しいメモリ管理フレームワークであるAdaccを提案する。 1) モデル精度を確保するためにFP16からINT4へのフロートを直接定量化するのではなく, LLMテンソルの外れ値を考慮した層特異的圧縮アルゴリズムを設計する。 2) テンソル毎の最適なメモリ最適化を決定するためにMILPを用いた最適スケジューリングポリシーを提案する。 (3) トレーニングテンソルの変化に対応するため, スループットを向上させるため, トレーニング中にポリシーを調整する適応的なポリシー進化機構を導入する。 実験の結果、Adaccはベースラインに匹敵するモデルの精度を維持しながら、最先端のフレームワークと比較してLLMのトレーニングを1.01xから1.37倍に加速できることがわかった。

関連論文リスト

• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• EDGE-LLM: Enabling Efficient Large Language Model Adaptation on Edge Devices via Layerwise Unified Compression and Adaptive Layer Tuning and Voting [12.006890185810322]
  本稿では,エッジデバイス上での安価かつ効率的なLLM適応を実現するために,Edge-LLMと呼ばれる計算およびメモリ効率の高いLLMチューニングフレームワークを提案する。 具体的には,レイヤワイド統一圧縮(LUC)技術を用いて,レイヤワイドプルーニング空間と量子化ビット幅ポリシを生成して計算オーバーヘッドを削減する,(2)バックプロパゲーション深さを減らしてメモリオーバーヘッドを削減する適応層チューニングと投票方式,(3)LUCが導入した不規則な計算パターンと適応層チューニングを補完するハードウェアスケジューリング戦略,の3つのコアコンポーネントを特徴とする。
  論文  参考訳（メタデータ） (2024-06-22T06:51:47Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• AdpQ: A Zero-shot Calibration Free Adaptive Post Training Quantization Method for LLMs [22.25748046511075]
  AdpQは大規模言語モデル(LLM)のための新しいゼロショット適応型PTQ法である キャリブレーションデータを必要としない低精度量子化における最先端の性能を実現する。 その結果,LLMベンチマークの既存手法と同様の精度が得られ,量子化時間は少なくとも10倍に短縮された。
  論文  参考訳（メタデータ） (2024-05-22T05:32:11Z)
• Dual Memory Networks: A Versatile Adaptation Approach for Vision-Language Models [37.492637804756164]
  3つの設定すべてで効果的に機能する多目的適応手法を導入する。 動的および静的なメモリコンポーネントからなるデュアルメモリネットワークを提案する。 私たちのアプローチは、3つのタスク設定の下で11のデータセットでテストされます。
  論文  参考訳（メタデータ） (2024-03-26T10:54:07Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)
• Not All Features Matter: Enhancing Few-shot CLIP with Adaptive Prior Refinement [24.108008515395458]
  本稿では,CLIP の事前学習知識に対する適応的事前 rEfinement 手法である APE を提案する。 11以上のベンチマークの平均精度では、APEとAPE-Tはいずれも最先端に達し、x30より学習可能なパラメータの少ない16ショットで、それぞれ1.59%、+1.99%で2番目のベットを上回っている。
  論文  参考訳（メタデータ） (2023-04-03T17:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。