論文の概要: Adacc: Adaptive Compression and Activation Checkpointing for LLM Memory Management

• arxiv url: http://arxiv.org/abs/2508.00806v1
• Date: Fri, 01 Aug 2025 17:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.973881
• Title: Adacc: Adaptive Compression and Activation Checkpointing for LLM Memory Management
• Title（参考訳）: Adacc: LLMメモリ管理のための適応圧縮とアクティベーションチェックポイント
• Authors: Ping Chen, Zhuohong Deng, Ping Li, Shuibing He, Hongzi Zhu, Yi Zheng, Zhefeng Wang, Baoxing Huai, Minyi Guo,
• Abstract要約: Adaccは、適応圧縮とアクティベーションチェックポイントを組み合わせたメモリ管理フレームワークで、GPUメモリフットプリントを削減する。 Adaccは、最先端のフレームワークと比較して、LLMトレーニングを1.01倍から1.37倍に加速することができる。
• 参考スコア（独自算出の注目度）: 40.371351103295765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training large language models often employs recomputation to alleviate memory pressure, which can introduce up to 30% overhead in real-world scenarios. In this paper, we propose Adacc, a novel memory management framework that combines adaptive compression and activation checkpointing to reduce the GPU memory footprint. It comprises three modules: (1) We design layer-specific compression algorithms that account for outliers in LLM tensors, instead of directly quantizing floats from FP16 to INT4, to ensure model accuracy. (2) We propose an optimal scheduling policy that employs MILP to determine the best memory optimization for each tensor. (3) To accommodate changes in training tensors, we introduce an adaptive policy evolution mechanism that adjusts the policy during training to enhance throughput. Experimental results show that Adacc can accelerate the LLM training by 1.01x to 1.37x compared to state-of-the-art frameworks, while maintaining comparable model accuracy to the Baseline.
• Abstract（参考訳）: 大規模な言語モデルのトレーニングでは、しばしばメモリプレッシャーを軽減するために再計算を使用し、現実のシナリオでは最大30%のオーバーヘッドを発生させることができる。 本稿では,GPUメモリのフットプリントを削減するために,適応圧縮とアクティベーションチェックポイントを組み合わせた新しいメモリ管理フレームワークであるAdaccを提案する。 1) モデル精度を確保するためにFP16からINT4へのフロートを直接定量化するのではなく, LLMテンソルの外れ値を考慮した層特異的圧縮アルゴリズムを設計する。 2) テンソル毎の最適なメモリ最適化を決定するためにMILPを用いた最適スケジューリングポリシーを提案する。 (3) トレーニングテンソルの変化に対応するため, スループットを向上させるため, トレーニング中にポリシーを調整する適応的なポリシー進化機構を導入する。 実験の結果、Adaccはベースラインに匹敵するモデルの精度を維持しながら、最先端のフレームワークと比較してLLMのトレーニングを1.01xから1.37倍に加速できることがわかった。

関連論文リスト

• BitSnap: Checkpoint Sparsification and Quantization in LLM Training [12.420041526429287]
  大規模言語モデル(LLM)は、サイズと複雑さを増し続けている。 LLMトレーニングでは、ストレージ、メモリ使用量、耐障害性を管理する上で、効率的なチェックポイントの保存とロードが重要になっている。 本稿では,異なるトレーニングステージやモデルアーキテクチャに動的に適用可能な,新しいチェックポイントスペーシングと量子化手法を提案する。
  論文  参考訳（メタデータ） (2025-11-15T22:48:59Z)
• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• EDGC: Entropy-driven Dynamic Gradient Compression for Efficient LLM Training [11.898292264147427]
  大規模言語モデル(LLM)の訓練は、計算資源とメモリ容量に関する重大な課題を提起する。 既存のアプローチは主に通信効率を高めるために静的勾配圧縮に依存している。 EDGCと呼ばれるエントロピー駆動の動的勾配圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-13T14:05:34Z)
• Sig2Model: A Boosting-Driven Model for Updatable Learned Indexes [6.133666849556217]
  Sig2Modelは効率的で適応的な学習指標であり、3つの主要な手法による再学習コストを最小限に抑える。 Sig2Modelは、トレーニングコストを最大20倍に削減し、最大3倍高いQPSを実現し、最大1000倍のメモリを使用する。
  論文  参考訳（メタデータ） (2025-09-25T06:07:13Z)
• CALR: Corrective Adaptive Low-Rank Decomposition for Efficient Large Language Model Layer Compression [0.0]
  大規模言語モデル(LLM)は、その膨大なサイズと計算要求のために、重大なデプロイメント上の課題を提示する。 本稿では,2成分圧縮手法である補正適応低ランク分解(CALR)を導入する。 CALR はパラメータ数を 26.93% から 51.77% に削減でき、元のモデルの性能の59.45% から 90.42% に維持できることを示した。
  論文  参考訳（メタデータ） (2025-08-21T13:16:02Z)
• Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.41894248194995]
  タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。 本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
  論文  参考訳（メタデータ） (2025-06-16T07:55:14Z)
• Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
  トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。 本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T14:23:18Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• EDGE-LLM: Enabling Efficient Large Language Model Adaptation on Edge Devices via Layerwise Unified Compression and Adaptive Layer Tuning and Voting [12.006890185810322]
  本稿では,エッジデバイス上での安価かつ効率的なLLM適応を実現するために,Edge-LLMと呼ばれる計算およびメモリ効率の高いLLMチューニングフレームワークを提案する。 具体的には,レイヤワイド統一圧縮(LUC)技術を用いて,レイヤワイドプルーニング空間と量子化ビット幅ポリシを生成して計算オーバーヘッドを削減する,(2)バックプロパゲーション深さを減らしてメモリオーバーヘッドを削減する適応層チューニングと投票方式,(3)LUCが導入した不規則な計算パターンと適応層チューニングを補完するハードウェアスケジューリング戦略,の3つのコアコンポーネントを特徴とする。
  論文  参考訳（メタデータ） (2024-06-22T06:51:47Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• AdpQ: A Zero-shot Calibration Free Adaptive Post Training Quantization Method for LLMs [22.25748046511075]
  AdpQは大規模言語モデル(LLM)のための新しいゼロショット適応型PTQ法である キャリブレーションデータを必要としない低精度量子化における最先端の性能を実現する。 その結果,LLMベンチマークの既存手法と同様の精度が得られ,量子化時間は少なくとも10倍に短縮された。
  論文  参考訳（メタデータ） (2024-05-22T05:32:11Z)
• Dual Memory Networks: A Versatile Adaptation Approach for Vision-Language Models [37.492637804756164]
  3つの設定すべてで効果的に機能する多目的適応手法を導入する。 動的および静的なメモリコンポーネントからなるデュアルメモリネットワークを提案する。 私たちのアプローチは、3つのタスク設定の下で11のデータセットでテストされます。
  論文  参考訳（メタデータ） (2024-03-26T10:54:07Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)
• Not All Features Matter: Enhancing Few-shot CLIP with Adaptive Prior Refinement [24.108008515395458]
  本稿では,CLIP の事前学習知識に対する適応的事前 rEfinement 手法である APE を提案する。 11以上のベンチマークの平均精度では、APEとAPE-Tはいずれも最先端に達し、x30より学習可能なパラメータの少ない16ショットで、それぞれ1.59%、+1.99%で2番目のベットを上回っている。
  論文  参考訳（メタデータ） (2023-04-03T17:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。