論文の概要: CERSA: Cumulative Energy-Retaining Subspace Adaptation for Memory-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2605.08174v1
• Date: Tue, 05 May 2026 05:34:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.424365
• Title: CERSA: Cumulative Energy-Retaining Subspace Adaptation for Memory-Efficient Fine-Tuning
• Title（参考訳）: CERSA: メモリ効率の良いファインチューニングのための累積エネルギー保持サブスペース適応
• Authors: Jingze Ge, Xue Geng, Yun Liu, Wanqi Dong, Wang Zhe Mark, Min Wu, Ngai-Man Cheung, Bharadwaj Veeravalli, Xulei Yang,
• Abstract要約: 既存の微調整方法は、凍結重量の完全なセットを格納するためにかなりのメモリを必要とする。 我々は、スペクトルエネルギーの90%から95%の主成分のみを保持するために、累積エネルギー保持部分空間適応(CERSA)を導入する。 CERSAは、最先端のPEFTメソッドよりもはるかに低いメモリ要求を実現しつつ、一貫して性能を向上している。
• 参考スコア（独自算出の注目度）: 35.50492848166889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To mitigate the memory constraints associated with fine-tuning large pre-trained models, existing parameter-efficient fine-tuning (PEFT) methods, such as LoRA, rely on low-rank updates. However, such updates fail to fully capture the rank characteristics of the weight modifications observed in full-parameter fine-tuning, resulting in a performance gap. Furthermore, LoRA and other existing PEFT methods still require substantial memory to store the full set of frozen weights, limiting their efficiency in resource-constrained settings. To addres these limitations, we introduce Cumulative Energy-Retaining Subspace Adaptation (CERSA), a novel fine-tuning paradigm that leverages singular value decomposition (SVD) to retain only the principal components responsible for 90% to 95% of the spectral energy. By fine-tuning low-rank representations derived from this principal subspace, CERSA significantly reduces memory consumption. We conduct extensive evaluations of CERSA across models of varying scales and domains, including image recognition, text-to-image generation, and natural language understanding. Empirical results demonstrate that CERSA consistently outperforms state-of-the-art PEFT methods while achieving substantially lower memory requirements. The code will be publicly released.
• Abstract（参考訳）: 大規模なトレーニング済みモデルの微調整に伴うメモリ制約を軽減するため、LoRAのような既存のパラメータ効率の微調整(PEFT)手法は低ランク更新に依存している。 しかし、このような更新は、フルパラメータの微調整で観察される重量修正のランク特性を完全に把握することができず、結果として性能の差が生じる。 さらに、LoRAや他の既存のPEFTメソッドは、凍結重量の完全なセットを保存するのに十分なメモリを必要とするため、リソース制約のある設定では効率が制限される。 これらの制限を加えるために、スペクトルエネルギーの90%から95%の主成分のみを保持するために特異値分解(SVD)を利用する新しい微調整パラダイムである累積エネルギー保持部分空間適応(CERSA)を導入する。 この主部分空間から派生した低ランク表現を微調整することにより、CERSAはメモリ消費を大幅に削減する。 我々は,画像認識,テキスト・ツー・イメージ生成,自然言語理解など,さまざまなスケールや領域のモデルに対して,CERSAを広範囲に評価する。 実証的な結果から、CERSAは最先端のPEFT法よりもはるかに低いメモリ要求を実現しつつ、一貫して性能を向上していることが示された。 コードは公開されます。

関連論文リスト

• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• GEM: A Scale-Aware and Distribution-Sensitive Sparse Fine-Tuning Framework for Effective Downstream Adaptation [21.481261295689208]
  勾配重量比とエントロピー誘導マスキング(GEM) GEMは、初期トレーニング済みの値に比例して更新が重要であるパラメータを優先順位付けする。 また、パラメータ値のエントロピーに基づいて各層でチューニングすべきパラメータ数を適応的に決定する。
  論文  参考訳（メタデータ） (2025-08-22T08:12:06Z)
• S2A: A Unified Framework for Parameter and Memory Efficient Transfer Learning [8.602744958104969]
  本研究では,微調整時の活性化のメモリフットプリントを低減するため,新しいPETLフレームワークであるStructure to Activation (S2A)を提案する。 具体的には,1)パラメトリックモデル構造におけるアクティベーションモジュールの設計(バイアス,プロンプト,サイドモジュール)からなり,パラメータやアクティベーションメモリの大幅な削減を実現している。 提案手法は既存のPETL技術よりも優れており,GPUメモリフットプリントの4倍の削減を実現しているだけでなく,可変パラメータの少ない精度で競合性能を示す。
  論文  参考訳（メタデータ） (2025-03-11T08:10:03Z)
• Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
  ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。 微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。 これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
  論文  参考訳（メタデータ） (2025-02-01T04:18:28Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。