論文の概要: CARE-LoRA: Compressed Activation REconstruction for Memory-Efficient LoRA
- arxiv url: http://arxiv.org/abs/2607.11940v1
- Date: Sat, 11 Jul 2026 09:04:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:29.888187
- Title: CARE-LoRA: Compressed Activation REconstruction for Memory-Efficient LoRA
- Title（参考訳）: CARE-LoRA: メモリ効率の良いLoRAのための圧縮活性化再構成
- Abstract要約: Low-Rank Adaptation (LoRA) はパラメータ効率の高い微調整法として最も広く採用されている。
Care-LoRAは完全な入力アクティベーションをLoRAブランチによって自然に生成される低ランク圧縮アクティベーションに置き換える。
Care-LoRAは標準のLoRAや代表のLoRAと比較すると、競争力や性能でも優れている。
- 参考スコア（独自算出の注目度）: 28.777366440905382
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the scale of large pre-trained models continues to grow, fine-tuning them under limited memory budgets has become increasingly challenging. Low-Rank Adaptation (LoRA), currently one of the most widely adopted parameter-efficient fine-tuning (PEFT) methods, mitigates this challenge by optimizing only low-rank adaptation matrices, thereby greatly reducing the number of trainable parameters. With the parameter overhead substantially reduced, the activations retained for backpropagation have emerged as the primary remaining memory bottleneck during LoRA fine-tuning. To address this, we propose CARE-LoRA, a data-aware Compressed Activation REconstruction framework. By exploiting the inherent projection structure of LoRA, CARE-LoRA replaces the full input activation with the low-rank compressed activation naturally produced by the LoRA branch. It further computes a lightweight reconstruction matrix during the forward pass with negligible additional computation cost, which is used during backpropagation to reconstruct the gradient signal, thereby keeping LoRA matrices fully trainable. Extensive experiments across diverse models and downstream tasks demonstrate that, while substantially reducing the overall memory footprint, CARE-LoRA achieves competitive or even superior performance compared with standard LoRA and representative LoRA variants. Our code is publicly available at https://github.com/fishandyu/CARE-LoRA .
- Abstract（参考訳）: 大規模な事前学習モデルの規模が拡大するにつれて、限られたメモリ予算下での微調整がますます困難になっている。
Low-Rank Adaptation (LoRA)は、現在最も広く採用されているパラメータ効率のよい微調整(PEFT)手法の一つであり、低ランク適応行列のみを最適化することでこの問題を緩和し、トレーニング可能なパラメータの数を大幅に削減している。
パラメータのオーバーヘッドが大幅に削減されたことにより、バックプロパゲーションに保持されるアクティベーションが、LoRA微調整時の主要なメモリボトルネックとして浮上した。
そこで本研究では,データ認識型Compressed Activation ReconstructionフレームワークであるCARE-LoRAを提案する。
LoRAの固有の射影構造を利用することで、CARE-LoRAは全入力活性化をLoRAブランチによって自然に生成される低ランク圧縮活性化に置き換える。
さらに、フォワードパス中の軽量な再構成行列を、バックプロパゲーション中に勾配信号の再構成に使用される、無視可能な追加計算コストで計算する。
多様なモデルやダウンストリームタスクにわたる大規模な実験により、CARE-LoRAはメモリフットプリントを大幅に削減する一方で、標準のLoRAや代表のLoRAと比較すると、競争力や性能も向上していることが示された。
私たちのコードはhttps://github.com/fishandyu/CARE-LoRAで公開されています。
関連論文リスト
- Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。
本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。
勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
論文 参考訳（メタデータ） (2026-02-18T13:41:41Z) - LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules [10.00294036303927]
標準的なLoRA学習を改善することを目的とした,シンプルで効率的な方法論であるLoRA-Squeezeを紹介する。
我々のアプローチは、制約のある低ランクのソリューションを直接学習するのではなく、まず表現力のある高ランクのソリューションを学習し、次に圧縮する方がよいことを示唆している。
論文 参考訳（メタデータ） (2026-02-11T16:19:58Z) - Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。
ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
論文 参考訳（メタデータ） (2025-09-24T10:32:50Z) - SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。
本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。
SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
論文 参考訳（メタデータ） (2025-05-18T14:12:40Z) - Activated LoRA: Fine-tuned LLMs for Intrinsics [6.057520371260868]
Low-Rank Adaptation (LoRA) は、大規模基盤モデルの重みを微調整するための高効率なフレームワークとして登場した。
アクティベートされたLoRAは、aLoRAが呼び出された後、シーケンス内のトークンの重みにのみ適応するようにLoRAフレームワークを変更するアダプタアーキテクチャである。
論文 参考訳（メタデータ） (2025-04-16T18:03:21Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - One Head Eight Arms: Block Matrix based Low Rank Adaptation for CLIP-based Few-Shot Learning [11.724194320966959]
本稿では,ビジョン・ランゲージ・ファンデーション・モデルのためのブロック行列に基づく低ランク適応フレームワークBlock-LoRAを提案する。
また,Block-LoRAは,最先端のCLIPベースの複数ショット方式と比較して,競合性能が向上していることを示す。
論文 参考訳（メタデータ） (2025-01-28T05:54:55Z) - SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。
既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。
クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文 参考訳（メタデータ） (2025-01-22T20:00:41Z) - Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。
また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
論文 参考訳（メタデータ） (2024-09-22T11:24:10Z) - LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。
計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。
低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
論文 参考訳（メタデータ） (2024-07-25T17:57:12Z) - LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。
LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。
LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
論文 参考訳（メタデータ） (2023-05-28T15:15:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。