論文の概要: 1LoRA: Summation Compression for Very Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2503.08333v1
• Date: Tue, 11 Mar 2025 11:45:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:43:18.767478
• Title: 1LoRA: Summation Compression for Very Low-Rank Adaptation
• Title（参考訳）: 1LoRA: 極低ランク適応のためのサミネーション圧縮
• Authors: Alessio Quercia, Zhuo Cao, Arya Bangun, Richard D. Paul, Abigail Morrison, Ira Assent, Hanno Scharr,
• Abstract要約: 検討したPEFT法に対して, 線形層毎のパラメータの最小値を微調整する「極低階法」について検討した。 本稿では, 計算, パラメータ, メモリ効率のよい微調整手法である1LoRAを提案する。
• 参考スコア（独自算出の注目度）: 6.00844864296448
• License:
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) methods have transformed the approach to fine-tuning large models for downstream tasks by enabling the adjustment of significantly fewer parameters than those in the original model matrices. In this work, we study the "very low rank regime", where we fine-tune the lowest amount of parameters per linear layer for each considered PEFT method. We propose 1LoRA (Summation Low-Rank Adaptation), a compute, parameter and memory efficient fine-tuning method which uses the feature sum as fixed compression and a single trainable vector as decompression. Differently from state-of-the-art PEFT methods like LoRA, VeRA, and the recent MoRA, 1LoRA uses fewer parameters per layer, reducing the memory footprint and the computational cost. We extensively evaluate our method against state-of-the-art PEFT methods on multiple fine-tuning tasks, and show that our method not only outperforms them, but is also more parameter, memory and computationally efficient. Moreover, thanks to its memory efficiency, 1LoRA allows to fine-tune more evenly across layers, instead of focusing on specific ones (e.g. attention layers), improving performance further.
• Abstract（参考訳）: パラメータ効率のよいファインチューニング(PEFT)手法は、従来のモデル行列よりもはるかに少ないパラメータの調整を可能にすることにより、下流タスクのための大規模モデルの微調整にアプローチを転換している。 本研究では,線形層毎のパラメータの最小値をPEFT法毎に微調整する「極低位規則」について検討する。 本稿では,1LoRA (Summation Low-Rank Adaptation) という計算,パラメータ,メモリ効率のよい微調整手法を提案する。 LoRA、VeRA、最近のMoRAのような最先端のPEFTメソッドとは異なり、1LoRAはレイヤごとのパラメータを少なくし、メモリフットプリントと計算コストを削減している。 提案手法は,複数の微調整タスクにおける最先端PEFT法に対して広範に評価し,その性能だけでなく,パラメータ,メモリ,計算効率も向上していることを示す。 さらに、メモリ効率のおかげで、1LoRAは特定のもの(注意層など)に焦点をあてるのではなく、より均質なレイヤ間のチューニングを可能にし、パフォーマンスをさらに向上します。

関連論文リスト

• EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition [2.5269004336032186]
  Efficient Weight-Decomposed Low-Rank Adaptation (EDoRA) は、事前学習した重量を大きさと方向の成分に分解する新しいPEFT法である。 EDoRAは、LoRAやDoRAのような最先端の手法と比較して、競争力や優れた性能を達成する。
  論文  参考訳（メタデータ） (2025-01-21T11:42:09Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Expanding Sparse Tuning for Low Memory Usage [103.43560327427647]
  メモリ使用量が少ないスパースチューニングのためのSNELL(Sparse tuning with kerNelized LoRA)法を提案する。 低メモリ使用量を達成するため、SNELLはスカラー化のための調整可能な行列を2つの学習可能な低ランク行列に分解する。 コンペティションに基づくスペーシフィケーション機構は、チューナブルウェイトインデックスの保存を避けるためにさらに提案される。
  論文  参考訳（メタデータ） (2024-11-04T04:58:20Z)
• SparseGrad: A Selective Method for Efficient Fine-tuning of MLP Layers [88.68985153780514]
  本稿では,パラメータブロックでよく動作する選択型PEFT法,すなわちSparseGradを提案する。 SparseGrad を NLU タスクに BERT と RoBERTa を,質問応答タスクに LLaMa-2 を適用した。
  論文  参考訳（メタデータ） (2024-10-09T19:03:52Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
  Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。 ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。 フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• Sparse Matrix in Large Language Model Fine-tuning [1.9874264019909988]
  本稿では,PEFTとフル微調整性能の差を最小限に抑えるために,スパースサブ行列を選択する手法を提案する。 実験では,本手法が他のPEFTベースラインを一貫して上回ることを示した。 また,訓練可能なパラメータの数が増加するにつれて,LoRAとDoRAの性能が低下する傾向を示す。
  論文  参考訳（メタデータ） (2024-05-24T13:12:14Z)
• MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning [105.11844150736536]
  低ランク適応は、大規模言語モデルのためのパラメータ効率の良い微調整法として人気がある。 トレーニング可能なパラメータ数を同じ数に保ちながら、高階更新を実現するために2乗行列を用いるMoRAと呼ばれる新しい手法を提案する。 本手法はメモリ集約型タスクではLoRAより優れ,他のタスクでは同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-20T15:48:32Z)
• IncreLoRA: Incremental Parameter Allocation Method for Parameter-Efficient Fine-tuning [15.964205804768163]
  IncreLoRAは、トレーニング中にトレーニング可能なパラメータを適応的に追加するインクリメンタルパラメータ割り当て手法である。 我々は,IncreLoRAの有効性を示すため,GLUEの広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-23T10:08:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。