Fugu-MT 論文翻訳(概要): Beyond LoRA: Is Sparsity-Induced Adaptation Better?

論文の概要: Beyond LoRA: Is Sparsity-Induced Adaptation Better?

arxiv url: http://arxiv.org/abs/2606.13767v1
Date: Thu, 11 Jun 2026 17:59:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-15 16:00:42.553404
Title: Beyond LoRA: Is Sparsity-Induced Adaptation Better?
Title（参考訳）: Beyond LoRA: 疎結合による適応は改善されるか?
Authors: Elijah Cadenhead, Cristian McGee, Xin Li, El Houcine Bergou, Aritra Dutta,
Abstract要約: 低ランク適応(LoRA)とその変種は、事前訓練されたモデルの完全な微調整に代わるメモリマッチングと計算効率の代替を提供する。本稿では,過去(完全微調整およびオリジナルのLoRA),現在(LoRAの異なる変種)をカバーし,よりシンプルで安価でパラメータ効率の良い拡張を提案する。 10の事前学習モデルと14のデータセットにまたがる11の微調整手法を評価し、損失景観やスペクトル分析などのツールを用いて、微調整モデルの性能と一般化を分析した。
参考スコア（独自算出の注目度）: 10.18127129139535
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Low-rank adaptation (LoRA) and its variants provide a memory- and compute-efficient alternative to full fine-tuning of pre-trained models. However, questions remain about the comparative generalizability of these approaches and how the structural restrictions on low-rank updates preserve effective adaptation performance. We present a historical framing, covering the past (full fine-tuning and original LoRA), the present (different variants of LoRA), and propose simpler, cheaper, parameter-efficient extensions by inducing sparsity within existing LoRA variants: Cheap LoRA (cLA), training a single low-rank factor with the other fixed (deterministically or, in its randomized variant, stochastically), and the chained circulant variant, ${c}^3$LA. We frame cLA as a structured instance of asymmetric LoRA, serving as a controlled column-subspace restriction of full fine-tuning. We derive information-theoretic generalization error bounds for these variants, marking one of the first endeavors in this area. Empirically, we evaluate 11 fine-tuning methods across 10 pre-trained models and 14 datasets, analyzing the fine-tuned models' performance and generalization using tools such as loss landscapes and spectral analysis. Despite the sensitivity of fine-tuned models to the pre-trained model, datasets, and other factors, our study suggests that restricting LoRA-based PEFT methods' adaptation to a sparse, structured column space remains competitive across tasks with their parameter-matched baselines while reducing up to 10% training time and peak GPU memory up to 15%, even with a naïve, non-optimized, sparse implementation. Our theoretical and empirical generalization measures provide a more consistent and principled approach to their cost-effective adaptation than commonly used analytical tools. Overview and code are available at: https://elicaden.github.io/Beyond_LoRA/.
Abstract（参考訳）: 低ランク適応(LoRA)とその変種は、事前訓練されたモデルの完全な微調整に代わるメモリと計算効率の代替を提供する。しかし、これらの手法の比較一般化可能性や、低ランク更新における構造的制約が効果的な適応性能を保っているかについては疑問が残る。我々は,過去(フル微調整およびオリジナルのLoRA),現在(LoRAの異なる変種)を網羅し,既存のLoRA変種(Cheap LoRA (cLA))内でスパーシティを誘導し,よりシンプルで安価でパラメータ効率のよい拡張を提案する。我々は、cLAを非対称LoRAの構造的インスタンスとし、完全微調整のコラム-部分空間制限として機能する。我々はこれらの変種に対する情報理論の一般化誤差を導出し、この分野における最初の試みの1つをマークする。実験により,10の事前学習モデルと14のデータセットにまたがる11の微調整手法を評価し,損失景観やスペクトル分析などのツールを用いて,微調整モデルの性能と一般化を解析した。事前学習モデル,データセット,その他の要因に対する微調整モデルの感度は高いが,本研究では,LoRAに基づくPEFT手法のスパースへの適応を制限することは,パラメータマッチングベースラインによるタスク間での競合を抑えつつ,最大10%のトレーニング時間と最大GPUメモリを最大15%削減できることを示す。我々の理論的および経験的一般化尺度は、一般的に用いられる分析ツールよりもコスト効率のよい適応に対して、より一貫した、原則的なアプローチを提供する。概要とコードは、https://elicaden.github.io/Beyond_LoRA/.com/で公開されている。

関連論文リスト

SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
論文参考訳（メタデータ） (2026-05-20T13:19:28Z)
Post-Optimization Adaptive Rank Allocation for LoRA [10.796887002907456]
Post-Optimization Adaptive Rank Allocation (PARA) はローランド適応データ自由圧縮法である。我々は,既存の微調整パイプラインにシームレスに統合されたLoRAのデータフリー圧縮手法であるPARAを提案する。 PARAは、視覚および言語ベンチマークにおけるオリジナルの圧縮されていないLoRAの予測性能を維持しながら、パラメータ数を75-90%削減することを示した。
論文参考訳（メタデータ） (2026-04-30T12:40:11Z)
Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
論文参考訳（メタデータ） (2026-03-31T14:46:39Z)
GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
論文参考訳（メタデータ） (2024-12-12T13:04:54Z)
LoRA vs Full Fine-tuning: An Illusion of Equivalence [73.5303340531806]
我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
論文参考訳（メタデータ） (2024-10-28T17:14:01Z)
Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-10T18:51:53Z)
Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
論文参考訳（メタデータ） (2024-01-08T14:26:49Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)
AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。