論文の概要: GoRA: Gradient-driven Adaptive Low Rank Adaptation
- arxiv url: http://arxiv.org/abs/2502.12171v2
- Date: Thu, 05 Jun 2025 14:16:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-06 19:24:15.934636
- Title: GoRA: Gradient-driven Adaptive Low Rank Adaptation
- Title（参考訳）: GoRA: グラディエント駆動の適応的低ランク適応
- Authors: Haonan He, Peng Ye, Yuchen Ren, Yuan Yuan, Luyang Zhou, Shucun Ju, Lei Chen,
- Abstract要約: Low-Rank Adaptation (LoRA) は、大規模言語モデルを効率的に微調整するための重要な手法である。
本稿では,GoRA (Gradient-driven Adaptive Low Rank Adaptation) という新たなフレームワークを提案する。
GoRAは、バニラロラの効率を保ちながら、既存のLoRAベースの手法を一貫して上回っている。
- 参考スコア（独自算出の注目度）: 10.727670204249932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-Rank Adaptation (LoRA) is a crucial method for efficiently fine-tuning large language models (LLMs), with its effectiveness influenced by two key factors: rank selection and weight initialization. While numerous LoRA variants have been proposed to improve performance by addressing one of these aspects, they often compromise usability or computational efficiency. In this paper, we analyze and identify the core limitations of existing approaches and propose a novel framework -- GoRA (Gradient-driven Adaptive Low Rank Adaptation) -- that simultaneously adapts both the rank and initialization strategy within a unified framework. GoRA leverages gradient information during training to dynamically assign optimal ranks and initialize low-rank adapter weights in an adaptive manner. To our knowledge, GoRA is the first method that not only addresses the limitations of prior approaches -- which often focus on either rank selection or initialization in isolation -- but also unifies both aspects within a single framework, enabling more effective and efficient adaptation. Extensive experiments across various architectures and modalities show that GoRA consistently outperforms existing LoRA-based methods while preserving the efficiency of vanilla LoRA. For example, when fine-tuning Llama3.1-8B-Base for mathematical reasoning, GoRA achieves a 5.13-point improvement over standard LoRA and even outperforms full fine-tuning by 2.05 points under high-rank settings.
- Abstract（参考訳）: 低ランク適応(LoRA)は大規模言語モデル(LLM)を効率よく微調整するための重要な手法であり、その効果はランク選択と重み初期化の2つの重要な要素の影響を受けている。
これらの側面の1つに対処することで性能を改善するために多くの LoRA 変種が提案されているが、ユーザビリティや計算効率を損なうことがしばしばある。
本稿では,既存のアプローチの中核となる制約を分析し,統一されたフレームワークにおけるランクと初期化戦略の両方を同時に適用する,GoRA(Gradient-driven Adaptive Low Rank Adaptation)という新しいフレームワークを提案する。
GoRAは、トレーニング中に勾配情報を活用し、最適なランクを動的に割り当て、適応的な方法でローランクアダプタウェイトを初期化する。
私たちの知る限り、GoRAは、以前のアプローチの制限に対処する最初の方法です -- ランクの選択と分離初期化の両方にフォーカスすることが多い — だけでなく、単一のフレームワーク内の両方の側面を統一することで、より効果的で効率的な適応を可能にします。
さまざまなアーキテクチャやモダリティにわたる大規模な実験により、GoRAは、バニラロラの効率を保ちながら、既存のLoRAベースのメソッドを一貫して上回っていることが示されている。
例えば、数学的推論のための微調整のLlama3.1-8B-Baseでは、GoRAは標準のLoRAよりも5.13ポイント改善され、ハイランク設定で2.05ポイントの完全な微調整よりも優れています。
関連論文リスト
- LoRA-GGPO: Mitigating Double Descent in LoRA Fine-Tuning via Gradient-Guided Perturbation Optimization [12.504723188498]
大規模言語モデル(LLM)は自然言語処理において顕著な成功を収めた。
Low-Rank Adaptation (LoRA)は、パラメータ更新を低ランク行列で近似することで、実用的なソリューションとして登場した。
LoRA-GGPOは、勾配とウェイトノルムを利用して標的摂動を生成する新しい手法である。
論文 参考訳（メタデータ） (2025-02-20T13:14:41Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - RoRA: Efficient Fine-Tuning of LLM with Reliability Optimization for Rank Adaptation [59.34193580856381]
Low-Rank Adaptation (LoRA) は大規模言語モデルの微調整に広く使われ、有効である。
本稿では,LoRAのスケーリング係数を最適化するシンプルな手法であるRoRA(Rank-adaptive Reliability Optimization)を提案する。
RoRAは、ランクサイズが大きくなるにつれて性能が向上し、微調整プルーニングモデルにおける精度回復というより困難な課題を克服する。
論文 参考訳（メタデータ） (2025-01-08T07:13:52Z) - LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。
本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
論文 参考訳（メタデータ） (2024-10-27T22:57:12Z) - Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。
Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。
本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文 参考訳（メタデータ） (2024-10-25T17:07:13Z) - LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。
計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。
低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
論文 参考訳（メタデータ） (2024-07-25T17:57:12Z) - LoRA-GA: Low-Rank Adaptation with Gradient Approximation [5.685201910521295]
微調整された大規模事前訓練モデルは、計算とメモリコストの点で極めて高価である。
LoRAは、パラメータが著しく少ない補助的な低ランクモデルを微調整することで、コスト効率のよい代替手段を提供する。
LoRAは完全な微調整に比べてかなり遅い速度で収束し、全体的な計算能力が向上し、しばしばテスト性能が悪化する。
論文 参考訳（メタデータ） (2024-07-06T08:37:21Z) - ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。
まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。
第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
論文 参考訳（メタデータ） (2024-03-24T15:09:55Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。