論文の概要: GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2505.20355v1
• Date: Mon, 26 May 2025 06:48:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.202743
• Title: GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
• Title（参考訳）: GraLoRA:パラメータ効率の良いファインチューニングのためのグラニュラー低ランク適応
• Authors: Yeonjoon Jung, Daehyun Ahn, Hyungjun Kim, Taesu Kim, Eunhyeok Park,
• Abstract要約: Low-Rank Adaptation (LoRA) は、生成モデルのパラメータ効率の良い微調整(PEFT)の一般的な手法である。 グラニュラーローランド適応(GraLoRA)という新しい構造を導入する。 GraLoRAは重量行列をサブブロックに分割する。
• 参考スコア（独自算出の注目度）: 13.657093411434511
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) is a popular method for parameter-efficient fine-tuning (PEFT) of generative models, valued for its simplicity and effectiveness. Despite recent enhancements, LoRA still suffers from a fundamental limitation: overfitting when the bottleneck is widened. It performs best at ranks 32-64, yet its accuracy stagnates or declines at higher ranks, still falling short of full fine-tuning (FFT) performance. We identify the root cause as LoRA's structural bottleneck, which introduces gradient entanglement to the unrelated input channels and distorts gradient propagation. To address this, we introduce a novel structure, Granular Low-Rank Adaptation (GraLoRA) that partitions weight matrices into sub-blocks, each with its own low-rank adapter. With negligible computational or storage cost, GraLoRA overcomes LoRA's limitations, effectively increases the representational capacity, and more closely approximates FFT behavior. Experiments on code generation and commonsense reasoning benchmarks show that GraLoRA consistently outperforms LoRA and other baselines, achieving up to +8.5% absolute gain in Pass@1 on HumanEval+. These improvements hold across model sizes and rank settings, making GraLoRA a scalable and robust solution for PEFT. Code, data, and scripts are available at https://github.com/SqueezeBits/GraLoRA.git
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、パラメータ効率の良い生成モデルの微調整(PEFT)のための一般的な手法であり、その単純さと有効性から評価されている。 最近の拡張にもかかわらず、LoRAは依然として根本的な制限に悩まされている。 最高位は32-64位だが、その正確さは高いランクで停滞または低下し、それでも完全な微調整(FFT)性能に欠ける。 根本原因をLoRAの構造的ボトルネックとして認識し,非関係な入力チャネルに勾配絡みを導入し,勾配伝播を歪ませる。 そこで本研究では,GraLoRA (Graular Low-Rank Adaptation) という新しい構造を導入する。 無視可能な計算やストレージのコストで、GraLoRAはLoRAの限界を克服し、表現能力を効果的に増加させ、FFTの挙動をより正確に近似させる。 コード生成とコモンセンス推論ベンチマークの実験は、GraLoRAが一貫してLoRAや他のベースラインより優れており、HumanEval+のPass@1で最大8.5%向上していることを示している。 これらの改善はモデルサイズとランク設定にまたがって行われ、GraLoRAはPEFTのスケーラブルで堅牢なソリューションになる。 コード、データ、スクリプトはhttps://github.com/SqueezeBits/GraLoRA.gitで入手できる。

関連論文リスト

• RaSA: Rank-Sharing Low-Rank Adaptation [67.40422142257091]
  低ランク適応(LoRA)は大規模言語モデル(LLM)のパラメータ効率の高い微調整に顕著に用いられている。 階層間の部分的なランク共有を活用することで,LoRAの表現能力を高める革新的な拡張であるRan-Sharing Low-Rank Adaptation (RaSA)を導入する。 我々の理論的根拠と実証的なアプローチは、RaSAがLoRAの中核的な利点を維持しているだけでなく、挑戦的なコードや数学タスクのパフォーマンスを大幅に向上していることを示している。
  論文  参考訳（メタデータ） (2025-03-16T17:16:36Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization [39.30090456724925]
  監視された微調整は、下流タスクに大規模言語モデル(LLM)を適用する最も一般的な方法である。 完全な微調整には膨大な計算資源が必要である。 LoRAは最も広く使われている手法の1つであり、最適化過程は本質的に低次元であると仮定する。
  論文  参考訳（メタデータ） (2024-02-25T16:43:41Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。