論文の概要: One Rate Is Not Enough: Adaptive Anisotropic Learning Rates for LoRA Fine-Tuning
- arxiv url: http://arxiv.org/abs/2609.05885v1
- Date: Sat, 05 Sep 2026 05:14:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.16218
- Title: One Rate Is Not Enough: Adaptive Anisotropic Learning Rates for LoRA Fine-Tuning
- Title（参考訳）: LoRAファインチューニングにおける適応的異方性学習率
- Abstract要約: 低ランク適応(LoRA)は、大規模言語モデルのパラメータ効率の高い微調整の標準となっている。
我々は,LoRAアダプタのランク1成分が高度に不均一な速度で更新され,低速度モジュールが集中特異スペクトルに収束することを示す。
適応型異方性学習率モデルを提案する。
- 参考スコア（独自算出の注目度）: 26.741445807383098
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-rank adaptation (LoRA) has become the standard for parameter-efficient fine-tuning of large language models. Most LoRA variants follow a uniform-LR convention, applying a single global learning rate across every rank-one component of every adapter. We show that this convention overlooks substantial within-module heterogeneity, where the rank-one components of a LoRA adapter update at highly uneven rates and low-velocity modules converge to concentrated singular spectra that underutilize the nominal rank budget. To address this, we propose an adaptive anisotropic learning-rate model that assigns each rank-one component its own effective learning rate, computed online from training-time signals and mean-normalized per module to preserve the global LR budget. AnLR-LoRA instantiates this model with two signals available during AdamW optimization, namely function-space velocity and Adam SNR, as a lightweight scheme with no extra trainable parameters. Across commonsense reasoning, natural language generation and visual instruction-tuning benchmarks, AnLR-LoRA consistently improves over LoRA while encouraging broader use of rank capacity, with gains that remain robust across a wide range of global learning rates and transfer cleanly to other LoRA variants.
- Abstract（参考訳）: 低ランク適応(LoRA)は、大規模言語モデルのパラメータ効率の高い微調整の標準となっている。
ほとんどのLoRA変種は一様LR規則に従っており、各アダプタのランク1のコンポーネントに1つのグローバル学習率を適用している。
この規約は、LoRAアダプタのランク1成分が高度に不均一な速度で更新され、低速度モジュールが名目的ランクの予算を弱めるような集中特異スペクトルに収束する、実質的なモジュール内不均一性を見落としていることを示す。
そこで本研究では,各ランクワンコンポーネントに対して,自己の効果的な学習率を割り当てる適応的異方性学習率モデルを提案し,トレーニング時間信号からオンラインに計算し,モジュールごとの平均正規化を行い,グローバルLR予算を維持する。
AnLR-LoRAはこのモデルを、AdamW最適化中に利用可能な2つの信号、すなわち関数空間速度とAdam SNRを、追加のトレーニング可能なパラメータを持たない軽量なスキームとしてインスタンス化する。
AnLR-LoRAは、常識推論、自然言語生成、ビジュアルインストラクションチューニングベンチマーク全体にわたって、LoRAよりも一貫して改善され、ランクキャパシティの広範な使用を奨励し、幅広いグローバルラーニングレートで堅牢なゲインと、他のLoRA亜種へのクリーンな転送を実現している。
関連論文リスト
- Rank-Efficient LoRA via Joint Tangent-Space Optimization under Isotropic Curvature [15.962803593943624]
Low-Rank Adaptation (LoRA) は、低ランクウェイト更新を学習することで、大規模な事前学習モデルに適応するための効果的なアプローチである。
比喩ランクが表現能力を決定する一方で、そのキャパシティの形状が誘導重み空間更新に使用されることを示す。
論文 参考訳（メタデータ） (2026-09-10T18:50:17Z) - IFCLoRA: Topology-Aware Rank Allocation for Parameter-Efficient Fine-Tuning [8.041472556779395]
Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。
IFCLoRAは、微調整前に適用されたトポロジ対応のランクアロケーション手法である。
論文 参考訳（メタデータ） (2026-07-24T12:34:46Z) - SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。
textbfSpectrum textbfModulation textbfAdapterを提案する。
論文 参考訳（メタデータ） (2026-05-20T13:19:28Z) - Post-Optimization Adaptive Rank Allocation for LoRA [10.796887002907456]
Post-Optimization Adaptive Rank Allocation (PARA) はローランド適応データ自由圧縮法である。
我々は,既存の微調整パイプラインにシームレスに統合されたLoRAのデータフリー圧縮手法であるPARAを提案する。
PARAは、視覚および言語ベンチマークにおけるオリジナルの圧縮されていないLoRAの予測性能を維持しながら、パラメータ数を75-90%削減することを示した。
論文 参考訳（メタデータ） (2026-04-30T12:40:11Z) - LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules [10.00294036303927]
標準的なLoRA学習を改善することを目的とした,シンプルで効率的な方法論であるLoRA-Squeezeを紹介する。
我々のアプローチは、制約のある低ランクのソリューションを直接学習するのではなく、まず表現力のある高ランクのソリューションを学習し、次に圧縮する方がよいことを示唆している。
論文 参考訳（メタデータ） (2026-02-11T16:19:58Z) - Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning [48.66442009036754]
Low-Rank Adaptation (LoRA)は、効率的な大規模言語モデルの微調整のための一般的なアプローチである。
本研究では,バニラ・ロラとともに4つの代表的ロラ変種を再評価する。
異なるLoRA手法が学習率の異なる範囲を好んでいることが判明した。
論文 参考訳（メタデータ） (2026-02-04T19:36:20Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。
既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。
クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文 参考訳（メタデータ） (2025-01-22T20:00:41Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳（メタデータ） (2024-01-20T20:25:17Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。