論文の概要: Beyond LoRA vs. Full Fine-Tuning: Gradient-Guided Optimizer Routing for LLM Adaptation

• arxiv url: http://arxiv.org/abs/2605.07111v1
• Date: Fri, 08 May 2026 01:38:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.724058
• Title: Beyond LoRA vs. Full Fine-Tuning: Gradient-Guided Optimizer Routing for LLM Adaptation
• Title（参考訳）: LoRA vs. Full Fine-Tuning:LLM適応のためのグラディエントガイド最適化ルーティング
• Authors: Haozhan Tang, Xiuqi Zhu, Xinyin Zhang, Boxun Li, Virginia Smith, Kevin Kuo,
• Abstract要約: フルファインチューニング(FFT)は、高エントロピー知識注入に必要な表現塑性を提供する。 Low-Rank Adaptation (LoRA)は、多くのタスクはローランク空間の更新とLoRAの追加正規化の恩恵しか必要としないため、FFTのパフォーマンスに適合または超越することができる。 両トレーニング体制間の連続的なナビゲーションを可能にする統合フレームワークであるLoRAとFull (MoLF) Fine-Tuningを提案する。
• 参考スコア（独自算出の注目度）: 15.4865294569737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent literature on fine-tuning Large Language Models highlights a fundamental debate. While Full Fine-Tuning (FFT) provides the representational plasticity required for high-entropy knowledge injection, Low-Rank Adaptation (LoRA) can match or surpass FFT performance because many tasks only require updates in a low-rank space and benefit from LoRA's additional regularization. Through empirical evaluation across diverse tasks (SQL, Medical QA, and Counterfactual Knowledge) and varying language models (Gemma-3-1B, Qwen2.5-1.5B, and Qwen2.5-3B), we verify both trends and demonstrate that relying solely on either static architecture is structurally limited. To address this challenge, we propose a Mixture of LoRA and Full (MoLF) Fine-Tuning, a unified framework that enables continuous navigation between both training regimes. MoLF dynamically routes updates between FFT and LoRA at the optimizer level to ensure that exact gradient signals are available to both experts throughout training, yielding stable training dynamics. For memory-constrained environments, we also introduce MoLF-Efficient, which freezes base weights and only routes updates among a pair of LoRA experts of potentially varying rank. Our evaluations show that MoLF either improves on or stays within $1.5\%$ of the better of FFT and LoRA across all settings, while MoLF-Efficient outperforms prior adaptive LoRA approaches by up to $20\%$ on Fact and $9\%$ on Med and SQL.
• Abstract（参考訳）: 微調整の大規模言語モデルに関する最近の文献は、根本的な議論を浮き彫りにしている。 Full Fine-Tuning (FFT) は高エントロピーの知識注入に必要な表現可塑性を提供するが、ローランク適応 (LoRA) は低ランク空間での更新とLoRAの追加正規化の恩恵により多くのタスクが要求されるため、FFT性能に適合または超えることができる。 各種タスク(SQL, 医療QA, 対実知識)および様々な言語モデル(Gemma-3-1B, Qwen2.5-1.5B, Qwen2.5-3B)の実証評価を通じて, どちらの傾向も検証し, 静的アーキテクチャのみに依存することが構造的に制限されていることを示す。 この課題に対処するために,両トレーニング体制間の継続的なナビゲーションを可能にする統合フレームワークであるLoRAとFull(MoLF)ファインチューニングの混合を提案する。 MoLFはFFTとLoRAの更新をオプティマイザレベルで動的にルーティングし、トレーニングを通じて両方の専門家に正確な勾配信号が利用可能であることを保証し、安定したトレーニングダイナミクスを提供する。 メモリ制約のある環境では、ベースウェイトを凍結するMOLF-Efficientも導入します。 評価の結果,MoLF は FFT と LoRA のすべての設定において 1.5 % の範囲内にあるか,あるいは 1.5 % の範囲内にあることが明らかとなった。

関連論文リスト

• Taming Momentum: Rethinking Optimizer States Through Low-Rank Approximation [85.89510825889168]
  効率的な事前学習のための新しい低ランクシステムであるLoRA-Preを紹介する。 LoRA-Pre オンライン線形学習器内のコンパクトな低ランク部分空間に運動量行列を分解する。 Llama アーキテクチャファミリーのモデルを事前学習することで,LoRA-Preの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2026-02-27T18:57:06Z)
• Make LoRA Great Again: Boosting LoRA with Adaptive Singular Values and Mixture-of-Experts Optimization Alignment [20.382810396966473]
  Low-Rank Adaptation (LoRA)は、Large Language Models (LLM) のためのパラメータ効率の良い微調整を可能にする 現在の手法は静的特異値分解サブセットを初期化することでLoRAを最適化し、事前学習された知識を最適に活用する。 我々はLunderlineoRunderlineA Mixture-of-Experunderlinet (GOAT)を提案する。 GOATはSVD構造化MoEを用いて関連する事前情報を統合し、理論スケーリング係数を導出して最適化を完全微調整MoEと整合させる
  論文  参考訳（メタデータ） (2025-02-24T06:48:13Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• Exploring Gradient Subspaces: Addressing and Overcoming LoRA's Limitations in Federated Fine-Tuning of Large Language Models [19.533062623518674]
  本稿ではLow-Rank Adaptation (LoRA)を用いたFLフレームワークの収束と性能保証を批判的に分析する。 直接重み付けはLoRAベースの戦略よりも優れており、微調整モデルでは優れた性能が得られることを示す。 以上の結果から,直接重み付けと併用したGaLoreの方が,FlexLoRAやFFA-LoRAといったフェデレートされたLoRA法よりも,テキストや画像のモダリティが優れていることが示唆された。
  論文  参考訳（メタデータ） (2024-10-30T15:23:44Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。