論文の概要: A Unified Study of LoRA Variants: Taxonomy, Review, Codebase, and Empirical Evaluation

• arxiv url: http://arxiv.org/abs/2601.22708v1
• Date: Fri, 30 Jan 2026 08:30:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.32491
• Title: A Unified Study of LoRA Variants: Taxonomy, Review, Codebase, and Empirical Evaluation
• Title（参考訳）: LoRA変数の統一的研究:分類学、レビュー、コードベース、経験的評価
• Authors: Haonan He, Jingqi Ye, Minglei Li, Zhengbo Wang, Tao Chen, Lei Bai, Peng Ye,
• Abstract要約: Low-Rank Adaptation (LoRA)は、大規模ニューラルネットワークにおける効率と性能のバランスをとるパラメータ効率の良い微調整手法である。 この研究は、体系的な分類学、統一された理論的レビュー、構造化された経験的評価、および標準化された経験的評価を提供する、LoRA変種の最初の統一的な研究を提示する。
• 参考スコア（独自算出の注目度）: 22.672020176368083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) is a fundamental parameter-efficient fine-tuning method that balances efficiency and performance in large-scale neural networks. However, the proliferation of LoRA variants has led to fragmentation in methodology, theory, code, and evaluation. To this end, this work presents the first unified study of LoRA variants, offering a systematic taxonomy, unified theoretical review, structured codebase, and standardized empirical assessment. First, we categorize LoRA variants along four principal axes: rank, optimization dynamics, initialization, and integration with Mixture-of-Experts. Then, we review their relationships and evolution within a common theoretical framework focused on low-rank update dynamics. Further, we introduce LoRAFactory, a modular codebase that implements variants through a unified interface, supporting plug-and-play experimentation and fine-grained analysis. Last, using this codebase, we conduct a large-scale evaluation across natural language generation, natural language understanding, and image classification tasks, systematically exploring key hyperparameters. Our results uncover several findings, notably: LoRA and its variants exhibit pronounced sensitivity to the choices of learning rate compared to other hyperparameters; moreover, with proper hyperparameter configurations, LoRA consistently matches or surpasses the performance of most of its variants.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、大規模ニューラルネットワークにおける効率と性能のバランスをとる基本パラメータ効率の良い微調整手法である。 しかし、LoRA変種の普及は方法論、理論、コード、評価の断片化につながった。 この目的のために、この研究は、体系的な分類学、統一された理論的レビュー、構造化されたコードベース、および標準化された経験的評価を提供する、LoRA変種に関する最初の統一的な研究を提示する。 まず、ランク、最適化力学、初期化、Mixture-of-Expertsとの統合の4つの主軸に沿ってLoRA変種を分類する。 次に、低ランク更新ダイナミクスに焦点をあてた共通の理論的枠組みの中で、それらの関係と進化を概観する。 さらに,モジュール型コードベースであるLoRAFactoryについても紹介する。 最後に、このコードベースを用いて、自然言語生成、自然言語理解、画像分類タスクを大規模に評価し、キーハイパーパラメータを体系的に探索する。 その結果,LoRAとその変異体は,他のハイパーパラメータと比較して学習速度の選択に対して顕著な感度を示し,また,適切なハイパーパラメータ構成により,LoRAはその変種の大部分のパフォーマンスを一貫して一致または上回っていることがわかった。

関連論文リスト

• Evaluating Parameter Efficient Methods for RLVR [38.45552186628944]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、言語モデルにインセンティブを与え、検証可能なフィードバックを通じて推論能力を高める。 LoRAのような手法は一般的に使われているが、RLVRのための最適なPEFTアーキテクチャは未同定のままである。 本稿では,DeepSeek-R1-Distill 系における12以上のPEFT手法の数学的推論ベンチマークによる総合評価を行った。
  論文  参考訳（メタデータ） (2025-12-29T03:13:08Z)
• ElaLoRA: Elastic & Learnable Low-Rank Adaptation for Efficient Model Fine-Tuning [6.657174308208715]
  ElaLoRA は適応的な低ランク適応フレームワークであり、勾配依存の重要度スコアに基づいて動的に順応し、ランクを拡大する。 ElaLoRAは、異なるパラメータ予算で既存のPEFTメソッドを一貫して上回っている。 原則的かつ適応的なランク割り当て機構を導入することで、ElaLoRAはスケーラブルで効率的な微調整ソリューションを提供する。
  論文  参考訳（メタデータ） (2025-03-31T21:58:25Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• DiffoRA: Enabling Parameter-Efficient Fine-Tuning via Differential Module Selection [32.369133126167085]
  Low-Rank Adaptation (LoRA) は、既存のトレーニング済みモデルに低ランク行列を組み込むことで、その合理化設計で人気を博している。 本稿では,低ランク分解行列を適応的に適用可能なDiffoRAを提案する。
  論文  参考訳（メタデータ） (2025-02-13T02:41:34Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning [34.109808214968176]
  Generalized LoRA (GLoRA) は、汎用パラメータ効率の微調整タスクのための先進的なアプローチである。 一般化されたプロンプトモジュールを使用して、事前訓練されたモデルの重量を最適化し、中間活性化を調整する。 GLoRAは、強力な転送学習、少数ショット学習、ドメイン一般化能力を示す。
  論文  参考訳（メタデータ） (2023-06-13T17:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。