論文の概要: Parameter-Efficient Fine-Tuning with Learnable Rank

• arxiv url: http://arxiv.org/abs/2606.04325v1
• Date: Wed, 03 Jun 2026 00:57:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.455574
• Title: Parameter-Efficient Fine-Tuning with Learnable Rank
• Title（参考訳）: 学習可能なランクを持つパラメータ効率の良いファインチューニング
• Authors: Arpit Garg, Simon Lucey, Hemanth Saratchandran,
• Abstract要約: Low-Rank Adaptation (LoRA)は、低ランクアダプタへの重み付けを制限したPEFT法である。 本稿では, PEFT 法である *Learnable Rank LoRA (LR-LoRA)* を導入する。
• 参考スコア（独自算出の注目度）: 30.391374552207008
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Low-Rank Adaptation (LoRA) is a popular parameter-efficient fine-tuning (PEFT) method that restricts weight updates to low-rank adapters, introducing a fixed low-rank inductive bias by optimizing in a low-dimensional subspace. In this work, we question whether a fixed-rank constraint is the most effective inductive bias for parameter-efficient fine-tuning. We introduce *Learnable Rank LoRA (LR-LoRA)*, a PEFT method in which the adapter rank is learned during the training process. Instead of prescribing a uniform rank for all adapter layers, LR-LoRA allows the optimizer to determine the appropriate rank for each layer. Using this approach, we find substantial layer-wise variation in the learned ranks, with the attention and MLP layers in the transformer models exhibiting systematically different rank preferences. Across a range of language understanding and commonsense reasoning benchmarks, LR-LoRA achieves state-of-the-art performance in most settings and consistently outperforms strong PEFT baselines, demonstrating that a learnable rank provides a more flexible and effective inductive bias than fixed-rank adaptations.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、低次元部分空間で最適化することで、固定された低ランク誘導バイアスを導入し、低ランクアダプタへの重み更新を制限する人気のあるパラメータ効率の微調整(PEFT)手法である。 本研究では,パラメータ効率の良い微調整において,固定ランク制約が最も効果的な帰納バイアスであるかどうかを問う。 本稿では, PEFT 法である *Learnable Rank LoRA (LR-LoRA)* を導入する。 すべてのアダプタ層に対して均一なランクを規定する代わりに、LR-LoRAはオプティマイザが各レイヤの適切なランクを決定することができる。 このアプローチを用いることで、学習したランクにはかなりの層差が見られ、関心層とMLP層は、系統的に異なるランクの選好を示すトランスフォーマーモデルに現れる。 言語理解とコモンセンス推論のベンチマークの範囲で、LR-LoRAは、ほとんどの設定において最先端のパフォーマンスを達成し、強力なPEFTベースラインを一貫して上回り、学習可能なランクは固定ランク適応よりも柔軟で効果的な帰納バイアスを提供することを示した。

関連論文リスト

• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning [45.41768510181293]
  MatryoshkaLoRAは、固定された慎重に作られた対角行列を既存のLoRAアダプタ間で$P$で挿入することで、正確な階層的な低ランク表現を学習する。 以上の結果から,MatryoshkaLoraは従来のランク適応手法よりも,より正確な階層的な低ランク表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2026-05-08T15:13:01Z)
• ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs [0.46040036610482665]
  本稿では,学習可能なスケーリング因子によるランク割り当てを自動化する新しいフレームワークであるAdaptive Rank Dynamic LoRA(ARD-LoRA)を紹介する。 ARD-LoRAは、連続的で、差別化可能な、ヘッドランクごとの適応を可能にする。 LLAMA-3.1-70BとPaliGemma-2の実験ではARD-LoRAの有効性が示され、トレーニング可能なパラメータは0.32%しかなかった。
  論文  参考訳（メタデータ） (2025-06-23T03:45:37Z)
• ElaLoRA: Elastic & Learnable Low-Rank Adaptation for Efficient Model Fine-Tuning [6.657174308208715]
  ElaLoRA は適応的な低ランク適応フレームワークであり、勾配依存の重要度スコアに基づいて動的に順応し、ランクを拡大する。 ElaLoRAは、異なるパラメータ予算で既存のPEFTメソッドを一貫して上回っている。 原則的かつ適応的なランク割り当て機構を導入することで、ElaLoRAはスケーラブルで効率的な微調整ソリューションを提供する。
  論文  参考訳（メタデータ） (2025-03-31T21:58:25Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• A Rank Stabilization Scaling Factor for Fine-Tuning with LoRA [0.7252027234425334]
  PEFTの一般的な手法はLoRA(Lo-Rank Adapters)であり、選択した層にトレーニング可能な低ランクの"アダプタ"を追加する。 このスケーリング係数は、アダプタをランクの要素で分割するので、ローラの学習が遅くなり、上位のアダプタでスタントのパフォーマンスが低下する。 我々はLoRAを適切なスケーリング係数で修正し、微調整の計算/性能トレードオフを容易に提供します。
  論文  参考訳（メタデータ） (2023-11-28T03:23:20Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。