Fugu-MT 論文翻訳(概要): LAARA: Layer-Aware Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning

論文の概要: LAARA: Layer-Aware Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning

arxiv url: http://arxiv.org/abs/2607.19391v1
Date: Thu, 02 Jul 2026 19:01:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-27 00:46:13.150391
Title: LAARA: Layer-Aware Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning
Title（参考訳）: LAARA:パラメータ効率の良いファインチューニングのための層認識適応ランクアロケーション
Abstract要約: 低ランク適応はパラメータ効率の微調整に広く用いられている。我々は、一様ランクの割り当てが基本的に準最適であることを理論的、実証的に示す。ランクを動的に割り当てる検索不要のフレームワークであるLAARAを提案する。
参考スコア（独自算出の注目度）: 13.12609725011405
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Low-Rank Adaptation is widely used for parameter-efficient fine-tuning, yet existing methods typically assign the same adapter rank to every transformer layer despite their heterogeneous adaptation requirements. In this work, we show theoretically and empirically that uniform rank allocation is fundamentally suboptimal. Motivated by this observation, we propose LAARA (Layer Aware Adaptive Rank Allocation framework), a search-free framework that dynamically allocates ranks using lightweight diagonal Fisher estimates computed during training. LAARA combines projection-wise normalization, logarithmic compression, blended adapter importance estimation, and a vote-to-change dampening mechanism to produce stable and efficient rank adaptation. Experiments on GLUE and MathInstruct benchmark demonstrate that LAARA consistently matches or outperforms popular state of the art approaches such as LoRA, AdaLoRA, DyLoRA, and Bitfit while using significantly fewer trainable parameters. Our results show that Fisher-guided rank allocation provides a principled and effective foundation for adaptive parameter-efficient fine-tuning. The code is publicly available at: https://anonymous.4open.science/r/LAARA-D305/LAARA.py
Abstract（参考訳）: 低ランク適応はパラメータ効率の良い微調整に広く用いられているが、既存の手法では不均一な適応条件にもかかわらず、すべてのトランス層に同じアダプタランクを割り当てる。本研究では、一様ランクの割り当てが基本的に準最適であることを理論的、実証的に示す。本研究の目的は,学習中に計算した軽量な対角的フィッシャー推定を用いてランクを動的に割り当てる検索自由度フレームワークであるLAARA(Layer Aware Adaptive Rank Allocation framework)を提案することである。 LAARAは、プロジェクションワイド正規化、対数圧縮、ブレンドアダプタの重要度推定、および安定かつ効率的なランク適応を生成する投票対変更減衰機構を組み合わせた。 GLUEとMathInstructベンチマークの実験では、LAARAはLoRA、AdaLoRA、DyLoRA、Bitfitといった最先端のアプローチと一貫して一致し、性能を向上し、トレーニング可能なパラメータをはるかに少なくしている。以上の結果から,フィッシャー誘導型ランクアロケーションは適応的パラメータ効率の微調整のための原則的かつ効果的な基礎を提供することが示された。コードは、https://anonymous.4open.science/r/LAARA-D305/LAARA.pyで公開されている。

関連論文リスト

Parameter-Efficient Fine-Tuning with Learnable Rank [30.391374552207008]
Low-Rank Adaptation (LoRA)は、低ランクアダプタへの重み付けを制限したPEFT法である。本稿では, PEFT 法である *Learnable Rank LoRA (LR-LoRA)* を導入する。
論文参考訳（メタデータ） (2026-06-03T00:57:36Z)
SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
論文参考訳（メタデータ） (2026-05-20T13:19:28Z)
MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning [45.41768510181293]
MatryoshkaLoRAは、固定された慎重に作られた対角行列を既存のLoRAアダプタ間で$P$で挿入することで、正確な階層的な低ランク表現を学習する。以上の結果から,MatryoshkaLoraは従来のランク適応手法よりも,より正確な階層的な低ランク表現を学習できることが示唆された。
論文参考訳（メタデータ） (2026-05-08T15:13:01Z)
The Golden Subspace: Where Efficiency Meets Generalization in Continual Test-Time Adaptation [86.83038620308423]
Continual Test-Time Adaptation (CTTA)は、ソースデータにアクセスすることなく、分散シフトの下でラベルなしのデータストリームへのオンライン適応を可能にすることを目的としている。我々は,GOLD ( Guided Online Low-rank Directional Adaptation) を提案する。これは,Goldenサブスペースに機能を投影する軽量アダプタを用いて,サブスペースがAGOPを介して動的に更新される間に,コンパクトなスケーリングベクトルを学習する。
論文参考訳（メタデータ） (2026-03-23T12:48:38Z)
Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
論文参考訳（メタデータ） (2025-07-02T15:56:40Z)
ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs [0.46040036610482665]
本稿では,学習可能なスケーリング因子によるランク割り当てを自動化する新しいフレームワークであるAdaptive Rank Dynamic LoRA(ARD-LoRA)を紹介する。 ARD-LoRAは、連続的で、差別化可能な、ヘッドランクごとの適応を可能にする。 LLAMA-3.1-70BとPaliGemma-2の実験ではARD-LoRAの有効性が示され、トレーニング可能なパラメータは0.32%しかなかった。
論文参考訳（メタデータ） (2025-06-23T03:45:37Z)
ElaLoRA: Elastic & Learnable Low-Rank Adaptation for Efficient Model Fine-Tuning [6.657174308208715]
ElaLoRA は適応的な低ランク適応フレームワークであり、勾配依存の重要度スコアに基づいて動的に順応し、ランクを拡大する。 ElaLoRAは、異なるパラメータ予算で既存のPEFTメソッドを一貫して上回っている。原則的かつ適応的なランク割り当て機構を導入することで、ElaLoRAはスケーラブルで効率的な微調整ソリューションを提供する。
論文参考訳（メタデータ） (2025-03-31T21:58:25Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
SARA: Singular-Value Based Adaptive Low-Rank Adaption [4.135688713311511]
パラメータ効率のよい微細チューニング(PEFT)手法としてのLoRAは、推論オーバーヘッドを加算しないために広く用いられている。本研究ではまず,各層の性能とランクの関係をSVDを用いて解析する。これに基づいてSARA(Singular-Value Based Adaptive Low-Rank Adaption)を設計する。
論文参考訳（メタデータ） (2024-08-06T16:39:42Z)
PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文参考訳（メタデータ） (2024-01-20T20:25:17Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。