論文の概要: ShapLoRA: Allocation of Low-rank Adaption on Large Language Models via Shapley Value Inspired Importance Estimation
- arxiv url: http://arxiv.org/abs/2601.17921v1
- Date: Sun, 25 Jan 2026 17:52:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-27 15:23:08.539165
- Title: ShapLoRA: Allocation of Low-rank Adaption on Large Language Models via Shapley Value Inspired Importance Estimation
- Title（参考訳）: ShapLoRA:Shapley値による重要度推定による大規模言語モデルへの低ランク適応のアロケーション
- Authors: Yi Zhao, Qinghua Yao, Xinyuan song, Wei Zhu,
- Abstract要約: 低ランク適応(LoRA)はパラメータ効率微調整(PEFT)の分野における代表的手法である
近年の文献では、LLMバックボーンのランクを適切に割り当てると性能が向上することがわかった。
提案するShapLoRAフレームワークは,説明可能な属性尺度であるShapley Valueにヒントを得たものだ。
- 参考スコア（独自算出の注目度）: 6.503102865159402
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-rank adaption (LoRA) is a representative method in the field of parameter-efficient fine-tuning (PEFT), and is key to Democratizating the modern large language models (LLMs). The vanilla LoRA is implemented with uniform ranks, and the recent literature have found that properly allocating ranks on the LLM backbones results in performance boosts. However, the previous rank allocation methods have limitations since they rely on inexplanable and unreliable importance measures for the LoRA ranks. To address the above issues, we propose the ShapLoRA framework. Inspired by the explanable attribution measure Shapley Value, we combine the sensitivity-based measures with the idea of coalitions in the collaborative games among LoRA ranks, and propose a more explainable importance measure called Shapley sensitivity. In addition, we optimize the workflow of the existing works by: (a) calculating Shapley sensitivity on a separate validation set; (b) Setting up the allocating-retraining procedures for fair comparisons. We have conducted experiments on various challenging tasks, and the experimental results demonstrate that our ShapLoRA method can outperform the recent baselines with comparable tunable parameters.\footnote{Codes and fine-tuned models will be open-sourced to facilitate future research.
- Abstract（参考訳）: 低ランク適応(LoRA)はパラメータ効率細調整(PEFT)の分野の代表的手法であり、現代の大規模言語モデル(LLM)を民主化するための鍵となる。
バニラ・ロラは均一なランクで実装されており、近年の文献では、LLMバックボーンのランクを適切に割り当てることによってパフォーマンスが向上することがわかった。
しかし、従来のランク割り当て手法は、LoRAのランクに対する説明不能で信頼性の低い重要度に頼っているため、制限がある。
上記の問題に対処するため、ShapLoRAフレームワークを提案する。
説明可能な帰属尺度であるシェープリー値にインスパイアされた我々は、感度に基づく尺度とLoRAランク間の協調ゲームにおける連立の考え方を組み合わせ、シェープリー感度と呼ばれるより説明可能な重要度尺度を提案する。
さらに、既存の作業のワークフローを次のように最適化します。
(a)別個の検証セットにおけるシェープ感度の算出
b)公正比較のための割当規制手順を設定すること。
我々は,様々な課題に対して実験を行い,実験結果から,ShapLoRA法が最近のベースラインを比較可能なチューナブルパラメータで上回ることを示す。
\footnote{Codes and fine-tuned model will be open-sourceed to help future research。
関連論文リスト
- Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。
本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。
勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
論文 参考訳（メタデータ） (2026-02-18T13:41:41Z) - The Appeal and Reality of Recycling LoRAs with Adaptive Merging [33.0501514389443]
私たちは、Hugging Face Hubのようなモデルリポジトリで見つかったLoRAのリサイクルについて検討しています。
適応的なマージ手法は,ベースモデルよりも性能が向上するが,新しいLoRAをトレーニングする際のメリットは限定的であることを示す。
このことは、リサイクルされたLoRAからの適応的なマージが、主にある種の正規化効果を介して機能する可能性を高める。
論文 参考訳（メタデータ） (2026-02-12T18:59:20Z) - Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning [48.66442009036754]
Low-Rank Adaptation (LoRA)は、効率的な大規模言語モデルの微調整のための一般的なアプローチである。
本研究では,バニラ・ロラとともに4つの代表的ロラ変種を再評価する。
異なるLoRA手法が学習率の異なる範囲を好んでいることが判明した。
論文 参考訳（メタデータ） (2026-02-04T19:36:20Z) - RaSA: Rank-Sharing Low-Rank Adaptation [67.40422142257091]
低ランク適応(LoRA)は大規模言語モデル(LLM)のパラメータ効率の高い微調整に顕著に用いられている。
階層間の部分的なランク共有を活用することで,LoRAの表現能力を高める革新的な拡張であるRan-Sharing Low-Rank Adaptation (RaSA)を導入する。
我々の理論的根拠と実証的なアプローチは、RaSAがLoRAの中核的な利点を維持しているだけでなく、挑戦的なコードや数学タスクのパフォーマンスを大幅に向上していることを示している。
論文 参考訳（メタデータ） (2025-03-16T17:16:36Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。
既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。
クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文 参考訳（メタデータ） (2025-01-22T20:00:41Z) - MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning [9.91790333647256]
低ランク適応法(LoRA)とその混合実験法(MOE)は,高効率なパラメータ効率微調整法(PEFT)である。
新規かつ効率的なLoRA変種であるMiLoRAを提案する。
MiLoRAは、各LoRAモジュールを専門家として考慮し、プロンプト対応のルーティング機構を採用することで、従来のMOEスタイルのLoRAメソッドと異なる。
論文 参考訳（メタデータ） (2024-10-23T17:04:40Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。
まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。
第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
論文 参考訳（メタデータ） (2024-03-24T15:09:55Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。