論文の概要: ShapLoRA: Allocation of Low-rank Adaption on Large Language Models via Shapley Value Inspired Importance Estimation
- arxiv url: http://arxiv.org/abs/2601.17921v1
- Date: Sun, 25 Jan 2026 17:52:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-27 15:23:08.539165
- Title: ShapLoRA: Allocation of Low-rank Adaption on Large Language Models via Shapley Value Inspired Importance Estimation
- Title（参考訳）: ShapLoRA:Shapley値による重要度推定による大規模言語モデルへの低ランク適応のアロケーション
- Authors: Yi Zhao, Qinghua Yao, Xinyuan song, Wei Zhu,
- Abstract要約: 低ランク適応(LoRA)はパラメータ効率微調整(PEFT)の分野における代表的手法である
近年の文献では、LLMバックボーンのランクを適切に割り当てると性能が向上することがわかった。
提案するShapLoRAフレームワークは,説明可能な属性尺度であるShapley Valueにヒントを得たものだ。
- 参考スコア（独自算出の注目度）: 6.503102865159402
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-rank adaption (LoRA) is a representative method in the field of parameter-efficient fine-tuning (PEFT), and is key to Democratizating the modern large language models (LLMs). The vanilla LoRA is implemented with uniform ranks, and the recent literature have found that properly allocating ranks on the LLM backbones results in performance boosts. However, the previous rank allocation methods have limitations since they rely on inexplanable and unreliable importance measures for the LoRA ranks. To address the above issues, we propose the ShapLoRA framework. Inspired by the explanable attribution measure Shapley Value, we combine the sensitivity-based measures with the idea of coalitions in the collaborative games among LoRA ranks, and propose a more explainable importance measure called Shapley sensitivity. In addition, we optimize the workflow of the existing works by: (a) calculating Shapley sensitivity on a separate validation set; (b) Setting up the allocating-retraining procedures for fair comparisons. We have conducted experiments on various challenging tasks, and the experimental results demonstrate that our ShapLoRA method can outperform the recent baselines with comparable tunable parameters.\footnote{Codes and fine-tuned models will be open-sourced to facilitate future research.
- Abstract（参考訳）: 低ランク適応(LoRA)はパラメータ効率細調整(PEFT)の分野の代表的手法であり、現代の大規模言語モデル(LLM)を民主化するための鍵となる。
バニラ・ロラは均一なランクで実装されており、近年の文献では、LLMバックボーンのランクを適切に割り当てることによってパフォーマンスが向上することがわかった。
しかし、従来のランク割り当て手法は、LoRAのランクに対する説明不能で信頼性の低い重要度に頼っているため、制限がある。
上記の問題に対処するため、ShapLoRAフレームワークを提案する。
説明可能な帰属尺度であるシェープリー値にインスパイアされた我々は、感度に基づく尺度とLoRAランク間の協調ゲームにおける連立の考え方を組み合わせ、シェープリー感度と呼ばれるより説明可能な重要度尺度を提案する。
さらに、既存の作業のワークフローを次のように最適化します。
(a)別個の検証セットにおけるシェープ感度の算出
b)公正比較のための割当規制手順を設定すること。
我々は,様々な課題に対して実験を行い,実験結果から,ShapLoRA法が最近のベースラインを比較可能なチューナブルパラメータで上回ることを示す。
\footnote{Codes and fine-tuned model will be open-sourceed to help future research。
関連論文リスト
- RaSA: Rank-Sharing Low-Rank Adaptation [67.40422142257091]
低ランク適応(LoRA)は大規模言語モデル(LLM)のパラメータ効率の高い微調整に顕著に用いられている。
階層間の部分的なランク共有を活用することで,LoRAの表現能力を高める革新的な拡張であるRan-Sharing Low-Rank Adaptation (RaSA)を導入する。
我々の理論的根拠と実証的なアプローチは、RaSAがLoRAの中核的な利点を維持しているだけでなく、挑戦的なコードや数学タスクのパフォーマンスを大幅に向上していることを示している。
論文 参考訳（メタデータ） (2025-03-16T17:16:36Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。
既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。
クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文 参考訳（メタデータ） (2025-01-22T20:00:41Z) - ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。
まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。
第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
論文 参考訳（メタデータ） (2024-03-24T15:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。