Fugu-MT 論文翻訳(概要): A Single Linear Layer Yields Task-Adapted Low-Rank Matrices

論文の概要: A Single Linear Layer Yields Task-Adapted Low-Rank Matrices

arxiv url: http://arxiv.org/abs/2403.14946v1
Date: Fri, 22 Mar 2024 04:38:42 GMT
ステータス: 処理完了
システム内更新日: 2024-03-25 18:37:30.412793
Title: A Single Linear Layer Yields Task-Adapted Low-Rank Matrices
Title（参考訳）: タスク適応型低ランク行列の単一線形層収率
Authors: Hwichan Kim, Shota Sasaki, Sho Hoshino, Ukyo Honda,
Abstract要約: Low-Rank Adaptation (LoRA) は、初期重量行列$W_0$をデルタ行列$Delta W$で更新するPEFT (Efficient Fine-Tuning) 法として広く用いられている。 CondLoRAのトレーニング可能なパラメータがLoRAのパラメータよりも少ないにもかかわらず、CondLoRAはLoRAと同等のパフォーマンスを維持していることを示す。
参考スコア（独自算出の注目度）: 4.695004706877747
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-Rank Adaptation (LoRA) is a widely used Parameter-Efficient Fine-Tuning (PEFT) method that updates an initial weight matrix $W_0$ with a delta matrix $\Delta W$ consisted by two low-rank matrices $A$ and $B$. A previous study suggested that there is correlation between $W_0$ and $\Delta W$. In this study, we aim to delve deeper into relationships between $W_0$ and low-rank matrices $A$ and $B$ to further comprehend the behavior of LoRA. In particular, we analyze a conversion matrix that transform $W_0$ into low-rank matrices, which encapsulates information about the relationships. Our analysis reveals that the conversion matrices are similar across each layer. Inspired by these findings, we hypothesize that a single linear layer, which takes each layer's $W_0$ as input, can yield task-adapted low-rank matrices. To confirm this hypothesis, we devise a method named Conditionally Parameterized LoRA (CondLoRA) that updates initial weight matrices with low-rank matrices derived from a single linear layer. Our empirical results show that CondLoRA maintains a performance on par with LoRA, despite the fact that the trainable parameters of CondLoRA are fewer than those of LoRA. Therefore, we conclude that "a single linear layer yields task-adapted low-rank matrices."
Abstract（参考訳）: Low-Rank Adaptation (LoRA) はパラメータ効率の良いファインチューニング(PEFT)法で、初期重み行列を$W_0$で更新し、デルタ行列$\Delta W$は2つの低ランク行列$A$と$B$からなる。以前の研究では、$W_0$と$\Delta W$の間に相関があることが示唆された。本研究では,LoRAの振る舞いをより理解するために,$W_0$と$A$,$B$の関係を深く掘り下げることを目的とする。特に、$W_0$を低ランク行列に変換する変換行列を分析し、関係に関する情報をカプセル化する。解析の結果,変換行列は各層で類似していることがわかった。これらの知見に触発されて、各層の$W_0$を入力とする1つの線形層がタスク適応型低ランク行列を生成できるという仮説を立てた。この仮説を裏付けるために,1つの線形層から導出される低ランク行列で初期重み行列を更新する条件パラメータ化LoRA (CondLoRA) という手法を考案した。実験の結果,CundLoRAのトレーニング可能なパラメータがLoRAのパラメータよりも少ないにもかかわらず,CundLoRAはLoRAと同等のパフォーマンスを維持していることがわかった。したがって、「単一線形層はタスク適応型低ランク行列を生成する」と結論付けている。

関連論文リスト

Model-free Low-Rank Reinforcement Learning via Leveraged Entry-wise Matrix Estimation [48.92318828548911]
政策改善と政策評価の段階を交互に行うモデルフリー学習アルゴリズムであるLoRa-PI(Low-Rank Policy Iteration)を提案する。 LoRa-PIは$widetildeO(S+Aover mathrmpoly (1-gamma)varepsilon2)$サンプルを使用して$varepsilon$-optimal Policyを学習する。
論文参考訳（メタデータ） (2024-10-30T20:22:17Z)
Selective Aggregation for Low-Rank Adaptation in Federated Learning [10.683530421910028]
FedSA-LoRA(Federated Share-A Low-Rank Adaptation)では,2つの低ランクトレーニング可能な行列をA$とB$で使用して,重み更新をモデル化する。 FedSA-rsLoRA 法をこれらの LoRA 変種に拡張し,その結果 FedSA-rsLoRA 法と FedSA-VeRA 法が得られた。
論文参考訳（メタデータ） (2024-10-02T12:14:36Z)
CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models [7.108651381160281]
Low-Rank Adaptation (LoRA) 戦略は、微調整された大型モデルにおける効率と性能のバランスをとる。我々は、共有知識を活用してLoRAトレーニングを最適化するtextbfCoRAを提案する。実験の結果,最初のアプローチは,パラメータの半減よりも効率が良く,元のLoRAファインチューニングと同じ効果が得られることがわかった。
論文参考訳（メタデータ） (2024-08-31T12:48:27Z)
From GaLore to WeLore: How Low-Rank Weights Non-uniformly Emerge from Low-Rank Gradients [86.40635601953446]
現代大規模言語モデルの様々な層にまたがる低ランク構造の出現について検討する。 WeLore(Weight Low-Rank Projection)を提案する。
論文参考訳（メタデータ） (2024-07-15T21:05:20Z)
SBoRA: Low-Rank Adaptation with Regional Weight Updates [19.15481369459963]
本稿では,SBORA(Standard Basis LoRA)を提案する。 SBoRAはトレーニング可能なパラメータの数を半分に減らし、LoRAと同様のトレーニング可能なパラメータの数でランクを2倍にする。本研究は,LoraよりもSBoRA-FAの方が,常識推論や算術推論など,様々な微調整タスクにおいて優れていることを示す。
論文参考訳（メタデータ） (2024-07-07T15:37:13Z)
Asymmetry in Low-Rank Adapters of Foundation Models [47.310550805920585]
本稿では、低ランクアダプタ行列の重要性において、予期せぬ非対称性を特徴付け、活用する。我々は、細調整の$B$が、細調整の$A$よりも本質的に効果的であることを示し、ランダムな未トレーニングの$A$は、細調整の$A$よりもほぼ同等に機能することを示します。
論文参考訳（メタデータ） (2024-02-26T18:59:12Z)
Delta-LoRA: Fine-Tuning High-Rank Parameters with the Delta of Low-Rank Matrices [27.693028578653394]
Delta-LoRAは、ファインチューン大言語モデル(LLM)に対する新しいパラメータ効率のアプローチである LoRAやAdaLoRAのような他の低ランク適応手法とは対照的に、Delta-LoRAは低ランク行列を$bA$と$bB$で更新するだけでなく、事前訓練された重みへの学習を広める。
論文参考訳（メタデータ） (2023-09-05T17:40:34Z)
Non-PSD Matrix Sketching with Applications to Regression and Optimization [56.730993511802865]
非PSDおよび2乗根行列の次元削減法を提案する。複数のダウンストリームタスクにこれらのテクニックをどのように使用できるかを示す。
論文参考訳（メタデータ） (2021-06-16T04:07:48Z)
Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-09-30T19:10:32Z)
Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
論文参考訳（メタデータ） (2020-02-08T21:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。