Fugu-MT 論文翻訳(概要): Towards Symmetric Low-Rank Adapters

論文の概要: Towards Symmetric Low-Rank Adapters

arxiv url: http://arxiv.org/abs/2504.03719v2
Date: Tue, 15 Apr 2025 22:46:20 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-17 14:36:59.417360
Title: Towards Symmetric Low-Rank Adapters
Title（参考訳）: 対称低ランクアダプタを目指して
Authors: Tales Panoutsos, Rodrygo L. T. Santos, Flavio Figueiredo,
Abstract要約: より少ない重みを持つLoRAの最適化版であるSymmetric Low-Rank Adaptersを導入する。この方法は、下流タスクをより効率的に学習するために、低ランク対称重み行列を利用する。
参考スコア（独自算出の注目度）: 3.3317825075368908
License:
Abstract: In this paper, we introduce Symmetric Low-Rank Adapters, an optimized variant of LoRA with even fewer weights. This method utilizes Low-Rank Symmetric Weight Matrices to learn downstream tasks more efficiently. Traditional LoRA accumulates fine-tuning weights with the original pre-trained weights via a Singular Value Decomposition (SVD) like approach, i.e., model weights are fine-tuned via updates of the form $BA$ (where $B \in \mathbb{R}^{n\times r}$, $A \in \mathbb{R}^{r\times n}$, and $r$ is the rank of the merged weight matrix). In contrast, our approach, named SymLoRA, represents fine-tuning weights as a Spectral Decomposition, i.e., $Q \, diag(\Lambda)\, Q^T$, where $Q \in \mathbb{R}^{n\times r}$ and $\Lambda \in \mathbb{R}^r$. SymLoRA requires approximately half of the finetuning weights. Here, we show that this approach has negligible losses in downstream efficacy.
Abstract（参考訳）: 本稿では,より少ない重みを持つLoRAの最適化版であるSymmetric Low-Rank Adaptersを紹介する。この方法は、下流タスクをより効率的に学習するために、低ランク対称重み行列を利用する。伝統的なLoRAは、Singular Value Decomposition (SVD) のようなアプローチにより、元のトレーニング済み重量で微調整重みを蓄積する(つまり、モデル重みは$BA$(ここで$B \in \mathbb{R}^{n\times r}$、$A \in \mathbb{R}^{r\times n}$、$r$は合併重み行列のランク)。対照的に、SymLoRAと呼ばれる我々のアプローチは、スペクトル分解、すなわち、$Q \, diag(\Lambda)\, Q^T$, ここで、$Q \in \mathbb{R}^{n\times r}$と$\Lambda \in \mathbb{R}^r$として微調整重みを表す。 SymLoRAは、約半分の微調整重量を必要とする。ここでは、下流の有効性において、このアプローチが無視できる損失を負っていることを示す。

関連論文リスト

Gradient dynamics for low-rank fine-tuning beyond kernels [9.275532709125242]
学生-教師設定における低ランク微調整について検討する。基本モデルにおける行列であり,オンライン勾配勾配で訓練された学生モデルが,教師に収束する,という軽微な仮定の下で証明する。
論文参考訳（メタデータ） (2024-11-23T00:00:28Z)
CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models [7.108651381160281]
Low-Rank Adaptation (LoRA) 戦略は、微調整された大型モデルにおける効率と性能のバランスをとる。我々は、共有知識を活用してLoRAトレーニングを最適化するtextbfCoRAを提案する。実験の結果,最初のアプローチは,パラメータの半減よりも効率が良く,元のLoRAファインチューニングと同じ効果が得られることがわかった。
論文参考訳（メタデータ） (2024-08-31T12:48:27Z)
Optimal Sketching for Residual Error Estimation for Matrix and Vector Norms [50.15964512954274]
線形スケッチを用いた行列とベクトルノルムの残差誤差推定問題について検討する。これは、前作とほぼ同じスケッチサイズと精度で、経験的にかなり有利であることを示す。また、スパースリカバリ問題に対して$Omega(k2/pn1-2/p)$低いバウンダリを示し、これは$mathrmpoly(log n)$ factorまで厳密である。
論文参考訳（メタデータ） (2024-08-16T02:33:07Z)
Parameter-Efficient Fine-Tuning via Circular Convolution [29.442868470645482]
Low-Rank Adaptation (LoRA)は、微調整された大規模な基盤モデルで人気を博している。本稿では,Circular Convolution Adaptation (C$3$A)を提案する。
論文参考訳（メタデータ） (2024-07-27T21:12:46Z)
SBoRA: Low-Rank Adaptation with Regional Weight Updates [19.15481369459963]
本稿では,SBORA(Standard Basis LoRA)を提案する。 SBoRAはトレーニング可能なパラメータの数を半分に減らし、LoRAと同様のトレーニング可能なパラメータの数でランクを2倍にする。本研究は,LoraよりもSBoRA-FAの方が,常識推論や算術推論など,様々な微調整タスクにおいて優れていることを示す。
論文参考訳（メタデータ） (2024-07-07T15:37:13Z)
Asymmetry in Low-Rank Adapters of Foundation Models [47.310550805920585]
本稿では、低ランクアダプタ行列の重要性において、予期せぬ非対称性を特徴付け、活用する。我々は、細調整の$B$が、細調整の$A$よりも本質的に効果的であることを示し、ランダムな未トレーニングの$A$は、細調整の$A$よりもほぼ同等に機能することを示します。
論文参考訳（メタデータ） (2024-02-26T18:59:12Z)
Efficient Alternating Minimization with Applications to Weighted Low Rank Approximation [9.10876982856809]
我々は,更新を概ね計算できる最小化の交互化フレームワークを開発した。我々のフレームワークの核心は、反復最小化の堅牢な解析とともに、高精度な多重応答回帰解法である。
論文参考訳（メタデータ） (2023-06-07T05:38:55Z)
Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文参考訳（メタデータ） (2022-06-26T06:51:31Z)
On Submodular Contextual Bandits [92.45432756301231]
作用が基底集合の部分集合であり、平均報酬が未知の単調部分モジュラ函数によってモデル化されるような文脈的包帯の問題を考える。 Inverse Gap Weighting 戦略により,提案アルゴリズムは推定関数の局所的最適度を効率よくランダム化することを示す。
論文参考訳（メタデータ） (2021-12-03T21:42:33Z)
Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文参考訳（メタデータ） (2020-07-16T06:44:44Z)
Learning nonlinear dynamical systems from a single trajectory [102.60042167341956]
我々は、$x_t+1=sigma(Thetastarx_t)+varepsilon_t$という形の非線形力学系を学ぶアルゴリズムを導入する。最適なサンプル複雑性と線形ランニング時間を持つ単一軌道から重み行列$Thetastar$を復元するアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-04-30T10:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。