Fugu-MT 論文翻訳(概要): SingLoRA: Low Rank Adaptation Using a Single Matrix

論文の概要: SingLoRA: Low Rank Adaptation Using a Single Matrix

arxiv url: http://arxiv.org/abs/2507.05566v1
Date: Tue, 08 Jul 2025 01:11:30 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-09 16:34:37.466431
Title: SingLoRA: Low Rank Adaptation Using a Single Matrix
Title（参考訳）: SingLoRA:シングルマトリックスを用いた低ランク適応
Authors: David Bensaïd, Noam Rotstein, Roy Velich, Daniel Bensaïd, Ron Kimmel,
Abstract要約: Low-Rank Adaptation (LoRA) は、大きな事前訓練されたモデルのパラメータ効率の高い微調整を著しく進歩させた。本稿では,SingLoRAを提案する。SingLoRAは,重み付け更新を変換によって乗算した1つの低ランク行列の分解として学習することで,低ランク適応を再構築する。
参考スコア（独自算出の注目度）: 7.828928639229988
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Low-Rank Adaptation (LoRA) has significantly advanced parameter-efficient fine-tuning of large pretrained models. LoRA augments the pre-trained weights of a model by adding the product of two smaller matrices that together form a low-rank matrix update. Recent research has shown that scale disparities between these two matrices often cause unstable training dynamics, leading to suboptimal performance. In this paper, we propose SingLoRA, which reformulates low-rank adaptation by learning the weights update as a decomposition of a single low-rank matrix multiplied by its transpose. This simple design inherently removes inter-matrix scale conflicts, ensuring stable optimization, and roughly halves the parameter count. We analyze SingLoRA within the infinite-width neural network framework, showing that it guarantees stable feature learning by construction. Extensive experiments on multiple tasks validate these benefits. In common sense reasoning, fine-tuning LLama 7B on MNLI with SingLoRA achieves 91.3% accuracy - surpassing LoRA (89.1%) and LoRA+ (90.2%) - while using only 60% of their parameter budget. In image generation, fine-tuning Stable Diffusion with SingLoRA significantly improves image fidelity on DreamBooth, achieving a DINO similarity score of 0.151, compared to scores of 0.148 and 0.143 for DoRA and LoRA, respectively.
Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、大きな事前訓練されたモデルのパラメータ効率の高い微調整を著しく進歩させた。 LoRAは、低ランク行列更新を構成する2つの小さな行列の積を追加することで、モデルの事前訓練された重量を増大させる。最近の研究では、これらの2つの行列間のスケール格差が不安定なトレーニングダイナミクスを引き起こし、最適以下の性能をもたらすことが示されている。本稿では,SingLoRAを提案する。SingLoRAは,重み付け更新を変換によって乗算した1つの低ランク行列の分解として学習することで,低ランク適応を再構築する。この単純な設計は本質的に、マクロスケール間の競合を取り除き、安定した最適化を確保し、パラメータ数をほぼ半分にする。我々は、無限幅ニューラルネットワークフレームワークのSingLoRAを分析し、構築による安定した特徴学習を保証することを示す。複数のタスクに関する大規模な実験は、これらの利点を検証する。常識的推論では、SingLoRAによるMNLI上の微調整LLama 7Bの精度は91.3%で、LoRA(89.1%)とLoRA+(90.2%)を上回り、パラメータ予算の60%しか使用していない。画像生成において、SingLoRAを用いた微調整安定拡散は、DINO類似度スコアが0.151であるのに対し、DINO類似度スコアが0.148、LoRAが0.143であるのに対し、DreamBoothの画質を著しく向上させる。

関連論文リスト

DenseLoRA: Dense Low-Rank Adaptation of Large Language Models [14.133511131962786]
低ランク適応 (LoRA) は大規模言語モデル (LLM) に適応するための効率的なアプローチとして開発されている。パラメータ効率を高めつつ,LoRAよりも優れた性能を実現する新しい手法であるDense Low-Rank Adaptation (DenseLoRA)を導入する。我々はDenseLoRAを様々なベンチマークで評価し、LLaMA3-8B上のトレーニング可能なパラメータの0.70%とLoRAの80.8%の精度と比較して、トレーニング可能なパラメータの0.01%で83.8%の精度を達成することを示した。
論文参考訳（メタデータ） (2025-05-27T08:19:07Z)
NLoRA: Nyström-Initiated Low-Rank Adaptation for Large Language Models [12.431575579432458]
SLoRA(StructuredLoRA)を導入し,低ランク行列AとBの間に小さな中間行列を加えることを検討した。次に、Nystr"omLoRA(NLoRA)を提案し、Nystr"om-based initialization for SLoRAを用いて、その有効性と効率を改善する。最後に,NLoRAの中間行列のみを微調整してLLM効率を向上するIntermediateTune(IntTune)を提案する。
論文参考訳（メタデータ） (2025-02-20T12:01:11Z)
LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
論文参考訳（メタデータ） (2024-10-28T17:14:01Z)
LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models [3.7049613588433497]
Low-Rank Adaptation (LoRA)は、微調整のためのトレーニング可能なパラメータの数を著しく削減する。 LoRAを複数のスケールに拡張し、LoRA$2$と名付けます。
論文参考訳（メタデータ） (2024-08-13T12:31:30Z)
LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
論文参考訳（メタデータ） (2024-07-25T17:57:12Z)
SBoRA: Low-Rank Adaptation with Regional Weight Updates [19.15481369459963]
本稿では,SBORA(Standard Basis LoRA)を提案する。 SBoRAはトレーニング可能なパラメータの数を半分に減らし、LoRAと同様のトレーニング可能なパラメータの数でランクを2倍にする。本研究は,LoraよりもSBoRA-FAの方が,常識推論や算術推論など,様々な微調整タスクにおいて優れていることを示す。
論文参考訳（メタデータ） (2024-07-07T15:37:13Z)
LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters [11.23006032094776]
トレーニング可能なパラメータを格段に削減し,優れた性能と競争性能を示すLoRA-XSを提案する。 LoRA-XSは、LoRAと比較して、トレーニング可能なパラメータを7Bモデルで100倍以上削減する。
論文参考訳（メタデータ） (2024-05-27T19:07:13Z)
DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
論文参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。