Fugu-MT 論文翻訳(概要): ROSA: Random Subspace Adaptation for Efficient Fine-Tuning

論文の概要: ROSA: Random Subspace Adaptation for Efficient Fine-Tuning

arxiv url: http://arxiv.org/abs/2407.07802v1
Date: Wed, 10 Jul 2024 16:20:53 GMT
ステータス: 処理完了
システム内更新日: 2024-07-11 15:53:02.128259
Title: ROSA: Random Subspace Adaptation for Efficient Fine-Tuning
Title（参考訳）: ROSA: 効率的なファインチューニングのためのランダム部分空間適応
Authors: Marawan Gamal Abdel Hameed, Aristides Milios, Siva Reddy, Guillaume Rabusseau,
Abstract要約: 本稿では,従来のPEFT法よりも有意差で優れた手法であるRandom Subspace Adaptation (ROSA)を提案する。 ROSAは任意に大きな次元の部分空間を適応することができ、フルファインタニングをより良く適用できる。ほぼすべてのGLUEタスク ROSA が LoRA をかなり上回り、また NLG タスクでは LoRA を上回ります。
参考スコア（独自算出の注目度）: 28.131716933079424
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Model training requires significantly more memory, compared with inference. Parameter efficient fine-tuning (PEFT) methods provide a means of adapting large models to downstream tasks using less memory. However, existing methods such as adapters, prompt tuning or low-rank adaptation (LoRA) either introduce latency overhead at inference time or achieve subpar downstream performance compared with full fine-tuning. In this work we propose Random Subspace Adaptation (ROSA), a method that outperforms previous PEFT methods by a significant margin, while maintaining a zero latency overhead during inference time. In contrast to previous methods, ROSA is able to adapt subspaces of arbitrarily large dimension, better approximating full-finetuning. We demonstrate both theoretically and experimentally that this makes ROSA strictly more expressive than LoRA, without consuming additional memory during runtime. As PEFT methods are especially useful in the natural language processing domain, where models operate on scales that make full fine-tuning very expensive, we evaluate ROSA in two common NLP scenarios: natural language generation (NLG) and natural language understanding (NLU) with GPT-2 and RoBERTa, respectively. We show that on almost every GLUE task ROSA outperforms LoRA by a significant margin, while also outperforming LoRA on NLG tasks. Our code is available at https://github.com/rosa-paper/rosa
Abstract（参考訳）: モデルトレーニングは推論よりもはるかに多くのメモリを必要とする。パラメータ効率のよい微細チューニング(PEFT)手法は、少ないメモリでダウンストリームタスクに大規模なモデルを適用する手段を提供する。しかしながら、アダプタやプロンプトチューニング、ローランク適応(LoRA)といった既存の手法では、推論時に遅延オーバーヘッドを発生させるか、フル微調整と比較してサブパーダウンストリームのパフォーマンスを達成する。本研究では,従来のPEFT手法よりも高い性能を示す手法であるRandom Subspace Adaptation (ROSA)を提案する。従来の方法とは対照的に、ROSAは任意に大きな次元の部分空間を適用でき、フルファインタニングの近似がより良くできる。理論的および実験的に、ROSAは実行時に追加メモリを消費することなく、LoRAよりも厳密に表現できることを示した。 PEFT法は自然言語処理領域において特に有用であり,完全な微調整を行うスケールでモデルが動作するため,自然言語生成(NLG)と自然言語理解(NLU)の2つの共通シナリオにおいて,ROSAをそれぞれGPT-2とRoBERTaで評価する。ほぼすべてのGLUEタスク ROSA が LoRA をかなり上回り、また NLG タスクでは LoRA を上回ります。私たちのコードはhttps://github.com/rosa-paper/rosaで利用可能です。

関連論文リスト

Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
Enabling Efficient On-Device Fine-Tuning of LLMs Using Only Inference Engines [17.539008562641303]
大規模言語モデル(LLM)は現在、大規模なクラウドサーバ上で事前トレーニングされ、微調整されている。次のフロンティアはLLMパーソナライズであり、ファンデーションモデルをユーザ/タスク固有のデータで微調整することができる。リソース制約のあるエッジデバイスの微調整は、かなりのメモリと計算要求のために大きな課題となる。
論文参考訳（メタデータ） (2024-09-23T20:14:09Z)
LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models [3.7049613588433497]
Low-Rank Adaptation (LoRA)は、微調整のためのトレーニング可能なパラメータの数を著しく削減する。 LoRAを複数のスケールに拡張し、LoRA$2$と名付けます。
論文参考訳（メタデータ） (2024-08-13T12:31:30Z)
BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models [13.660511750245245]
この研究は、バイアス継承に対抗するために設計された新しいPEFT法であるBias-Alleviating Low-Rank Adaptation (BA-LoRA)を導入している。 BA-LoRAは、(1)整合正則化器、(2)多様性正則化器、(3)特異値分解正則化器の3つの異なる正則化項を含む。その結果、BA-LoRAはLoRAとその最先端の変種よりも優れていた。
論文参考訳（メタデータ） (2024-08-08T16:13:26Z)
LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning [31.088229461632206]
大規模言語モデル(LLM)は大規模トレーニングにおいて重要な障害となっている。ローランド適応(LoRA)はこの問題を軽減するために提案されている。微調整作業におけるLoRAの層状特性について検討し、予期せぬが一貫した重みノルムの歪さを観察する。私たちはLayerwise Importance Sampled AdamW (LISA)と名付けた。
論文参考訳（メタデータ） (2024-03-26T17:55:02Z)
ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
論文参考訳（メタデータ） (2024-02-28T04:33:20Z)
MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
論文参考訳（メタデータ） (2024-02-27T07:14:12Z)
DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
論文参考訳（メタデータ） (2024-02-14T17:59:34Z)
Run LoRA Run: Faster and Lighter LoRA Implementations [50.347242693025336]
LoRAは、線形層に低ランクアダプタを導入することにより、ニューラルネットワーク内のトレーニング可能なパラメータの数を減らすテクニックである。本稿では,LoRAの効率的な実装のためのRunLoRAフレームワークを提案する。実験は、言語モデリングネットワーク上で最大28%のスピードアップを示す。
論文参考訳（メタデータ） (2023-12-06T10:54:34Z)
LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。 GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
論文参考訳（メタデータ） (2021-06-17T17:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。