論文の概要: $\textit{Trans-LoRA}$: towards data-free Transferable Parameter Efficient Finetuning
- arxiv url: http://arxiv.org/abs/2405.17258v1
- Date: Mon, 27 May 2024 15:15:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 14:53:29.011004
- Title: $\textit{Trans-LoRA}$: towards data-free Transferable Parameter Efficient Finetuning
- Title（参考訳）: $\textit{Trans-LoRA}$: to data-free Transferable Parameter Efficient Finetuning
- Authors: Runqian Wang, Soumya Ghosh, David Cox, Diego Antognini, Aude Oliva, Rogerio Feris, Leonid Karlinsky,
- Abstract要約: 低ランクアダプタ(LoRA)とその変種はパラメータ効率の良い微調整技術として人気がある。
ベースモデルを新しいモデルに置き換える必要がある場合、関連するすべてのLoRAモジュールを再トレーニングする必要がある。
LoRAモジュールとベースモデルがサービスプロバイダによってホストされている商用クラウドアプリケーションには特に問題があります。
- 参考スコア（独自算出の注目度）: 28.668326340001695
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-rank adapters (LoRA) and their variants are popular parameter-efficient fine-tuning (PEFT) techniques that closely match full model fine-tune performance while requiring only a small number of additional parameters. These additional LoRA parameters are specific to the base model being adapted. When the base model needs to be deprecated and replaced with a new one, all the associated LoRA modules need to be re-trained. Such re-training requires access to the data used to train the LoRA for the original base model. This is especially problematic for commercial cloud applications where the LoRA modules and the base models are hosted by service providers who may not be allowed to host proprietary client task data. To address this challenge, we propose $\textit{Trans-LoRA}$ -- a novel method for lossless, nearly data-free transfer of LoRAs across base models. Our approach relies on synthetic data to transfer LoRA modules. Using large language models, we design a synthetic data generator to approximate the data-generating process of the $\textit{observed}$ task data subset. Training on the resulting synthetic dataset transfers LoRA modules to new models. We show the effectiveness of our approach using both LLama and Gemma model families. Our approach achieves lossless (mostly improved) LoRA transfer between models within and across different base model families, and even between different PEFT methods, on a wide variety of tasks.
- Abstract（参考訳）: 低ランクアダプタ(LoRA)とその変種は、少数の追加パラメータしか必要とせず、完全なモデルファインチューン性能と密に一致したパラメータ効率の微調整(PEFT)技術として人気がある。
これらの追加のLoRAパラメータは、適応されるベースモデルに固有のものである。
ベースモデルを非推奨にし、新しいモデルに置き換える必要がある場合、関連するすべてのLoRAモジュールを再トレーニングする必要がある。
このような再トレーニングは、オリジナルのベースモデルのためにLoRAをトレーニングするために使用されるデータにアクセスする必要がある。
LoRAモジュールとベースモデルが、プロプライエタリなクライアントタスクデータをホストできないサービスプロバイダによってホストされている、商用クラウドアプリケーションには特に問題があります。
この課題に対処するために、ベースモデル間のLoRAのロスレス、ほぼデータなし転送のための新しいメソッドである$\textit{Trans-LoRA}$を提案する。
我々のアプローチは、LoRAモジュールの転送に合成データに依存する。
大規模言語モデルを用いて,$\textit{observed}$ Task Dataサブセットのデータ生成過程を近似する合成データ生成器を設計する。
得られた合成データセットのトレーニングは、LoRAモジュールを新しいモデルに転送する。
LLamaモデルとGemmaモデルの両方を用いたアプローチの有効性を示す。
提案手法は,異なるベースモデルファミリ内および異なるPEFTメソッド間のモデル間のロラ転送を,多種多様なタスクで実現し,損失のない(主に改善された)ロラ転送を実現する。
関連論文リスト
- LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [5.162783756846019]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。
低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。
LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文 参考訳（メタデータ） (2024-11-22T14:19:01Z) - Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。
本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-24T05:24:41Z) - VB-LoRA: Extreme Parameter Efficient Fine-Tuning with Vector Banks [10.266224162377371]
ローランク適応(LoRA)とその派生型は、かなりのストレージと送信コストを発生させる。
我々は,行列次元,モジュール,レイヤ間の低ランク分解の障壁を断ち切る「分割共有」パラダイムを導入する。
VB-LoRAは、最先端PEFT法と比較して、同等または優れた性能を維持しながら、極端なパラメータ効率を達成する。
論文 参考訳（メタデータ） (2024-05-24T03:24:34Z) - Continual Forgetting for Pre-trained Vision Models [70.51165239179052]
現実のシナリオでは、選択的な情報は事前訓練されたモデルから継続的に取り除かれることが期待される。
効率的な削除のためのグループスパースロラ(GS-LoRA)を提案する。
我々は,顔認識,物体検出,画像分類に関する広範な実験を行い,GS-LoRAが他のクラスに最小限の影響で,特定のクラスを忘れることが実証された。
論文 参考訳（メタデータ） (2024-03-18T07:33:56Z) - Chain of LoRA: Efficient Fine-tuning of Language Models via Residual
Learning [31.036465632204663]
本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。
計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2024-01-08T14:26:49Z) - FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the
Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。
本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。
各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。
アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文 参考訳（メタデータ） (2023-11-19T04:43:16Z) - S-LoRA: Serving Thousands of Concurrent LoRA Adapters [59.490751234925206]
パラメータ効率のよい微調整法であるLoRA(Lo-Rank Adaptation)は、ベースモデルを複数のタスクに適応させるためによく用いられる。
本稿では,多数のLoRAアダプタのスケーラブルな提供を目的としたシステムであるS-LoRAを提案する。
論文 参考訳（メタデータ） (2023-11-06T17:26:17Z) - The Expressive Power of Low-Rank Adaptation [11.371811534310078]
パラメータ効率のよい微調整法である低ランク適応は、微調整事前学習モデルの代表的な手法として登場した。
本稿では,LoRAの表現力を理論的に解析することで,ギャップを埋める第一歩を踏み出す。
トランスフォーマーネットワークでは、任意のモデルが、ランク=$(fractextembedding size2)$ LoRAで同じサイズのターゲットモデルに適応可能であることを示す。
論文 参考訳（メタデータ） (2023-10-26T16:08:33Z) - CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices [78.16679232748196]
本稿では,Large Language Models (LLM) を他のタスクに転送するための圧縮対応 LoRA (CA-LoRA) フレームワークを提案する。
実験の結果,CA-LoRAは圧縮LDMに適用したバニラロラ法よりも優れていた。
CA-LoRAのソースコードはhttps://github.com/thunlp/CA-LoRAで公開されている。
論文 参考訳（メタデータ） (2023-07-15T04:37:11Z) - LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。
GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
論文 参考訳（メタデータ） (2021-06-17T17:37:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。