論文の概要: DLoRA: Distributed Parameter-Efficient Fine-Tuning Solution for Large Language Model
- arxiv url: http://arxiv.org/abs/2404.05182v1
- Date: Mon, 8 Apr 2024 04:14:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 15:33:28.647210
- Title: DLoRA: Distributed Parameter-Efficient Fine-Tuning Solution for Large Language Model
- Title(参考訳): DLoRA:大規模言語モデルのための分散パラメータ効率の良いファインチューニングソリューション
- Authors: Chao Gao, Sai Qian Zhang,
- Abstract要約: DLoRAと呼ばれる分散パラメータ効率の微調整フレームワークを提案する。
DLoRAはスケーラブルなPEFT操作をクラウドとユーザデバイス間で協調的に実行可能にする。
DLoRAは、ユーザのデバイス上での計算と通信の負荷を大幅に低減し、精度とプライバシ保護に優れることを示す。
- 参考スコア(独自算出の注目度): 17.688874383440208
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To enhance the performance of large language models (LLM) on downstream tasks, one solution is to fine-tune certain LLM parameters and make it better align with the characteristics of the training dataset. This process is commonly known as parameter-efficient fine-tuning (PEFT). Due to the scale of LLM, PEFT operations are usually executed in the public environment (e.g., cloud server). This necessitates the sharing of sensitive user data across public environments, thereby raising potential privacy concerns. To tackle these challenges, we propose a distributed PEFT framework called DLoRA. DLoRA enables scalable PEFT operations to be performed collaboratively between the cloud and user devices. Coupled with the proposed Kill and Revive algorithm, the evaluation results demonstrate that DLoRA can significantly reduce the computation and communication workload over the user devices while achieving superior accuracy and privacy protection.
- Abstract(参考訳): 下流タスクにおける大規模言語モデル(LLM)の性能を高めるために、あるLCMパラメータを微調整し、トレーニングデータセットの特性に適合させる方法がある。
このプロセスは一般にパラメータ効率細調整(PEFT)として知られている。
LLMのスケールのため、PEFT操作は通常、パブリック環境(例えばクラウドサーバ)で実行される。
これにより、機密性の高いユーザーデータを公共環境間で共有する必要があるため、潜在的なプライバシー上の懸念が生じる。
これらの課題に対処するため,DLoRAと呼ばれる分散PEFTフレームワークを提案する。
DLoRAはスケーラブルなPEFT操作をクラウドとユーザデバイス間で協調的に実行可能にする。
提案したKil and Reviveアルゴリズムと組み合わせることで,DLoRAはユーザのデバイス上での計算および通信負荷を大幅に低減し,精度とプライバシ保護に優れることを示す。
関連論文リスト
- Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。
本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
論文 参考訳(メタデータ) (2024-03-18T23:20:08Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳(メタデータ) (2024-02-26T18:59:03Z) - A Fast, Performant, Secure Distributed Training Framework For Large
Language Model [8.547104574876887]
モデルスライシングに基づくセキュア分散LLMを提案する。
クライアント側とサーバ側の両方にTEE(Trusted Execution Environment)をデプロイします。
セキュア通信は、軽量暗号化により、TEEおよび一般的な環境で実行される。
論文 参考訳(メタデータ) (2024-01-18T08:33:09Z) - Chain of LoRA: Efficient Fine-tuning of Language Models via Residual
Learning [31.036465632204663]
本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。
計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
論文 参考訳(メタデータ) (2024-01-08T14:26:49Z) - Differentially Private Low-Rank Adaptation of Large Language Model Using
Federated Learning [36.19569583225485]
本稿では,大規模言語モデル(LLM)に適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。
DP-LoRAは、重み付け更新のノイズを追加し、データプライバシを個別に維持しつつ、協調的なモデルトレーニングを容易にするガウス機構を使用することで、データのプライバシを保存する。
論文 参考訳(メタデータ) (2023-12-29T06:50:38Z) - LoRAMoE: Alleviate World Knowledge Forgetting in Large Language Models
via MoE-Style Plugin [85.16356890023582]
ルータネットワークを用いてローランクアダプタ(LoRA)を複数導入し,それらを統合する新しいフレームワークであるLoRAMoEを提案する。
バックボーンモデルを凍結し、LoRAの一部をダウンストリームタスクの解決に世界の知識を活用することに集中させます。
実験の結果、命令データが増加するにつれて、LoRAMoEは下流タスクの処理能力を大幅に改善できることがわかった。
論文 参考訳(メタデータ) (2023-12-15T17:45:06Z) - Federated Full-Parameter Tuning of Billion-Sized Language Models with
Communication Cost under 18 Kilobytes [56.67419203687434]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。
FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。
サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文 参考訳(メタデータ) (2023-12-11T13:03:21Z) - Run LoRA Run: Faster and Lighter LoRA Implementations [55.00074572087611]
LoRAは、線形層に低ランクアダプタを導入することにより、ニューラルネットワーク内のトレーニング可能なパラメータの数を減らすテクニックである。
本稿では,LoRAの効率的な実装のためのRunLoRAフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-06T10:54:34Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。
異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。
実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-08-12T10:33:57Z) - LoRAPrune: Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [59.74018108967818]
低ランク適応(LoRA)は、安価に微調整された大型事前訓練モデル(LPM)に現れている。
LoRAPruneは、メモリ効率のよい推論のための正確でコンパクトなモデルを提供する新しいフレームワークである。
論文 参考訳(メタデータ) (2023-05-28T15:15:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。