論文の概要: SA-FedLora: Adaptive Parameter Allocation for Efficient Federated Learning with LoRA Tuning

• arxiv url: http://arxiv.org/abs/2405.09394v1
• Date: Wed, 15 May 2024 14:50:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-16 13:16:53.524597
• Title: SA-FedLora: Adaptive Parameter Allocation for Efficient Federated Learning with LoRA Tuning
• Title（参考訳）: SA-FedLora:LoRAチューニングによる効率的なフェデレーション学習のための適応パラメータ割り当て
• Authors: Yuning Yang, Xiaohong Liu, Tianrun Gao, Xiaodong Xu, Guangyu Wang,
• Abstract要約: 訓練可能なパラメータを減らし,LoRAチューニング(SA-FedLoRA)を用いたシミュレーションアニーリングに基づくフェデレートラーニングを提案する。 実験の結果、SA-FedLoRAは効率の良いFLであり、FedAvgよりも優れた性能を示し、通信パラメータを最大93.62%削減した。
• 参考スコア（独自算出の注目度）: 6.125512669585788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large-scale pre-trained models via transfer learning is an emerging important paradigm for a wide range of downstream tasks, with performance heavily reliant on extensive data. Federated learning (FL), as a distributed framework, provides a secure solution to train models on local datasets while safeguarding raw sensitive data. However, FL networks encounter high communication costs due to the massive parameters of large-scale pre-trained models, necessitating parameter-efficient methods. Notably, parameter efficient fine tuning, such as Low-Rank Adaptation (LoRA), has shown remarkable success in fine-tuning pre-trained models. However, prior research indicates that the fixed parameter budget may be prone to the overfitting or slower convergence. To address this challenge, we propose a Simulated Annealing-based Federated Learning with LoRA tuning (SA-FedLoRA) approach by reducing trainable parameters. Specifically, SA-FedLoRA comprises two stages: initiating and annealing. (1) In the initiating stage, we implement a parameter regularization approach during the early rounds of aggregation, aiming to mitigate client drift and accelerate the convergence for the subsequent tuning. (2) In the annealing stage, we allocate higher parameter budget during the early 'heating' phase and then gradually shrink the budget until the 'cooling' phase. This strategy not only facilitates convergence to the global optimum but also reduces communication costs. Experimental results demonstrate that SA-FedLoRA is an efficient FL, achieving superior performance to FedAvg and significantly reducing communication parameters by up to 93.62%.
• Abstract（参考訳）: 転送学習による大規模な事前学習モデルを微調整することは、広範囲の下流タスクにとって重要なパラダイムであり、パフォーマンスは広範なデータに大きく依存している。 分散フレームワークとしてのフェデレートラーニング(FL)は、生の機密データを保護しながら、ローカルデータセット上のモデルをトレーニングするためのセキュアなソリューションを提供する。 しかし、FLネットワークは、大規模事前学習モデルの膨大なパラメータ、パラメータ効率の手法を必要とするため、通信コストが高い。 特に、LoRA(Lo-Rank Adaptation)のようなパラメータ効率の良い微調整は、微調整事前訓練モデルにおいて顕著な成功を収めている。 しかし、以前の研究では、固定パラメータ予算が過度に適合したり、収束が遅くなる傾向があることが示されている。 この課題に対処するために、トレーニング可能なパラメータを減らし、LoRAチューニング(SA-FedLoRA)を用いたSimulated AnnealingベースのFederated Learningを提案する。 具体的には、SA−FedLoRAは、開始と焼鈍の2段階からなる。 1)開始段階では,アグリゲーションの初期ラウンドにおいてパラメータ正規化手法を実装し,クライアントのドリフトを緩和し,その後のチューニングの収束を加速することを目的としている。 2) 熱処理段階においては, 早期の「加熱」段階において高いパラメータ予算を割り当て, 徐々に「冷却」段階まで予算を縮小する。 この戦略は、グローバルな最適化への収束を促進するだけでなく、通信コストを低減する。 実験の結果、SA-FedLoRAは効率の良いFLであり、FedAvgよりも優れた性能を示し、通信パラメータを最大93.62%削減した。

関連論文リスト

• Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
  Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。 ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。 フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models [54.02863371927658]
  大規模言語モデル(LLM)は多くの現実世界のアプリケーションで必須となっている。 フェレットは、ランダム性を共有する最初の一階法である。 高い計算効率、通信オーバーヘッドの低減、高速収束を実現している。
  論文  参考訳（メタデータ） (2024-09-10T07:28:13Z)
• Robust Federated Finetuning of Foundation Models via Alternating Minimization of LoRA [14.789886179102425]
  RoLoRAは、LoRAの交互アプローチを利用する、堅牢なフェデレーションファインチューニングフレームワークである。 この結果から,RoLoRAは通信の利点を示すだけでなく,複数のファインチューニングシナリオにおけるロバスト性と有効性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-09-04T00:20:55Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。