Fugu-MT 論文翻訳(概要): Robust Federated Finetuning of Foundation Models via Alternating Minimization of LoRA

論文の概要: Robust Federated Finetuning of Foundation Models via Alternating Minimization of LoRA

arxiv url: http://arxiv.org/abs/2409.02346v1
Date: Wed, 4 Sep 2024 00:20:55 GMT
ステータス: 処理完了
システム内更新日: 2024-09-05 20:51:59.785777
Title: Robust Federated Finetuning of Foundation Models via Alternating Minimization of LoRA
Title（参考訳）: LoRAの置換最小化による基礎モデルのロバストフェデレーションファインタニング
Authors: Shuangyi Chen, Yue Ju, Hardik Dalal, Zhongwen Zhu, Ashish Khisti,
Abstract要約: RoLoRAは、LoRAの交互アプローチを利用する、堅牢なフェデレーションファインチューニングフレームワークである。この結果から,RoLoRAは通信の利点を示すだけでなく,複数のファインチューニングシナリオにおけるロバスト性と有効性を大幅に向上させることがわかった。
参考スコア（独自算出の注目度）: 14.789886179102425
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Parameter-Efficient Fine-Tuning (PEFT) has risen as an innovative training strategy that updates only a select few model parameters, significantly lowering both computational and memory demands. PEFT also helps to decrease data transfer in federated learning settings, where communication depends on the size of updates. In this work, we explore the constraints of previous studies that integrate a well-known PEFT method named LoRA with federated fine-tuning, then introduce RoLoRA, a robust federated fine-tuning framework that utilizes an alternating minimization approach for LoRA, providing greater robustness against decreasing fine-tuning parameters and increasing data heterogeneity. Our results indicate that RoLoRA not only presents the communication benefits but also substantially enhances the robustness and effectiveness in multiple federated fine-tuning scenarios.
Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)は、少数のモデルパラメータのみを更新し、計算とメモリの要求の両方を大幅に削減する革新的なトレーニング戦略として台頭している。 PEFTはまた、コミュニケーションが更新のサイズに依存するフェデレートされた学習環境におけるデータ転送を減らすのにも役立っている。本研究では,LoRAと呼ばれるPEFT法とフェデレーションファインチューニングを統合した従来の研究の制約を検討するとともに,LoRAの最小化アプローチを交互に活用する堅牢なフェデレーションファインチューニングフレームワークであるRoLoRAを導入し,微調整パラメータの減少やデータ不均一性の増大に対する堅牢性を高めることを目的とした。この結果から,RoLoRAは通信の利点を示すだけでなく,複数のファインチューニングシナリオにおけるロバスト性と有効性を大幅に向上させることがわかった。

関連論文リスト

SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。初期経路では、中間出力は反冗長動作によって統合される。遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文参考訳（メタデータ） (2024-07-10T10:22:35Z)
SA-FedLora: Adaptive Parameter Allocation for Efficient Federated Learning with LoRA Tuning [6.125512669585788]
訓練可能なパラメータを減らし,LoRAチューニング(SA-FedLoRA)を用いたシミュレーションアニーリングに基づくフェデレートラーニングを提案する。実験の結果、SA-FedLoRAは効率の良いFLであり、FedAvgよりも優れた性能を示し、通信パラメータを最大93.62%削減した。
論文参考訳（メタデータ） (2024-05-15T14:50:46Z)
FeDeRA:Efficient Fine-tuning of Language Models in Federated Learning Leveraging Weight Decomposition [7.229494183462913]
微調整後の例外的なパフォーマンスにもかかわらず、プレトレーニング言語モデル(PLM)はプライバシー上の懸念から重大な課題に直面している。本論文では,フェデレートラーニング(FL)を微調整PLMとみなす。 1つの有望な解決策はパラメータ効率細調整(PEFT)をFLに活用することであり、完全なパラメータ細調整(FFT)よりもはるかに小さなパラメータセットを訓練する。
論文参考訳（メタデータ） (2024-04-29T16:42:26Z)
ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
論文参考訳（メタデータ） (2024-02-28T04:33:20Z)
LoRA Meets Dropout under a Unified Framework [38.5176197615878]
大規模言語モデル(LLM)は、多くのNLPアプリケーションにおいて重要な要素として現れている。様々なドロップアウト手法は、当初は全てのパラメータを更新した完全な微調整のために設計されていたが、過剰なパラメータ冗長性に関連する過度な適合を緩和した。我々は,これらの手法を,落下位置,構造パターン,補償基準に基づいてインスタンス化する総合的な調査のための統一的な枠組みを導入する。
論文参考訳（メタデータ） (2024-02-25T07:09:10Z)
PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA [45.38491644250814]
部分回転型低ランク適応(PRoLoRA)は層内共有機構である。 PRoLoRAはその利点を保ち、ピアパラメータ共有手法の欠点を効果的に回避する。実験によりPRoLoRAのパラメータ効率が著しく向上した。
論文参考訳（メタデータ） (2024-02-24T13:39:05Z)
DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
論文参考訳（メタデータ） (2024-02-14T17:59:34Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)
Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
論文参考訳（メタデータ） (2023-10-19T15:13:58Z)
SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
論文参考訳（メタデータ） (2023-08-12T10:33:57Z)
AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。