Fugu-MT 論文翻訳(概要): FLoCoRA: Federated learning compression with low-rank adaptation

論文の概要: FLoCoRA: Federated learning compression with low-rank adaptation

arxiv url: http://arxiv.org/abs/2406.14082v1
Date: Thu, 20 Jun 2024 07:59:29 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 14:50:31.138117
Title: FLoCoRA: Federated learning compression with low-rank adaptation
Title（参考訳）: FLoCoRA:低ランク適応型フェデレーション学習圧縮
Authors: Lucas Grativol Ribeiro, Mathieu Leonardon, Guillaume Muller, Virginie Fresse, Matthieu Arzel,
Abstract要約: Low-Rank Adaptation (LoRA)法は、数十億のパラメータを含むモデルの効率的なパラメータ微調整で人気を集めている。本稿では,フェデレートラーニングにおけるLoRA手法の適用例を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-Rank Adaptation (LoRA) methods have gained popularity in efficient parameter fine-tuning of models containing hundreds of billions of parameters. In this work, instead, we demonstrate the application of LoRA methods to train small-vision models in Federated Learning (FL) from scratch. We first propose an aggregation-agnostic method to integrate LoRA within FL, named FLoCoRA, showing that the method is capable of reducing communication costs by 4.8 times, while having less than 1% accuracy degradation, for a CIFAR-10 classification task with a ResNet-8. Next, we show that the same method can be extended with an affine quantization scheme, dividing the communication cost by 18.6 times, while comparing it with the standard method, with still less than 1% of accuracy loss, tested with on a ResNet-18 model. Our formulation represents a strong baseline for message size reduction, even when compared to conventional model compression works, while also reducing the training memory requirements due to the low-rank adaptation.
Abstract（参考訳）: Low-Rank Adaptation (LoRA)法は、数十億のパラメータを含むモデルの効率的なパラメータ微調整で人気を集めている。そこで本研究では,Federated Learning (FL) における小さなビジョンモデルをスクラッチから学習するための LoRA 手法の応用を実演する。まず,FLoCoRAと呼ばれるFLにLoRAを組み込むアグリゲーションに依存しない手法を提案し,ResNet-8を用いたCIFAR-10分類タスクにおいて,通信コストを4.8倍に削減できることを示す。次に、同じ手法をアフィン量子化方式で拡張し、通信コストを18.6倍にし、標準手法と比較し、ResNet-18モデルで検証した精度損失の1%以下であることを示す。我々の定式化は、従来のモデル圧縮作業と比較しても、メッセージサイズ削減のための強力なベースラインであり、低ランク適応によるトレーニングメモリ要求も低減している。

関連論文リスト

GeoLoRA: Geometric integration for parameter efficient fine-tuning [6.701651480567394]
Low-Rank Adaptation (LoRA) は、事前学習されたニューラルネットワークのパラメータ効率の高い微調整法として広く使われている。動的低ランク近似理論を応用した新しいアプローチであるGeoLoRAを導入する。その結果,GeoLoRAの精度と計算効率の両面において既存手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-10-24T13:26:10Z)
Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-10T18:51:53Z)
Robust Federated Finetuning of Foundation Models via Alternating Minimization of LoRA [14.789886179102425]
RoLoRAは、LoRAの交互アプローチを利用する、堅牢なフェデレーションファインチューニングフレームワークである。この結果から,RoLoRAは通信の利点を示すだけでなく,複数のファインチューニングシナリオにおけるロバスト性と有効性を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2024-09-04T00:20:55Z)
ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
論文参考訳（メタデータ） (2024-02-28T04:33:20Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)
pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning [35.59830784463706]
フェデレートラーニング(FL)は、中央サーバーが複数の参加者(クライアント)を協調的に調整し、分散データをトレーニングする、新たな機械学習パラダイムである。我々は,LoRAチューニング(pFedLoRA)に基づく,新規で効率的なモデル・ヘテロジニアス・パーソナライズド・ラーニング・フレームワークを提案する。 2つのベンチマークデータセットの実験では、pFedLoRAは6つの最先端ベースラインを上回っている。
論文参考訳（メタデータ） (2023-10-20T05:24:28Z)
Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文参考訳（メタデータ） (2023-09-29T13:09:40Z)
Riemannian Low-Rank Model Compression for Federated Learning with Over-the-Air Aggregation [2.741266294612776]
低ランクモデル圧縮は、機械学習モデルを訓練する際の計算負荷を減らすために広く使われている技法である。既存の圧縮技術は、連合学習システムにおける効率の良いオーバー・ザ・エア(OTA)アグリゲーションには直接適用できない。低ランク制約を緩和しないFLにおける低ランクモデル圧縮のための新しい多様体最適化法を提案する。
論文参考訳（メタデータ） (2023-06-04T18:32:50Z)
Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints [81.46143788046892]
スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
論文参考訳（メタデータ） (2022-08-08T21:24:20Z)
Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。最適解を得るために,二項探索アルゴリズムを提案する。シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
論文参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。