Fugu-MT 論文翻訳(概要): FLoCoRA: Federated learning compression with low-rank adaptation

論文の概要: FLoCoRA: Federated learning compression with low-rank adaptation

arxiv url: http://arxiv.org/abs/2406.14082v1
Date: Thu, 20 Jun 2024 07:59:29 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 14:50:31.138117
Title: FLoCoRA: Federated learning compression with low-rank adaptation
Title（参考訳）: FLoCoRA:低ランク適応型フェデレーション学習圧縮
Authors: Lucas Grativol Ribeiro, Mathieu Leonardon, Guillaume Muller, Virginie Fresse, Matthieu Arzel,
Abstract要約: Low-Rank Adaptation (LoRA)法は、数十億のパラメータを含むモデルの効率的なパラメータ微調整で人気を集めている。本稿では,フェデレートラーニングにおけるLoRA手法の適用例を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-Rank Adaptation (LoRA) methods have gained popularity in efficient parameter fine-tuning of models containing hundreds of billions of parameters. In this work, instead, we demonstrate the application of LoRA methods to train small-vision models in Federated Learning (FL) from scratch. We first propose an aggregation-agnostic method to integrate LoRA within FL, named FLoCoRA, showing that the method is capable of reducing communication costs by 4.8 times, while having less than 1% accuracy degradation, for a CIFAR-10 classification task with a ResNet-8. Next, we show that the same method can be extended with an affine quantization scheme, dividing the communication cost by 18.6 times, while comparing it with the standard method, with still less than 1% of accuracy loss, tested with on a ResNet-18 model. Our formulation represents a strong baseline for message size reduction, even when compared to conventional model compression works, while also reducing the training memory requirements due to the low-rank adaptation.
Abstract（参考訳）: Low-Rank Adaptation (LoRA)法は、数十億のパラメータを含むモデルの効率的なパラメータ微調整で人気を集めている。そこで本研究では,Federated Learning (FL) における小さなビジョンモデルをスクラッチから学習するための LoRA 手法の応用を実演する。まず,FLoCoRAと呼ばれるFLにLoRAを組み込むアグリゲーションに依存しない手法を提案し,ResNet-8を用いたCIFAR-10分類タスクにおいて,通信コストを4.8倍に削減できることを示す。次に、同じ手法をアフィン量子化方式で拡張し、通信コストを18.6倍にし、標準手法と比較し、ResNet-18モデルで検証した精度損失の1%以下であることを示す。我々の定式化は、従来のモデル圧縮作業と比較しても、メッセージサイズ削減のための強力なベースラインであり、低ランク適応によるトレーニングメモリ要求も低減している。

関連論文リスト

FlexiGPT: Pruning and Extending Large Language Models with Low-Rank Weight Sharing [59.12511498024836]
本稿では,重み付けスコアに基づいてモデルブロックを選択的にプルーする大規模言語モデル(LLM)をプルーする手法を提案する。重み共有機構を用いて各刈り込みブロックを置換する原理的計量を提案する。経験的評価は、既存の方法よりも大幅にパフォーマンスが向上したことを示している。
論文参考訳（メタデータ） (2025-01-24T18:46:37Z)
S-LoRA: Scalable Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、逐次的なタスクに事前訓練されたモデルのパワーを活用するための有望なアプローチとして現れてきた。本稿では,LRAパラメータの方向と大きさの学習を段階的に分離する,CL(特にクラスインクリメンタルラーニング)のためのスケーラブル低ランク適応(S-LoRA)手法を提案する。我々の理論的および実証的な分析により、S-LoRAは重なり合う低損失領域に収束する低損失軌道を辿る傾向にあり、CLの安定性と塑性のトレードオフは良好であることが示された。
論文参考訳（メタデータ） (2025-01-22T20:00:41Z)
Adaptive Epsilon Adversarial Training for Robust Gravitational Wave Parameter Estimation Using Normalizing Flows [2.4184866684341473]
正規化フロー(NF)モデルを用いたアドリラルトレーニングは、敵のサンプルを用いてモデルロバスト性を改善することを目的とした、新たな研究分野である。本稿では,対数スケーリングを用いた勾配等級に基づく摂動強度を動的に調整するFGSM(Fast Gradient Sign Method)の適応型エプシロン法を提案する。我々のハイブリッドアーキテクチャは、ResNetとInverse Autoregressive Flowを組み合わせることで、ベースラインモデルと比較してFGSM攻撃下での負のログ類似損失を47%削減します。摂動強度0.05の強いプロジェクテッド・グラディエント・ディフレッシュ・アタックの下では、我々のモデルは6.4のNLLを維持し、優れたロバスト性を示しながら回避している。
論文参考訳（メタデータ） (2024-12-10T14:48:59Z)
LoRA Diffusion: Zero-Shot LoRA Synthesis for Diffusion Model Personalization [0.0]
Low-Rank Adaptation (LoRA) や他のパラメータ効率のよい微細チューニング (PEFT) 手法は、テキスト・ツー・イメージ・モデルをパーソナライズするための低メモリ、ストレージ効率のソリューションを提供する。ハイパーネットワークモデルをトレーニングしてLoRA重みを生成することで、特定のドメインに対する競合品質を実現することができることを示す。
論文参考訳（メタデータ） (2024-12-03T10:17:15Z)
Robust Federated Finetuning of Foundation Models via Alternating Minimization of LoRA [14.789886179102425]
RoLoRAは、LoRAの交互アプローチを利用する、堅牢なフェデレーションファインチューニングフレームワークである。この結果から,RoLoRAは通信の利点を示すだけでなく,複数のファインチューニングシナリオにおけるロバスト性と有効性を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2024-09-04T00:20:55Z)
ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
論文参考訳（メタデータ） (2024-02-28T04:33:20Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)
pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning [35.59830784463706]
フェデレートラーニング(FL)は、中央サーバーが複数の参加者(クライアント)を協調的に調整し、分散データをトレーニングする、新たな機械学習パラダイムである。我々は,LoRAチューニング(pFedLoRA)に基づく,新規で効率的なモデル・ヘテロジニアス・パーソナライズド・ラーニング・フレームワークを提案する。 2つのベンチマークデータセットの実験では、pFedLoRAは6つの最先端ベースラインを上回っている。
論文参考訳（メタデータ） (2023-10-20T05:24:28Z)
Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文参考訳（メタデータ） (2023-09-29T13:09:40Z)
Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints [81.46143788046892]
スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
論文参考訳（メタデータ） (2022-08-08T21:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。