論文の概要: FDA-Opt: Communication-Efficient Federated Fine-Tuning of Language Models
- arxiv url: http://arxiv.org/abs/2505.04535v2
- Date: Tue, 24 Jun 2025 16:20:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-25 15:36:08.597563
- Title: FDA-Opt: Communication-Efficient Federated Fine-Tuning of Language Models
- Title(参考訳): FDA-Opt:コミュニケーション効率の良いフェデレーションファインチューニング言語モデル
- Authors: Michail Theologitis, Vasilis Samoladas, Antonios Deligiannakis,
- Abstract要約: FDA-Optは、現代のFederated LearningライブラリやシステムにおけるFedOptの代替品だ。
FDA-Optは、現代のFLライブラリーやシステムにおけるFedOptの代替として実用的で、ドロップインの代替であることを示す。
- 参考スコア(独自算出の注目度): 1.7284879441063365
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated Learning (FL) enables the utilization of vast, previously inaccessible data sources. At the same time, pre-trained Language Models (LMs) have taken the world by storm and for good reason. They exhibit remarkable emergent abilities and are readily adapted to downstream tasks. This opens one of the most exciting frontiers in FL: fine-tuning LMs. Yet, a persistent challenge in FL is the frequent, rigid communication of parameters -- a problem magnified by the sheer size of these contemporary models. The FedOpt family of algorithms has become the go-to approach for FL, relying on fixed but arbitrary intervals for model exchanges. Recently, the FDA algorithm prescribed a dynamic approach by monitoring the training progress. However, it introduced a hard-to-calibrate parameter and imposed a rigid synchronization scheme. In this work, we address these limitations by proposing the FDA-Opt family of algorithms -- a unified generalization of both FDA and FedOpt. Our experimental evaluation focuses on fine-tuning LMs on downstream NLP tasks and demonstrates that FDA-Opt outperforms FedOpt even when it is configured with hyper-parameters specifically optimized for the latter. In other words, we show that FDA-Opt is a practical, drop-in replacement for FedOpt in modern FL libraries and systems: it requires no additional configuration and delivers superior performance out of the box.
- Abstract(参考訳): Federated Learning (FL) は、これまでアクセス不能だった膨大なデータソースの利用を可能にする。
同時に、事前訓練された言語モデル(LM)は、嵐と正当な理由により世界を席巻した。
顕著な創発能力を示し、下流のタスクに容易に適応できる。
これはFLの最もエキサイティングなフロンティアの1つを開きます。
しかし、FLにおける永続的な課題は、パラメータの頻繁で厳密なコミュニケーションである。
FedOptアルゴリズムのファミリは、モデル交換の固定間隔と任意の間隔に依存するFLのゴーツーアプローチとなっている。
近年、FDAのアルゴリズムは、トレーニングの進捗をモニタリングすることで、ダイナミックなアプローチを規定している。
しかし、難しいパラメータを導入し、厳密な同期スキームを課した。
本研究では、FDAとFedOptを統一した一般化であるFDA-Optアルゴリズムのファミリを提案することで、これらの制限に対処する。
実験では, 下流NLPタスクの微調整に焦点を合わせ, FDA-OptがFedOptより優れており, 後者に最適化されたハイパーパラメータを設定した場合においても, FDA-OptはFedOptより優れていることを示した。
言い換えれば、FDA-Optは現代のFLライブラリやシステムにおけるFedOptの実用的でドロップインの代替品であることを示している。
関連論文リスト
- Communication-Efficient Wireless Federated Fine-Tuning for Large-Scale AI Models [13.742950928229078]
Low-Rank Adaptation (LoRA) は、完全に微調整された大型モデルではなく、コンパクトで低ランクな行列を訓練することでこれらの問題に対処する。
本稿では,学習性能と通信効率の両方を最適化する無線フェデレーションLoRAファインチューニングフレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-01T06:15:38Z) - Biased Federated Learning under Wireless Heterogeneity [7.3716675761469945]
Federated Learning(FL)は計算のための有望なフレームワークであり、プライベートデータを共有せずに協調的なモデルトレーニングを可能にする。
既存の無線計算処理では,(1)無線信号重畳を利用するOTA(Over-the-air)と(2)収束のためのリソースを割り当てるOTA(Over-the-air)の2つの通信戦略が採用されている。
本稿では,新しいOTAおよびデジタルFL更新を提案する。
論文 参考訳(メタデータ) (2025-03-08T05:55:14Z) - Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。
既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。
本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
論文 参考訳(メタデータ) (2024-06-17T03:49:44Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳(メタデータ) (2024-03-27T09:14:36Z) - AEDFL: Efficient Asynchronous Decentralized Federated Learning with
Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。
まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。
次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。
第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文 参考訳(メタデータ) (2023-12-18T05:18:17Z) - FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。
我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文 参考訳(メタデータ) (2023-10-04T21:11:40Z) - When Federated Learning Meets Pre-trained Language Models'
Parameter-Efficient Tuning Methods [22.16636947999123]
フェデレート学習に様々なパラメータ効率チューニング(PETuning)手法を導入する。
具体的には,FL における代表的 PLM チューニング手法の総合的研究について述べる。
全体としての通信オーバーヘッドは、局所的なチューニングと、軽量モデルパラメータのグローバル集約によって大幅に削減できる。
論文 参考訳(メタデータ) (2022-12-20T06:44:32Z) - Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文 参考訳(メタデータ) (2022-09-21T08:52:51Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳(メタデータ) (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。