Fugu-MT 論文翻訳(概要): Communication-Efficient Federated Fine-Tuning of Language Models via Dynamic Update Schedules

論文の概要: Communication-Efficient Federated Fine-Tuning of Language Models via Dynamic Update Schedules

arxiv url: http://arxiv.org/abs/2505.04535v1
Date: Wed, 07 May 2025 16:13:21 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-08 19:07:36.145592
Title: Communication-Efficient Federated Fine-Tuning of Language Models via Dynamic Update Schedules
Title（参考訳）: 動的更新スケジューリングによるコミュニケーション効率の良い言語モデルのファインチューニング
Authors: Michail Theologitis, Vasilis Samoladas, Antonios Deligiannakis,
Abstract要約: FDA-Optアルゴリズムは、FedOptとFDAの両方の背後にある原則を拡張する統一的な一般化である。我々は、下流のNLPタスクにまたがる微調整LMに対するアプローチを評価した。 FDA-Optは、現代のFLライブラリーやシステムにおけるFedOptの代替として実用的で、ドロップインの代替であることを示す。
参考スコア（独自算出の注目度）: 1.7284879441063365
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Federated learning (FL) makes it possible to train models on data that would otherwise remain untapped and inaccessible. Simultaneously, pre-trained language models (LMs) have emerged as indispensable tools in modern workflows. These models exhibit extraordinary capabilities and are easily adapted to downstream tasks. This opens one of the most exciting frontiers in FL: fine-tuning LMs. However, a persistent challenge in FL is the frequent, rigid communication of parameters, a problem which is magnified by the sheer size of these modern models. Currently, the FedOpt family of algorithms is the prevailing approach in FL, though it relies on fixed, heuristic intervals for model synchronization. Recently, the FDA algorithm introduced a dynamic alternative by monitoring training progress, but it came with its own drawbacks; namely, a hard-to-tune threshold parameter and a rigid synchronization scheme. In this work, we introduce the FDA-Opt family of algorithms -- a unified generalization that extends the principles behind both FDA and FedOpt, while resolving their core limitations. We evaluate our approach on fine-tuning LMs across a range of downstream NLP tasks, and demonstrate that it consistently outperforms FedOpt -- even when FDA-Opt operates under hyper-parameter settings originally optimized for its competitors. In other words, we show that FDA-Opt is a practical, drop-in replacement for FedOpt in modern FL libraries and systems: it requires no additional configuration and delivers superior performance out of the box.
Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、そうでなければ未使用でアクセス不能なデータ上でモデルをトレーニングすることを可能にする。同時に、訓練済み言語モデル (LM) が現代のワークフローにおいて欠かせないツールとして登場した。これらのモデルは異常な能力を示し、下流のタスクに容易に適応できる。これはFLの最もエキサイティングなフロンティアの1つを開きます。しかし、FLにおける永続的な課題はパラメータの頻繁で厳密な通信であり、これは現代のモデルの大きさによって拡大される。現在、FedOptのアルゴリズム群はFLの一般的なアプローチであるが、モデル同期の固定されたヒューリスティック間隔に依存している。最近、FDAのアルゴリズムは、トレーニングの進捗を監視して、ダイナミックな代替手段を導入したが、独自の欠点、すなわち、ハード・トゥ・チューンしきい値パラメータと厳格な同期スキームを伴っていた。この研究では、FDA-Optアルゴリズムのファミリを紹介します。これは、FDAとFedOptの背景にある原則を拡張しつつ、その中核的な制限を解消する統一的な一般化です。我々は、下流のNLPタスクにまたがる微調整LMに対するアプローチを評価し、FDA-Optが当初競合に最適化されたハイパーパラメータ設定の下で運用されている場合でも、フェデオプトを一貫して上回っていることを実証した。言い換えれば、FDA-Optは現代のFLライブラリやシステムにおけるFedOptの実用的でドロップインの代替品であることを示している。

関連論文リスト

Communication-Efficient Wireless Federated Fine-Tuning for Large-Scale AI Models [13.742950928229078]
Low-Rank Adaptation (LoRA) は、完全に微調整された大型モデルではなく、コンパクトで低ランクな行列を訓練することでこれらの問題に対処する。本稿では,学習性能と通信効率の両方を最適化する無線フェデレーションLoRAファインチューニングフレームワークを提案する。
論文参考訳（メタデータ） (2025-05-01T06:15:38Z)
Biased Federated Learning under Wireless Heterogeneity [7.3716675761469945]
Federated Learning(FL)は計算のための有望なフレームワークであり、プライベートデータを共有せずに協調的なモデルトレーニングを可能にする。既存の無線計算処理では,(1)無線信号重畳を利用するOTA(Over-the-air)と(2)収束のためのリソースを割り当てるOTA(Over-the-air)の2つの通信戦略が採用されている。本稿では,新しいOTAおよびデジタルFL更新を提案する。
論文参考訳（メタデータ） (2025-03-08T05:55:14Z)
Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
論文参考訳（メタデータ） (2024-06-17T03:49:44Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文参考訳（メタデータ） (2023-12-18T05:18:17Z)
FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文参考訳（メタデータ） (2023-10-04T21:11:40Z)
When Federated Learning Meets Pre-trained Language Models' Parameter-Efficient Tuning Methods [22.16636947999123]
フェデレート学習に様々なパラメータ効率チューニング(PETuning)手法を導入する。具体的には,FL における代表的 PLM チューニング手法の総合的研究について述べる。全体としての通信オーバーヘッドは、局所的なチューニングと、軽量モデルパラメータのグローバル集約によって大幅に削減できる。
論文参考訳（メタデータ） (2022-12-20T06:44:32Z)
Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文参考訳（メタデータ） (2022-09-21T08:52:51Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。