論文の概要: Communication-Efficient Federated Fine-Tuning of Language Models via Dynamic Update Schedules

• arxiv url: http://arxiv.org/abs/2505.04535v1
• Date: Wed, 07 May 2025 16:13:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:36.145592
• Title: Communication-Efficient Federated Fine-Tuning of Language Models via Dynamic Update Schedules
• Title（参考訳）: 動的更新スケジューリングによるコミュニケーション効率の良い言語モデルのファインチューニング
• Authors: Michail Theologitis, Vasilis Samoladas, Antonios Deligiannakis,
• Abstract要約: FDA-Optアルゴリズムは、FedOptとFDAの両方の背後にある原則を拡張する統一的な一般化である。 我々は、下流のNLPタスクにまたがる微調整LMに対するアプローチを評価した。 FDA-Optは、現代のFLライブラリーやシステムにおけるFedOptの代替として実用的で、ドロップインの代替であることを示す。
• 参考スコア（独自算出の注目度）: 1.7284879441063365
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning (FL) makes it possible to train models on data that would otherwise remain untapped and inaccessible. Simultaneously, pre-trained language models (LMs) have emerged as indispensable tools in modern workflows. These models exhibit extraordinary capabilities and are easily adapted to downstream tasks. This opens one of the most exciting frontiers in FL: fine-tuning LMs. However, a persistent challenge in FL is the frequent, rigid communication of parameters, a problem which is magnified by the sheer size of these modern models. Currently, the FedOpt family of algorithms is the prevailing approach in FL, though it relies on fixed, heuristic intervals for model synchronization. Recently, the FDA algorithm introduced a dynamic alternative by monitoring training progress, but it came with its own drawbacks; namely, a hard-to-tune threshold parameter and a rigid synchronization scheme. In this work, we introduce the FDA-Opt family of algorithms -- a unified generalization that extends the principles behind both FDA and FedOpt, while resolving their core limitations. We evaluate our approach on fine-tuning LMs across a range of downstream NLP tasks, and demonstrate that it consistently outperforms FedOpt -- even when FDA-Opt operates under hyper-parameter settings originally optimized for its competitors. In other words, we show that FDA-Opt is a practical, drop-in replacement for FedOpt in modern FL libraries and systems: it requires no additional configuration and delivers superior performance out of the box.
• Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、そうでなければ未使用でアクセス不能なデータ上でモデルをトレーニングすることを可能にする。 同時に、訓練済み言語モデル (LM) が現代のワークフローにおいて欠かせないツールとして登場した。 これらのモデルは異常な能力を示し、下流のタスクに容易に適応できる。 これはFLの最もエキサイティングなフロンティアの1つを開きます。 しかし、FLにおける永続的な課題はパラメータの頻繁で厳密な通信であり、これは現代のモデルの大きさによって拡大される。 現在、FedOptのアルゴリズム群はFLの一般的なアプローチであるが、モデル同期の固定されたヒューリスティック間隔に依存している。 最近、FDAのアルゴリズムは、トレーニングの進捗を監視して、ダイナミックな代替手段を導入したが、独自の欠点、すなわち、ハード・トゥ・チューンしきい値パラメータと厳格な同期スキームを伴っていた。 この研究では、FDA-Optアルゴリズムのファミリを紹介します。これは、FDAとFedOptの背景にある原則を拡張しつつ、その中核的な制限を解消する統一的な一般化です。 我々は、下流のNLPタスクにまたがる微調整LMに対するアプローチを評価し、FDA-Optが当初競合に最適化されたハイパーパラメータ設定の下で運用されている場合でも、フェデオプトを一貫して上回っていることを実証した。 言い換えれば、FDA-Optは現代のFLライブラリやシステムにおけるFedOptの実用的でドロップインの代替品であることを示している。

関連論文リスト

• Lightweight Federated Learning over Wireless Edge Networks [83.4818741890634]
  Federated (FL) はネットワークエッジの代替品であるが、無線ネットワークでは代替品である。 閉形式式FL収束ギャップ伝送パワー,モデルプルーニング誤差,量子化を導出する。 LTFLは、実世界のデータセットの実験において最先端のスキームよりも優れている。
  論文  参考訳（メタデータ） (2025-07-13T09:14:17Z)
• Communication-Efficient Wireless Federated Fine-Tuning for Large-Scale AI Models [13.742950928229078]
  Low-Rank Adaptation (LoRA) は、完全に微調整された大型モデルではなく、コンパクトで低ランクな行列を訓練することでこれらの問題に対処する。 本稿では,学習性能と通信効率の両方を最適化する無線フェデレーションLoRAファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T06:15:38Z)
• Biased Federated Learning under Wireless Heterogeneity [7.3716675761469945]
  Federated Learning(FL)は計算のための有望なフレームワークであり、プライベートデータを共有せずに協調的なモデルトレーニングを可能にする。 既存の無線計算処理では,(1)無線信号重畳を利用するOTA(Over-the-air)と(2)収束のためのリソースを割り当てるOTA(Over-the-air)の2つの通信戦略が採用されている。 本稿では,新しいOTAおよびデジタルFL更新を提案する。
  論文  参考訳（メタデータ） (2025-03-08T05:55:14Z)
• FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations [39.88985198467528]
  ヘテロジニアスLoRAアダプタ上でのファインチューニングを可能にするFLORAと呼ばれる新しい手法を提案する。 我々のアプローチはノイズフリーであり、ヘテロジニアスなLoRAアダプタをシームレスにサポートしています。
  論文  参考訳（メタデータ） (2024-09-09T18:21:23Z)
• Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
  大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。 既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。 本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:49:44Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• FedLion: Faster Adaptive Federated Optimization with Fewer Communication [22.4601758474469]
  分散データ間で機械学習モデルをトレーニングするフレームワークであるFederated Learning(FL)では、FedAvgのようなよく知られたアルゴリズムは収束率を遅くする傾向にある。 我々は最近提案された集中型適応アルゴリズムLionのキー要素をシームレスに組み込んだ適応型フェデレーション最適化アルゴリズムであるFedLionを紹介する。
  論文  参考訳（メタデータ） (2024-02-15T13:41:23Z)
• AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
  異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。 まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。 次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。 第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T05:18:17Z)
• Robust and Communication-Efficient Federated Domain Adaptation via Random Features [9.561648314302232]
  フェデレートされたドメイン適応(FDA)は、この課題に対処するための強力なアプローチとして現れます。 RF-TCAは、理論的および経験的性能を損なうことなく計算を著しく高速化する標準転送成分分析手法の拡張である。 我々は,FedRF-TCAの優れた性能とロバスト性(ネットワーク状態への)を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-11-08T13:46:58Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• FedWon: Triumphing Multi-domain Federated Learning Without Normalization [50.49210227068574]
  フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。 しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。 本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T13:18:50Z)
• When Federated Learning Meets Pre-trained Language Models' Parameter-Efficient Tuning Methods [22.16636947999123]
  フェデレート学習に様々なパラメータ効率チューニング(PETuning)手法を導入する。 具体的には,FL における代表的 PLM チューニング手法の総合的研究について述べる。 全体としての通信オーバーヘッドは、局所的なチューニングと、軽量モデルパラメータのグローバル集約によって大幅に削減できる。
  論文  参考訳（メタデータ） (2022-12-20T06:44:32Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。