論文の概要: One Communication Round is All It Needs for Federated Fine-Tuning Foundation Models

• arxiv url: http://arxiv.org/abs/2412.04650v1
• Date: Thu, 05 Dec 2024 22:45:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:55:12.408184
• Title: One Communication Round is All It Needs for Federated Fine-Tuning Foundation Models
• Title（参考訳）: ファインチューニングのファウンデーションモデルに必要なのは1つのコミュニケーションラウンド
• Authors: Ziyao Wang, Bowei Tian, Yexiao He, Zheyu Shen, Luyang Liu, Ang Li,
• Abstract要約: 1ラウンドの通信で、複数の通信で達成したのと同等のグローバルモデルの性能が得られることを示す。 実験の結果,単発ファインチューニングは通信コストを削減するだけでなく,アグリゲーションを実現し,プライバシを高め,パフォーマンスの整合性を維持することができることがわかった。 我々の発見は、ファインチューニングの実践に革命をもたらす可能性があり、効率を向上し、コストを削減し、大規模モデルのアクセシビリティを拡大する可能性がある。
• 参考スコア（独自算出の注目度）: 11.019259905486015
• License:
• Abstract: The recent advancement of large foundation models (FMs) has increased the demand for fine-tuning these models on large-scale and cross-domain datasets. To address this, federated fine-tuning has emerged as a solution, allowing models to be fine-tuned on distributed datasets across multiple devices while ensuring data privacy. However, the substantial parameter size of FMs and the multi-round communication required by traditional federated fine-tuning algorithms result in prohibitively high communication costs, challenging the practicality of federated fine-tuning. In this paper, we are the first to reveal, both theoretically and empirically, that the traditional multi-round aggregation algorithms may not be necessary for federated fine-tuning large FMs. Our experiments reveal that a single round of communication (i.e., one-shot federated fine-tuning) yields a global model performance comparable to that achieved through multiple rounds of communication. Through rigorous mathematical and empirical analyses, we demonstrate that large FMs, due to their extensive parameter sizes and pre-training on general tasks, achieve significantly lower training loss in one-shot federated fine-tuning compared to smaller models. Our extensive experiments show that one-shot federated fine-tuning not only reduces communication costs but also enables asynchronous aggregation, enhances privacy, and maintains performance consistency with multi-round federated fine-tuning for models larger than 1 billion parameters, on text generation and text-to-image generation tasks. Our findings have the potential to revolutionize federated fine-tuning in practice, enhancing efficiency, reducing costs, and expanding accessibility for large-scale models. This breakthrough paves the way for broader adoption and application of federated fine-tuning across various domains.
• Abstract（参考訳）: 近年の大規模基盤モデル(FM)の進歩により、大規模およびクロスドメインデータセット上でこれらのモデルを微調整する必要性が高まっている。 これを解決するために、フェデレートされた微調整がソリューションとして登場し、複数のデバイスにまたがる分散データセット上でモデルを微調整し、データのプライバシを確保する。 しかし、FMの実質的なパラメータサイズと従来のファインチューニングアルゴリズムが必要とするマルチラウンド通信により、通信コストが著しく高くなり、フェデレートファインチューニングの実用性に挑戦する。 本稿では,従来の多ラウンドアグリゲーションアルゴリズムは,フェデレートされた微調整大型FMには必要ではない可能性があることを理論的にも実証的にも初めて明らかにする。 実験の結果,単一ラウンドの通信(ワンショットフェデレーションファインチューニング)により,複数ラウンドの通信によって達成された通信に匹敵するグローバルモデルの性能が得られることがわかった。 厳密な数学的および経験的分析を通じて、広いパラメータサイズと一般的なタスクの事前訓練により、より小さなモデルと比較して1ショットのフェデレーションファインチューニングにおいて、トレーニング損失が大幅に減少することを示した。 広範にわたる実験により,一括ファインチューニングは通信コストを削減するだけでなく,非同期アグリゲーションを可能にし,プライバシを向上し,テキスト生成やテキスト・ツー・イメージ生成タスクにおいて,10億以上のモデルに対するマルチラウンドファインチューニングによるパフォーマンスの整合性を維持することが示された。 我々の発見は、ファインチューニングの実践に革命をもたらす可能性があり、効率を向上し、コストを削減し、大規模モデルのアクセシビリティを拡大する可能性がある。 このブレークスルーは、さまざまなドメインにまたがるファインチューニングの広範な採用と適用の道を開くものだ。

関連論文リスト

• Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
  時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。 既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。 本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
  論文  参考訳（メタデータ） (2024-11-24T04:56:45Z)
• Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models [54.02863371927658]
  大規模言語モデル(LLM)は多くの現実世界のアプリケーションで必須となっている。 フェレットは、ランダム性を共有する最初の一階法である。 高い計算効率、通信オーバーヘッドの低減、高速収束を実現している。
  論文  参考訳（メタデータ） (2024-09-10T07:28:13Z)
• Robust and Communication-Efficient Federated Domain Adaptation via Random Features [9.561648314302232]
  フェデレートされたドメイン適応(FDA)は、この課題に対処するための強力なアプローチとして現れます。 RF-TCAは、理論的および経験的性能を損なうことなく計算を著しく高速化する標準転送成分分析手法の拡張である。 我々は,FedRF-TCAの優れた性能とロバスト性(ネットワーク状態への)を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-11-08T13:46:58Z)
• FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
  我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。 その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-21T21:57:01Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Exploring Parameter-Efficient Fine-Tuning to Enable Foundation Models in Federated Learning [12.839398408791778]
  フェデレートラーニング(FL)は、ローカルデバイス上の生データに一元的にアクセスすることなく、モデルの協調的なトレーニングを可能にするための、有望なパラダイムとして登場した。 最近の最先端の事前訓練モデルは、より有能になりつつ、より多くのパラメータを持ち、"Foundation Models"として知られている。 FLでこれらの強力で手軽に利用できる事前訓練モデルが、通信負荷を同時に軽減しつつ、優れた性能を達成するためのソリューションを見つけることができるだろうか? 具体的には,FedPEFTの性能を,クライアントの安定性,データ分散,プライバシ設定の違いによって体系的に評価する。
  論文  参考訳（メタデータ） (2022-10-04T16:08:54Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• FedFMC: Sequential Efficient Federated Learning on Non-iid Data [0.0]
  FedFMC(Fork-Consolidate-Merge)は、異なるグローバルモデルの更新をデバイスに強制してマージし、別々のモデルをひとつに統合する手法である。 我々はFedFMCが、グローバルに共有されたデータのサブセットを用いることなく、また通信コストを増大させることなく、フェデレーション学習コンテキストにおける非IDデータに対する以前のアプローチを大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2020-06-19T02:36:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。