論文の概要: Critical Learning Periods in Federated Learning

• arxiv url: http://arxiv.org/abs/2109.05613v1
• Date: Sun, 12 Sep 2021 21:06:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 16:01:42.963275
• Title: Critical Learning Periods in Federated Learning
• Title（参考訳）: フェデレーションラーニングにおける臨界学習期間
• Authors: Gang Yan, Hao Wang, Jian Li
• Abstract要約: フェデレートラーニング(FL)は、機械学習(ML)モデルを分散データでトレーニングする一般的なテクニックである。 FLの最終試験精度は,トレーニングプロセスの初期段階に大きく影響していることがわかった。
• 参考スコア（独自算出の注目度）: 11.138980572551066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a popular technique to train machine learning (ML) models with decentralized data. Extensive works have studied the performance of the global model; however, it is still unclear how the training process affects the final test accuracy. Exacerbating this problem is the fact that FL executions differ significantly from traditional ML with heterogeneous data characteristics across clients, involving more hyperparameters. In this work, we show that the final test accuracy of FL is dramatically affected by the early phase of the training process, i.e., FL exhibits critical learning periods, in which small gradient errors can have irrecoverable impact on the final test accuracy. To further explain this phenomenon, we generalize the trace of the Fisher Information Matrix (FIM) to FL and define a new notion called FedFIM, a quantity reflecting the local curvature of each clients from the beginning of the training in FL. Our findings suggest that the {\em initial learning phase} plays a critical role in understanding the FL performance. This is in contrast to many existing works which generally do not connect the final accuracy of FL to the early phase training. Finally, seizing critical learning periods in FL is of independent interest and could be useful for other problems such as the choices of hyperparameters such as the number of client selected per round, batch size, and more, so as to improve the performance of FL training and testing.
• Abstract（参考訳）: フェデレートラーニング(FL)は、機械学習(ML)モデルを分散データでトレーニングする一般的なテクニックである。 大規模な研究でグローバルモデルの性能が研究されているが、トレーニングプロセスが最終的なテスト精度にどう影響するかは不明だ。 この問題をさらに悪化させるのは、FLの実行がクライアント間で不均一なデータ特性を持つ従来のMLとは大きく異なるという事実である。 そこで本研究では,flの最終的なテスト精度は,学習過程の初期段階,すなわち,小さな勾配誤差が最終テスト精度に不可解な影響を与えうる臨界学習期間によって劇的に影響を受けることを示す。 この現象をさらに説明するために、FedFIM(Fiher Information Matrix)の痕跡をFLに一般化し、FLでのトレーニング開始から各クライアントの局所曲率を反映したFedFIMと呼ばれる新しい概念を定義する。 以上の結果から,「em初期学習段階」はfl性能の理解において重要な役割を担っていることが示唆された。 これは、FLの最終精度を初期段階の訓練と結びつけない既存の多くの作品とは対照的である。 最後に、flにおけるクリティカルラーニング期間の取得は独立した関心事であり、ラウンド毎に選択されたクライアント数、バッチサイズなどハイパーパラメータの選択など、flトレーニングとテストのパフォーマンスを改善するために、他の問題にも有用である。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Rethinking the Starting Point: Collaborative Pre-Training for Federated Downstream Tasks [21.842345900168525]
  CoPreFLはモデルに依存しないメタラーニング(MAML)プロシージャで、異種および目に見えないFLシナリオを忠実に模倣するようにグローバルモデルを調整する。 当社のMAML手順では,パフォーマンスの分散をメタオブジェクト関数に組み込んで,クライアント間でパフォーマンスのバランスをとる。 我々は,任意の下流FLタスク間の平均精度と分散の両面で,CoPreFLが大幅に改善されることを実証した。
  論文  参考訳（メタデータ） (2024-02-03T17:58:43Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• A Comprehensive View of Personalized Federated Learning on Heterogeneous Clinical Datasets [0.4926316920996346]
  フェデレートラーニング(FL)は、データサイロを克服する上で重要なアプローチである。 本研究は,臨床応用に焦点を当てたFL研究の進展に寄与する。
  論文  参考訳（メタデータ） (2023-09-28T20:12:17Z)
• Understanding How Consistency Works in Federated Learning via Stage-wise Relaxed Initialization [84.42306265220274]
  フェデレートラーニング(Federated Learning, FL)は、大規模なローカルクライアントを協調してグローバルモデルをトレーニングする分散パラダイムである。 従来の研究は、FLがローカルクライアント間の矛盾した最適性によって引き起こされるクライアント・ドリフトの問題に悩まされていることを暗黙的に研究してきた。 FLにおけるクライアントドリフトの負の影響を緩和し,その物質を探索するために,我々はまず,効率的なFLアルゴリズム textitFedInit を設計する。
  論文  参考訳（メタデータ） (2023-06-09T06:55:15Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• On the Importance and Applicability of Pre-Training for Federated Learning [28.238484580662785]
  我々は,連合学習のための事前学習を体系的に研究する。 事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。 本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
  論文  参考訳（メタデータ） (2022-06-23T06:02:33Z)
• FL Games: A federated learning framework for distribution shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するためのゲーム理論のフレームワークであるFL Gamesを提案する。
  論文  参考訳（メタデータ） (2022-05-23T07:51:45Z)
• Federated Unlearning [24.60965999954735]
  Federated Learning(FL)は、有望な分散機械学習(ML)パラダイムとして登場した。 忘れられる権利」とデータ中毒攻撃に対抗するための実用的なニーズは、訓練されたFLモデルから特定のトレーニングデータを削除または解読できる効率的な技術を必要とします。 FedEraser は、フェデレーション クライアントのデータがグローバル FL モデルに与える影響を排除することができる最初のフェデレーション未学習方法論です。
  論文  参考訳（メタデータ） (2020-12-27T08:54:37Z)
• Addressing Class Imbalance in Federated Learning [10.970632986559547]
  Federated Learning(FL)は、ローカルクライアントデバイス上の分散データをトレーニングするための有望なアプローチである。 本研究では,FLラウンド毎のトレーニングデータの組成を推定し,その影響を軽減するために新しい損失関数 textbfRatio Loss を設計する。
  論文  参考訳（メタデータ） (2020-08-14T07:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。