論文の概要: On the Importance and Applicability of Pre-Training for Federated Learning

• arxiv url: http://arxiv.org/abs/2206.11488v3
• Date: Thu, 23 Mar 2023 03:27:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 18:37:15.176635
• Title: On the Importance and Applicability of Pre-Training for Federated Learning
• Title（参考訳）: フェデレーション学習における事前学習の重要性と適用性について
• Authors: Hong-You Chen, Cheng-Hao Tu, Ziwei Li, Han-Wei Shen, Wei-Lun Chao
• Abstract要約: 我々は,連合学習のための事前学習を体系的に研究する。 事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。 本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
• 参考スコア（独自算出の注目度）: 28.238484580662785
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pre-training is prevalent in nowadays deep learning to improve the learned model's performance. However, in the literature on federated learning (FL), neural networks are mostly initialized with random weights. These attract our interest in conducting a systematic study to explore pre-training for FL. Across multiple visual recognition benchmarks, we found that pre-training can not only improve FL, but also close its accuracy gap to the counterpart centralized learning, especially in the challenging cases of non-IID clients' data. To make our findings applicable to situations where pre-trained models are not directly available, we explore pre-training with synthetic data or even with clients' data in a decentralized manner, and found that they can already improve FL notably. Interestingly, many of the techniques we explore are complementary to each other to further boost the performance, and we view this as a critical result toward scaling up deep FL for real-world applications. We conclude our paper with an attempt to understand the effect of pre-training on FL. We found that pre-training enables the learned global models under different clients' data conditions to converge to the same loss basin, and makes global aggregation in FL more stable. Nevertheless, pre-training seems to not alleviate local model drifting, a fundamental problem in FL under non-IID data.
• Abstract（参考訳）: 学習モデルのパフォーマンスを改善するために、今日のディープラーニングでは事前トレーニングが一般的です。 しかしながら、連合学習(fl)に関する文献では、ニューラルネットワークは主にランダムウェイトで初期化されている。 これらはFLの事前学習を体系的に研究することに関心を惹きつける。 複数の視覚認識ベンチマークにおいて,事前学習はflを改善できるだけでなく,その精度の差を,特に非iidクライアントのデータに問題のある集中型学習に縮めることができることがわかった。 事前学習されたモデルが直接利用できない状況に適用できるように,合成データやクライアントのデータを用いた事前トレーニングを分散的に検討し,flをすでに改善可能であることを発見した。 興味深いことに、私たちが探求する多くのテクニックは、パフォーマンスをさらに高めるために互いに補完しあっています。 本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。 プレトレーニングによって,異なるクライアントのデータ条件下で学習したグローバルモデルが同じ損失ベースに収束し,flにおけるグローバルアグリゲーションがより安定することを見出した。 それにもかかわらず、事前トレーニングは、非iidデータ下でflの根本的な問題である局所モデルドリフトを緩和しないようである。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Critical Learning Periods in Federated Learning [11.138980572551066]
  フェデレートラーニング(FL)は、機械学習(ML)モデルを分散データでトレーニングする一般的なテクニックである。 FLの最終試験精度は,トレーニングプロセスの初期段階に大きく影響していることがわかった。
  論文  参考訳（メタデータ） (2021-09-12T21:06:07Z)
• Federated Unlearning [24.60965999954735]
  Federated Learning(FL)は、有望な分散機械学習(ML)パラダイムとして登場した。 忘れられる権利」とデータ中毒攻撃に対抗するための実用的なニーズは、訓練されたFLモデルから特定のトレーニングデータを削除または解読できる効率的な技術を必要とします。 FedEraser は、フェデレーション クライアントのデータがグローバル FL モデルに与える影響を排除することができる最初のフェデレーション未学習方法論です。
  論文  参考訳（メタデータ） (2020-12-27T08:54:37Z)
• Continual Local Training for Better Initialization of Federated Models [14.289213162030816]
  フェデレートラーニング(Federated Learning、FL)とは、機械学習モデルを分散システムで直接訓練する学習パラダイムである。 一般的なFLアルゴリズムであるemphFederated Averaging (FedAvg)は重みのばらつきに悩まされている。 本稿では,この問題に対処するための局所的な継続的トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-05-26T12:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。