論文の概要: Initialization Matters: Unraveling the Impact of Pre-Training on Federated Learning

• arxiv url: http://arxiv.org/abs/2502.08024v1
• Date: Tue, 11 Feb 2025 23:53:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:44:53.665285
• Title: Initialization Matters: Unraveling the Impact of Pre-Training on Federated Learning
• Title（参考訳）: 初期化の課題: 事前学習がフェデレーション学習に与える影響を明らかにする
• Authors: Divyansh Jhunjhunwala, Pranay Sharma, Zheng Xu, Gauri Joshi,
• Abstract要約: 事前訓練されたモデルの初期化は、機械学習の標準的なプラクティスになりつつある。 我々は,2層畳み込みニューラルネットワーク(CNN)のクラスについて検討し,FedAvgでトレーニングしたネットワークのトレーニングエラー収束とテストエラーのバウンダリを提供する。
• 参考スコア（独自算出の注目度）: 21.440470901377182
• License:
• Abstract: Initializing with pre-trained models when learning on downstream tasks is becoming standard practice in machine learning. Several recent works explore the benefits of pre-trained initialization in a federated learning (FL) setting, where the downstream training is performed at the edge clients with heterogeneous data distribution. These works show that starting from a pre-trained model can substantially reduce the adverse impact of data heterogeneity on the test performance of a model trained in a federated setting, with no changes to the standard FedAvg training algorithm. In this work, we provide a deeper theoretical understanding of this phenomenon. To do so, we study the class of two-layer convolutional neural networks (CNNs) and provide bounds on the training error convergence and test error of such a network trained with FedAvg. We introduce the notion of aligned and misaligned filters at initialization and show that the data heterogeneity only affects learning on misaligned filters. Starting with a pre-trained model typically results in fewer misaligned filters at initialization, thus producing a lower test error even when the model is trained in a federated setting with data heterogeneity. Experiments in synthetic settings and practical FL training on CNNs verify our theoretical findings.
• Abstract（参考訳）: 下流タスクで学習する場合、トレーニング済みモデルの初期化は、機械学習の標準的なプラクティスになりつつある。 近年,フェデレートラーニング(FL)環境における事前学習初期化の利点について検討している。 これらの研究は、事前学習モデルから始めると、標準のFedAvgトレーニングアルゴリズムを変更することなく、フェデレーション環境でトレーニングされたモデルのテスト性能に対するデータ不均一性の悪影響を大幅に低減できることを示している。 本研究では,この現象のより深い理論的理解を提供する。 そこで我々は,2層畳み込みニューラルネットワーク(CNN)のクラスについて検討し,FedAvgでトレーニングしたネットワークのトレーニングエラー収束とテストエラーのバウンダリを提供する。 本稿では、初期化時の整列フィルタと整列フィルタの概念を導入し、不整合フィルタの学習にのみ影響することを示す。 事前訓練されたモデルから始めると、初期化時に不整合フィルタが少なくなり、データ不均一性のあるフェデレートされた環境でモデルが訓練された場合でも、テストエラーが小さくなる。 CNNにおける合成設定と実用的FLトレーニングの実験は、我々の理論的知見を裏付けるものである。

関連論文リスト

• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Statistical Foundations of Prior-Data Fitted Networks [0.7614628596146599]
  近年,機械学習の新しいパラダイムとしてPFNが提案されている。 本稿では,PFNの理論的基盤を確立し,その挙動を制御している統計的メカニズムを照らす。
  論文  参考訳（メタデータ） (2023-05-18T16:34:21Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Where to Begin? On the Impact of Pre-Training and Initialization in Federated Learning [18.138078314019737]
  フェデレート学習における事前学習モデルから始めることの影響について検討する。 事前訓練されたモデルから始めると、ターゲットエラー率に達するのに必要なトレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2022-10-14T20:25:35Z)
• Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
  本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。 モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。 この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
  論文  参考訳（メタデータ） (2022-07-13T09:43:17Z)
• Where to Begin? On the Impact of Pre-Training and Initialization in Federated Learning [18.138078314019737]
  フェデレート学習における事前学習モデルから始めることの影響について検討する。 事前訓練されたモデルから始めると、ターゲットエラー率に達するのに必要なトレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2022-06-30T16:18:21Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data [44.431266188350655]
  勾配降下による一般化を訓練した2層ニューラルネットワークの一般化誤差を考察する。 ニューラルネットワークはトレーニングエラーをゼロにし、ノイズの多いトレーニングラベルを完璧に適合させ、同時に最小限のテストエラーを達成できる。 線形あるいはカーネルベースの予測器を必要とする良性オーバーフィッティングに関するこれまでの研究とは対照的に、我々の分析はモデルと学習力学の両方が基本的に非線形であるような環境で成り立っている。
  論文  参考訳（メタデータ） (2022-02-11T23:04:00Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。