論文の概要: Learning From Drift: Federated Learning on Non-IID Data via Drift Regularization

• arxiv url: http://arxiv.org/abs/2309.07189v1
• Date: Wed, 13 Sep 2023 09:23:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 17:18:50.668148
• Title: Learning From Drift: Federated Learning on Non-IID Data via Drift Regularization
• Title（参考訳）: ドリフトからの学習:ドリフト規則化による非IIDデータのフェデレーション学習
• Authors: Yeachan Kim, Bonggun Shin
• Abstract要約: フェデレートされた学習アルゴリズムは、独立および同一分散(IID)データに対して合理的に機能する。 彼らは異種環境、すなわち非IIDデータに悩まされている。 ヘテロジニアスな環境下でモデルを効果的に訓練する新しい手法であるLearning from Drift (LfD)を提案する。
• 参考スコア（独自算出の注目度）: 11.813552364878868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning algorithms perform reasonably well on independent and identically distributed (IID) data. They, on the other hand, suffer greatly from heterogeneous environments, i.e., Non-IID data. Despite the fact that many research projects have been done to address this issue, recent findings indicate that they are still sub-optimal when compared to training on IID data. In this work, we carefully analyze the existing methods in heterogeneous environments. Interestingly, we find that regularizing the classifier's outputs is quite effective in preventing performance degradation on Non-IID data. Motivated by this, we propose Learning from Drift (LfD), a novel method for effectively training the model in heterogeneous settings. Our scheme encapsulates two key components: drift estimation and drift regularization. Specifically, LfD first estimates how different the local model is from the global model (i.e., drift). The local model is then regularized such that it does not fall in the direction of the estimated drift. In the experiment, we evaluate each method through the lens of the five aspects of federated learning, i.e., Generalization, Heterogeneity, Scalability, Forgetting, and Efficiency. Comprehensive evaluation results clearly support the superiority of LfD in federated learning with Non-IID data.
• Abstract（参考訳）: フェデレーション学習アルゴリズムは、独立かつ同一分散(iid)データに対して合理的に機能する。 一方、彼らは異種環境、すなわち非IIDデータに悩まされている。 この問題に対処するために多くの研究プロジェクトが実施されているにもかかわらず、最近の研究結果からは、IDDデータのトレーニングと比較すると、まだ準最適であることが示されている。 本研究では,異種環境における既存手法を慎重に分析する。 興味深いことに、分類器の出力を正規化することは、非IIDデータの性能劣化を防ぐのに非常に効果的である。 そこで我々は,不均一な環境下でモデルを効果的に訓練する新しい手法であるLearning from Drift (LfD)を提案する。 提案手法はドリフト推定とドリフト正規化の2つの主成分をカプセル化する。 具体的には、lfdはまず、ローカルモデルがグローバルモデル(すなわちドリフト)とどの程度異なるかを推定する。 その後、局所モデルは、推定ドリフトの方向に落ちないように正規化される。 実験では,連合学習の5つの側面,すなわち一般化,異質性,スケーラビリティ,忘れ方,効率のレンズを通して各手法を評価する。 総合評価結果は,非IIDデータを用いた連合学習におけるLfDの優位性を明確に裏付ける。

関連論文リスト

• FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
  フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。 伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。 新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
  論文  参考訳（メタデータ） (2024-09-18T16:25:29Z)
• Synthetic Data Aided Federated Learning Using Foundation Models [4.666380225768727]
  ファウンデーションモデル(DPSDA-FL)を用いたFederated Learningを支援する微分プライベートデータを提案する。 実験の結果,DPSDA-FLは,非IID問題のあるFLにおいて,クラスリコールとクラス分類精度を最大26%, 9%向上できることがわかった。
  論文  参考訳（メタデータ） (2024-07-06T20:31:43Z)
• FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
  フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。 最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。 凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
  論文  参考訳（メタデータ） (2024-02-27T15:53:15Z)
• SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
  生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。 スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。 スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
  論文  参考訳（メタデータ） (2023-11-30T03:05:14Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
  非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。 本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
  論文  参考訳（メタデータ） (2022-04-30T06:17:36Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。