論文の概要: Mode Connectivity and Data Heterogeneity of Federated Learning

• arxiv url: http://arxiv.org/abs/2309.16923v1
• Date: Fri, 29 Sep 2023 01:49:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 15:58:22.970490
• Title: Mode Connectivity and Data Heterogeneity of Federated Learning
• Title（参考訳）: フェデレーション学習におけるモード接続性とデータ不均一性
• Authors: Tailin Zhou, Jun Zhang, Danny H.K. Tsang
• Abstract要約: フェデレートラーニング(FL)は、複数のクライアントがデータをプライベートに保ちながらモデルをトレーニングすることを可能にする。 これまでの研究では、クライアント間のデータの異質性は、クライアント更新間のドリフトにつながることが示されている。 クライアントモードとグローバルモードの関係に関する実証的および理論的研究を行う。
• 参考スコア（独自算出の注目度）: 8.677832361022809
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) enables multiple clients to train a model while keeping their data private collaboratively. Previous studies have shown that data heterogeneity between clients leads to drifts across client updates. However, there are few studies on the relationship between client and global modes, making it unclear where these updates end up drifting. We perform empirical and theoretical studies on this relationship by utilizing mode connectivity, which measures performance change (i.e., connectivity) along parametric paths between different modes. Empirically, reducing data heterogeneity makes the connectivity on different paths more similar, forming more low-error overlaps between client and global modes. We also find that a barrier to connectivity occurs when linearly connecting two global modes, while it disappears with considering non-linear mode connectivity. Theoretically, we establish a quantitative bound on the global-mode connectivity using mean-field theory or dropout stability. The bound demonstrates that the connectivity improves when reducing data heterogeneity and widening trained models. Numerical results further corroborate our analytical findings.
• Abstract（参考訳）: フェデレーション学習(fl)は、複数のクライアントがデータをプライベートに保ちながらモデルをトレーニングすることを可能にする。 これまでの研究では、クライアント間のデータの異質性は、クライアント更新間のドリフトにつながることが示されている。 しかし、クライアントモードとグローバルモードの関係についての研究は少ないため、これらの更新がいつ漂流していくのかは明らかではない。 我々は、異なるモード間のパラメトリックパスに沿った性能変化(すなわち、接続性)を測定するモード接続を利用して、この関係に関する経験的および理論的研究を行う。 経験上、データの不均一性の低減は、異なるパス上の接続をよりよくし、クライアントとグローバルモードの間のより低エラーオーバーラップを形成する。 また、2つのグローバルモードを線形に接続する際、非線形モード接続を考えると、接続の障壁が生じる。 理論的には,平均場理論やドロップアウト安定性を用いたグローバルモード接続の定量的境界を確立する。 このバウンドは、データの多様性を減らし、トレーニングされたモデルを広げることにより、接続性が向上することを示している。 解析結果はさらに分析結果と一致した。

関連論文リスト

• Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
  分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。 本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。 プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
  論文  参考訳（メタデータ） (2024-09-22T00:49:10Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Improving Group Connectivity for Generalization of Federated Deep Learning [8.594665698279522]
  フェデレートラーニング(FL)では、複数のクライアントが反復的なローカル更新とモデル融合を通じてグローバルモデルを協調的にトレーニングする。 本稿では,基本的な接続性の観点からFLの一般化を研究・改善する。 我々はFedGuCciとFedGuCci+を提案する。
  論文  参考訳（メタデータ） (2024-02-29T08:27:01Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Heterogeneous Federated Learning via Personalized Generative Networks [7.629157720712401]
  フェデレートラーニング(FL)は、データを共有することなく、複数のクライアントが共通のグローバル機械学習モデルを構築することを可能にする。 本稿では,サーバがクライアント固有のジェネレータを訓練するクライアント間の知識伝達手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T09:37:02Z)
• DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
  非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。 自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。 本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
  論文  参考訳（メタデータ） (2022-11-20T06:13:06Z)
• Realistic Counterfactual Explanations by Learned Relations [0.0]
  本稿では,データ属性間の関係を保存した現実的対実的説明に対する新しいアプローチを提案する。 モデルはドメイン知識のない変分自動エンコーダによって関係を直接学習し、それに従って潜伏空間を乱すことを学習する。
  論文  参考訳（メタデータ） (2022-02-15T12:33:51Z)
• FedRAD: Federated Robust Adaptive Distillation [7.775374800382709]
  一般的にモデルの更新を集約するコラボレーション学習フレームワークは、敵のクライアントによる毒殺攻撃のモデルに対して脆弱である。 本稿では,新たなロバスト適応蒸留法 (FedRAD) を提案する。 その結果,FedRADは敵の存在や異種データ分布において,他のアグリゲータよりも優れていた。
  論文  参考訳（メタデータ） (2021-12-02T16:50:57Z)
• Layer-wise Adaptive Model Aggregation for Scalable Federated Learning [11.669431684184536]
  フェデレートラーニング(Federated Learning)では、クライアント間でローカルモデルを集約する一般的なアプローチとして、完全なモデルパラメータの定期的な平均化がある。 我々は,スケーラブルなフェデレート学習のためのレイヤワイドモデルアグリゲーションスキームであるFedLAMAを提案する。
  論文  参考訳（メタデータ） (2021-10-19T22:49:04Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。