論文の概要: Understanding Generalization of Federated Learning: the Trade-off between Model Stability and Optimization

• arxiv url: http://arxiv.org/abs/2411.16303v1
• Date: Mon, 25 Nov 2024 11:43:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:57.656407
• Title: Understanding Generalization of Federated Learning: the Trade-off between Model Stability and Optimization
• Title（参考訳）: フェデレーション学習の一般化を理解する:モデルの安定性と最適化のトレードオフ
• Authors: Dun Zeng, Zheshun Wu, Shiyu Liu, Yu Pan, Xiaoying Tang, Zenglin Xu,
• Abstract要約: Federated Learning(FL)は、複数のデバイスにまたがるニューラルネットワークをトレーニングする分散学習アプローチである。 FLはデータの不均一性のためにしばしば課題に直面し、クライアント間の一貫性のないローカルオプティマに繋がる。 本稿では,フェデレート最適化における第1次一般化ダイナミクス解析フレームワークを紹介する。
• 参考スコア（独自算出の注目度）: 22.577751005038543
• License:
• Abstract: Federated Learning (FL) is a distributed learning approach that trains neural networks across multiple devices while keeping their local data private. However, FL often faces challenges due to data heterogeneity, leading to inconsistent local optima among clients. These inconsistencies can cause unfavorable convergence behavior and generalization performance degradation. Existing studies mainly describe this issue through \textit{convergence analysis}, focusing on how well a model fits training data, or through \textit{algorithmic stability}, which examines the generalization gap. However, neither approach precisely captures the generalization performance of FL algorithms, especially for neural networks. In this paper, we introduce the first generalization dynamics analysis framework in federated optimization, highlighting the trade-offs between model stability and optimization. Through this framework, we show how the generalization of FL algorithms is affected by the interplay of algorithmic stability and optimization. This framework applies to standard federated optimization and its advanced versions, like server momentum. We find that fast convergence from large local steps or accelerated momentum enlarges stability but obtains better generalization performance. Our insights into these trade-offs can guide the practice of future algorithms for better generalization.
• Abstract（参考訳）: Federated Learning(FL)は、複数のデバイスにまたがるニューラルネットワークをトレーニングし、ローカルデータをプライベートに保つ分散学習アプローチである。 しかし、FLはデータの不均一性のためにしばしば課題に直面し、クライアント間の一貫性のない局所最適化につながります。 これらの矛盾は、好ましくない収束挙動と一般化性能劣化を引き起こす。 既存の研究では、モデルがトレーニングデータにどの程度適合するかに焦点を当てた『textit{convergence analysis}』や、一般化ギャップを調べる『textit{algorithmic stability}』を通じてこの問題を主に記述している。 しかし、どちらの手法もFLアルゴリズム、特にニューラルネットワークの一般化性能を正確に捉えていない。 本稿では,フェデレート最適化における最初の一般化ダイナミクス解析フレームワークを紹介し,モデル安定性と最適化のトレードオフを強調した。 この枠組みを通じて、FLアルゴリズムの一般化が、アルゴリズムの安定性と最適化の相互作用によってどのように影響を受けるかを示す。 このフレームワークは、標準のフェデレーション最適化とその高度なバージョン、例えばサーバのモーメントに適用されます。 局所的な大きなステップや加速運動量からの高速収束は安定性を増大させるが、より優れた一般化性能が得られる。 これらのトレードオフに対する私たちの洞察は、よりよい一般化のための将来のアルゴリズムの実践を導くことができる。

関連論文リスト

• Feasible Learning [78.6167929413604]
  本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。 大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
  論文  参考訳（メタデータ） (2025-01-24T20:39:38Z)
• Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
  分散最適化パラダイムとしてフェデレートラーニングが登場した。 本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。 我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:14:05Z)
• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• Understanding Generalization of Federated Learning via Stability: Heterogeneity Matters [1.4502611532302039]
  一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。 一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
  論文  参考訳（メタデータ） (2023-06-06T16:12:35Z)
• Annealing Optimization for Progressive Learning with Stochastic Approximation [0.0]
  計算資源が限られているアプリケーションのニーズを満たすために設計された学習モデルを導入する。 我々は,オンラインな勾配近似アルゴリズムとして定式化されたオンラインプロトタイプベースの学習アルゴリズムを開発した。 学習モデルは、教師なし、教師なし、強化学習に使用される、解釈可能で、徐々に成長する競争的ニューラルネットワークモデルと見なすことができる。
  論文  参考訳（メタデータ） (2022-09-06T21:31:01Z)
• On the generalization of learning algorithms that do not converge [54.122745736433856]
  ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。 最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
  論文  参考訳（メタデータ） (2022-08-16T21:22:34Z)
• Generalized Federated Learning via Sharpness Aware Minimization [22.294290071999736]
  シャープネス・アウェア・ミニミゼーション(SAM)の局所性に基づく汎用的で効果的なアルゴリズムである textttFedSAM を提案し,局所的およびグローバルなモデルをブリッジする運動量FLアルゴリズムを開発した。 実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。
  論文  参考訳（メタデータ） (2022-06-06T13:54:41Z)
• Contextual Model Aggregation for Fast and Robust Federated Learning in Edge Computing [88.76112371510999]
  フェデレーション学習は、ネットワークエッジにおける分散機械学習の第一候補である。 既存のアルゴリズムは、性能の緩やかな収束や堅牢性の問題に直面している。 そこで本稿では,損失低減に対する最適コンテキスト依存境界を実現するためのコンテキストアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T21:42:31Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Decentralized Statistical Inference with Unrolled Graph Neural Networks [26.025935320024665]
  分散最適化アルゴリズムをグラフニューラルネットワーク(GNN)にアンロールする学習ベースフレームワークを提案する。 エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。 コンバージェンス解析により,学習したモデルパラメータがコンバージェンスを加速し,リカバリエラーを広範囲に低減できることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-04T07:52:34Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。