論文の概要: Aggregation Weighting of Federated Learning via Generalization Bound
Estimation
- arxiv url: http://arxiv.org/abs/2311.05936v1
- Date: Fri, 10 Nov 2023 08:50:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 15:29:56.645750
- Title: Aggregation Weighting of Federated Learning via Generalization Bound
Estimation
- Title(参考訳): 一般化境界推定によるフェデレーション学習の集約重み付け
- Authors: Mingwei Xu, Xiaofeng Cao, Ivor W.Tsang, and James T.Kwok
- Abstract要約: フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
- 参考スコア(独自算出の注目度): 65.8630966842025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) typically aggregates client model parameters using a
weighting approach determined by sample proportions. However, this naive
weighting method may lead to unfairness and degradation in model performance
due to statistical heterogeneity and the inclusion of noisy data among clients.
Theoretically, distributional robustness analysis has shown that the
generalization performance of a learning model with respect to any shifted
distribution is bounded. This motivates us to reconsider the weighting approach
in federated learning. In this paper, we replace the aforementioned weighting
method with a new strategy that considers the generalization bounds of each
local model. Specifically, we estimate the upper and lower bounds of the
second-order origin moment of the shifted distribution for the current local
model, and then use these bounds disagreements as the aggregation proportions
for weightings in each communication round. Experiments demonstrate that the
proposed weighting strategy significantly improves the performance of several
representative FL algorithms on benchmark datasets.
- Abstract(参考訳): フェデレーション学習(fl)は通常、サンプル比率によって決定される重み付けアプローチを用いてクライアントモデルのパラメータを集約する。
しかし, この単純重み付け手法は, 統計的不均一性によるモデル性能の不公平さや劣化, クライアント間のノイズデータを含めることにつながる可能性がある。
理論上、分布ロバスト性解析により、任意のシフト分布に対する学習モデルの一般化性能が有界であることが示されている。
これにより、連合学習における重み付けアプローチを再考するモチベーションが生まれます。
本稿では,上記の重み付け手法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
具体的には、現在の局所モデルにおけるシフト分布の2次原点の上下境界を推定し、各通信ラウンドにおける重み付けのアグリゲーション比としてこれらの境界不一致を用いる。
実験により,提案手法はベンチマークデータセット上でのいくつかの代表FLアルゴリズムの性能を大幅に向上させることが示された。
関連論文リスト
- Every Parameter Matters: Ensuring the Convergence of Federated Learning
with Dynamic Heterogeneous Models Reduction [22.567754688492414]
クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。
近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。
本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
論文 参考訳(メタデータ) (2023-10-12T19:07:58Z) - Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。
我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
論文 参考訳(メタデータ) (2023-08-10T08:43:20Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳(メタデータ) (2023-07-12T16:28:21Z) - Depersonalized Federated Learning: Tackling Statistical Heterogeneity by
Alternating Stochastic Gradient Descent [6.394263208820851]
フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。
様々な共役者によって保持される生データは、常に不特定に分散される。
本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
論文 参考訳(メタデータ) (2022-10-07T10:30:39Z) - Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。
本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。
損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
論文 参考訳(メタデータ) (2022-05-22T16:37:53Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳(メタデータ) (2022-04-16T08:08:29Z) - Optimal Model Averaging: Towards Personalized Collaborative Learning [0.0]
連合学習では、参加ノード間のデータや目的の違いが、各ノードに対してパーソナライズされた機械学習モデルをトレーニングするためのアプローチを動機付けている。
そのようなアプローチの1つは、局所的に訓練されたモデルとグローバルモデルの間の重み付き平均化である。
局所モデルと比較して予測される2乗誤差を減少させるモデル平均化の正の量が常に存在することがわかった。
論文 参考訳(メタデータ) (2021-10-25T13:33:20Z) - TsmoBN: Interventional Generalization for Unseen Clients in Federated
Learning [23.519212374186232]
本研究では,分散学習パラダイムにおけるモデル一般化の課題を説明するために,学習構造因果モデル(SCM)を構築した。
FLモデルをテストクライアントに一般化するために,テスト固有および運動量追跡バッチ正規化(TsmoBN)を用いた簡易かつ効果的な手法を提案する。
論文 参考訳(メタデータ) (2021-10-19T13:46:37Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳(メタデータ) (2020-07-13T03:27:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。