論文の概要: Variance-Reduced Heterogeneous Federated Learning via Stratified Client Selection

• arxiv url: http://arxiv.org/abs/2201.05762v1
• Date: Sat, 15 Jan 2022 05:41:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-22 15:03:09.437983
• Title: Variance-Reduced Heterogeneous Federated Learning via Stratified Client Selection
• Title（参考訳）: 階層化クライアント選択による分散還元型ヘテロジニアスフェデレート学習
• Authors: Guangyuan Shen, Dehong Gao, Libin Yang, Fang Zhou, Duanxiao Song, Wei Lou, Shirui Pan
• Abstract要約: 本稿では,収束性の向上と精度の向上を図るため,新たな階層化クライアント選択方式を提案する。 地層変動の多様性を考慮し,最適化されたサンプルサイズ割当方式を提案する。 実験結果から,本手法は最先端の手法と比較して性能が向上するだけでなく,一般的なFLアルゴリズムと互換性があることが確認された。
• 参考スコア（独自算出の注目度）: 31.401919362978017
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Client selection strategies are widely adopted to handle the communication-efficient problem in recent studies of Federated Learning (FL). However, due to the large variance of the selected subset's update, prior selection approaches with a limited sampling ratio cannot perform well on convergence and accuracy in heterogeneous FL. To address this problem, in this paper, we propose a novel stratified client selection scheme to reduce the variance for the pursuit of better convergence and higher accuracy. Specifically, to mitigate the impact of heterogeneity, we develop stratification based on clients' local data distribution to derive approximate homogeneous strata for better selection in each stratum. Concentrating on a limited sampling ratio scenario, we next present an optimized sample size allocation scheme by considering the diversity of stratum's variability, with the promise of further variance reduction. Theoretically, we elaborate the explicit relation among different selection schemes with regard to variance, under heterogeneous settings, we demonstrate the effectiveness of our selection scheme. Experimental results confirm that our approach not only allows for better performance relative to state-of-the-art methods but also is compatible with prevalent FL algorithms.
• Abstract（参考訳）: 最近のフェデレーション学習(fl)研究において、通信効率問題に対処するためにクライアント選択戦略が広く採用されている。 しかし、選択されたサブセットの更新のばらつきが大きいため、サンプリング比が限定された事前選択アプローチは、異種FLの収束と精度によく対応できない。 この問題に対処するため,本論文では,収束性の向上と精度の向上を図るために,新たな階層化クライアント選択方式を提案する。 具体的には、不均一性の影響を軽減するために、クライアントの局所データ分布に基づく成層を開発し、各成層におけるより優れた選択のための近似均質成層を導出する。 次に, 限られたサンプリング比のシナリオに焦点をあて, さらなる分散低減を約束して, 地層変動の多様性を考慮し, 最適化されたサンプルサイズ割当方式を提案する。 理論的には, 分散に関する異なる選択スキーム間の明示的な関係を, 不均質な設定下において, 選択スキームの有効性を実証する。 実験結果から,本手法は最先端手法と比較して性能が向上するだけでなく,一般的なFLアルゴリズムと互換性があることが確認された。

関連論文リスト

• A Trust-Region Method for Graphical Stein Variational Inference [3.5516599670943774]
  スタイン変分法 (SVI) は、サンプル位置を情報理論尺度に共同最適化してサンプルセットを生成するサンプルベースの近似推論手法である。 本稿では,これらの課題に対処する新しい信頼条件付きアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:59:01Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Learning Fair Policies for Multi-stage Selection Problems from Observational Data [4.282745020665833]
  我々は、観測データから多段階選択問題に対する公正なポリシーを学習する問題を考察する。 この問題は、企業の雇用、ローン承認、または、選択された結果のみが観察されるような保釈決定など、いくつかの高い評価の領域で発生する。 本稿では,人口格差や平等機会など,様々な公平性制約で拡張可能な多段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-20T16:33:15Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Client Selection for Federated Policy Optimization with Environment Heterogeneity [0.0]
  政策反復(PI)は、強化学習(RL)の多くのアルゴリズムに影響を与えた。 本稿では,Approximate PI (API) のフェデレーションバージョンを調査し,そのエラー境界を導出する。 追加の近似誤差を軽減するために,クライアント選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-18T13:48:20Z)
• Fast Heterogeneous Federated Learning with Hybrid Client Selection [29.902439962022868]
  本稿では,分散還元による収束を加速するクラスタリングに基づく新しいクライアント選択方式を提案する。 また、分散低減により、提案手法のより厳密な収束保証も提示する。
  論文  参考訳（メタデータ） (2022-08-10T04:10:24Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Adaptive transfer learning [6.574517227976925]
  バイナリ分類の文脈において、伝達学習のための柔軟なフレームワークを導入する。 本研究では,未知の転送関係の重要な側面に適応するアルゴリズムにより,最適速度が達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-08T15:39:43Z)
• Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
  我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。 複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
  論文  参考訳（メタデータ） (2020-10-21T13:43:48Z)
• Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
  政治政策の最適化は強化学習において難しい問題である。 オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
  論文  参考訳（メタデータ） (2020-09-14T16:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。