論文の概要: The Effect of Personalization in FedProx: A Fine-grained Analysis on Statistical Accuracy and Communication Efficiency

• arxiv url: http://arxiv.org/abs/2410.08934v1
• Date: Mon, 21 Oct 2024 20:57:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 21:06:06.595409
• Title: The Effect of Personalization in FedProx: A Fine-grained Analysis on Statistical Accuracy and Communication Efficiency
• Title（参考訳）: FedProxにおけるパーソナライズの効果:統計的精度とコミュニケーション効率の微粒化分析
• Authors: Xin Yu, Zelin He, Ying Sun, Lingzhou Xue, Runze Li,
• Abstract要約: FedProxは、モデルパーソナライゼーションの正規化を可能にする、シンプルだが効果的なフェデレーション学習手法である。 我々は、FedProxが純粋なローカルトレーニングより優れ、最小限の最適統計率を達成する方法を示す。
• 参考スコア（独自算出の注目度）: 21.202284638968496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: FedProx is a simple yet effective federated learning method that enables model personalization via regularization. Despite remarkable success in practice, a rigorous analysis of how such a regularization provably improves the statistical accuracy of each client's local model hasn't been fully established. Setting the regularization strength heuristically presents a risk, as an inappropriate choice may even degrade accuracy. This work fills in the gap by analyzing the effect of regularization on statistical accuracy, thereby providing a theoretical guideline for setting the regularization strength for achieving personalization. We prove that by adaptively choosing the regularization strength under different statistical heterogeneity, FedProx can consistently outperform pure local training and achieve a nearly minimax-optimal statistical rate. In addition, to shed light on resource allocation, we design an algorithm, provably showing that stronger personalization reduces communication complexity without increasing the computation cost overhead. Finally, our theory is validated on both synthetic and real-world datasets and its generalizability is verified in a non-convex setting.
• Abstract（参考訳）: FedProxは、正規化によるモデルパーソナライズを可能にする、シンプルだが効果的なフェデレーション学習手法である。 実際に顕著な成功を収めたにもかかわらず、そのような正規化が各クライアントのローカルモデルの統計的精度を確実に向上させるかという厳密な分析は、完全には確立されていない。 正規化強度の設定は、不適切な選択が精度を低下させる可能性があるため、ヒューリスティックにリスクを生じさせる。 本研究は,正規化の効果を統計的精度で解析することによりギャップを埋め,パーソナライズを実現するための正規化強度を設定するための理論的ガイドラインを提供する。 統計的不均一性が異なる条件下で正則化強度を適応的に選択することにより、FedProxは純粋局所訓練を一貫して上回り、極小最適統計率をほぼ達成できることを示す。 さらに,資源配分に光を当てるために,より強力なパーソナライゼーションが計算コストのオーバーヘッドを増大させることなく通信の複雑さを低減することを示すアルゴリズムを設計する。 最後に,本理論は合成および実世界の両方のデータセット上で検証され,その一般化性は非凸条件下で検証される。

関連論文リスト

• On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
  本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。 我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。 実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-07-23T11:35:42Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Achievable Fairness on Your Data With Utility Guarantees [16.78730663293352]
  機械学習の公平性において、異なるセンシティブなグループ間の格差を最小限に抑えるトレーニングモデルは、しばしば精度を低下させる。 本稿では,各データセットに適合する公平性-正確性トレードオフ曲線を近似する計算効率のよい手法を提案する。 そこで我々は,モデルフェアネスを監査するための堅牢な枠組みを実践者に提供し,評価の不確実性を定量化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-27T00:59:32Z)
• Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization [29.24821214671497]
  機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。 ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルを組み合わせた、新しいロバストな基準を提案する。 実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
  論文  参考訳（メタデータ） (2024-01-28T21:19:15Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Feature Norm Regularized Federated Learning: Transforming Skewed Distributions into Global Insights [16.039822050613022]
  本研究は,FNR-FLアルゴリズムを紹介する。 FNR-FLは、非I.D.シナリオにおけるモデルの精度と収束を高めるために、クラス平均特徴ノルムを取り入れている。 その結果,FNR-FLの精度は66.24%向上し,トレーニング時間は11.40%低下した。
  論文  参考訳（メタデータ） (2023-12-12T03:09:37Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Differential privacy and robust statistics in high dimensions [49.50869296871643]
  高次元Propose-Test-Release (HPTR) は指数的メカニズム、頑健な統計、Propose-Test-Release メカニズムという3つの重要なコンポーネントの上に構築されている。 本論文では,HPTRが複数のシナリオで最適サンプル複雑性をほぼ達成していることを示す。
  論文  参考訳（メタデータ） (2021-11-12T06:36:40Z)
• Distributionally Robust Learning with Stable Adversarial Training [34.74504615726101]
  経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。 そこで本稿では,異種データソースを活用して,より実用的な不確実性セットを構築する,SAL(Stable Adversarial Learning)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。