論文の概要: Understanding the Statistical Accuracy-Communication Trade-off in Personalized Federated Learning with Minimax Guarantees

• arxiv url: http://arxiv.org/abs/2410.08934v4
• Date: Sun, 01 Jun 2025 06:17:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 16:22:42.819119
• Title: Understanding the Statistical Accuracy-Communication Trade-off in Personalized Federated Learning with Minimax Guarantees
• Title（参考訳）: ミニマックス保証者による個人化フェデレーション学習における統計的精度・コミュニケーショントレードオフの理解
• Authors: Xin Yu, Zelin He, Ying Sun, Lingzhou Xue, Runze Li,
• Abstract要約: この研究は、グローバルモデルとローカルモデルの両方を同時に学習するパーソナライズされた学習環境について考察する。 純粋にローカルトレーニングにはコミュニケーションがないが、協調学習は知識を活用して統計的精度を向上させることができる。
• 参考スコア（独自算出の注目度）: 21.202284638968496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized federated learning (PFL) offers a flexible framework for aggregating information across distributed clients with heterogeneous data. This work considers a personalized federated learning setting that simultaneously learns global and local models. While purely local training has no communication cost, collaborative learning among the clients can leverage shared knowledge to improve statistical accuracy, presenting an accuracy-communication trade-off in personalized federated learning. However, the theoretical analysis of how personalization quantitatively influences sample and algorithmic efficiency and their inherent trade-off is largely unexplored. This paper makes a contribution towards filling this gap, by providing a quantitative characterization of the personalization degree on the tradeoff. The results further offers theoretical insights for choosing the personalization degree. As a side contribution, we establish the minimax optimality in terms of statistical accuracy for a widely studied PFL formulation. The theoretical result is validated on both synthetic and real-world datasets and its generalizability is verified in a non-convex setting.
• Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(PFL)は、異種データで分散クライアント間で情報を集約するための柔軟なフレームワークを提供する。 この研究は、グローバルモデルとローカルモデルの両方を同時に学習するパーソナライズされた学習環境について考察する。 純粋にローカルトレーニングは通信コストを伴わないが、クライアント間の協調学習は共有知識を活用して統計的精度を向上し、パーソナライズド・フェデレーション・ラーニングにおける精度・コミュニケーションのトレードオフを提示する。 しかし、パーソナライゼーションがサンプルとアルゴリズムの効率に定量的にどのように影響するかの理論的分析とその固有のトレードオフは明らかにされていない。 本稿では,このギャップを埋めることに寄与し,トレードオフにおけるパーソナライズ度を定量的に評価する。 結果はさらに、パーソナライゼーションの度合いを選択するための理論的洞察を与える。 副次的貢献として、広く研究されているPFL定式化の統計的正確性の観点からミニマックス最適性を確立する。 理論的結果は、合成データセットと実世界のデータセットの両方で検証され、その一般化性は非凸環境で検証される。

関連論文リスト

• On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
  本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。 我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。 実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-07-23T11:35:42Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Achievable Fairness on Your Data With Utility Guarantees [16.78730663293352]
  機械学習の公平性において、異なるセンシティブなグループ間の格差を最小限に抑えるトレーニングモデルは、しばしば精度を低下させる。 本稿では,各データセットに適合する公平性-正確性トレードオフ曲線を近似する計算効率のよい手法を提案する。 そこで我々は,モデルフェアネスを監査するための堅牢な枠組みを実践者に提供し,評価の不確実性を定量化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-27T00:59:32Z)
• Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization [29.24821214671497]
  機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。 ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルを組み合わせた、新しいロバストな基準を提案する。 実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
  論文  参考訳（メタデータ） (2024-01-28T21:19:15Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Feature Norm Regularized Federated Learning: Transforming Skewed Distributions into Global Insights [16.039822050613022]
  本研究は,FNR-FLアルゴリズムを紹介する。 FNR-FLは、非I.D.シナリオにおけるモデルの精度と収束を高めるために、クラス平均特徴ノルムを取り入れている。 その結果,FNR-FLの精度は66.24%向上し,トレーニング時間は11.40%低下した。
  論文  参考訳（メタデータ） (2023-12-12T03:09:37Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Differential privacy and robust statistics in high dimensions [49.50869296871643]
  高次元Propose-Test-Release (HPTR) は指数的メカニズム、頑健な統計、Propose-Test-Release メカニズムという3つの重要なコンポーネントの上に構築されている。 本論文では,HPTRが複数のシナリオで最適サンプル複雑性をほぼ達成していることを示す。
  論文  参考訳（メタデータ） (2021-11-12T06:36:40Z)
• Distributionally Robust Learning with Stable Adversarial Training [34.74504615726101]
  経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。 そこで本稿では,異種データソースを活用して,より実用的な不確実性セットを構築する,SAL(Stable Adversarial Learning)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。