Fugu-MT 論文翻訳(概要): Statistical Limits and Efficient Algorithms for Differentially Private Federated Learning

論文の概要: Statistical Limits and Efficient Algorithms for Differentially Private Federated Learning

arxiv url: http://arxiv.org/abs/2605.18656v1
Date: Mon, 18 May 2026 17:01:34 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-19 17:57:50.116615
Title: Statistical Limits and Efficient Algorithms for Differentially Private Federated Learning
Title（参考訳）: 個人差分学習における統計的限界と効率的なアルゴリズム
Authors: Arnab Auddy, Xiangni Peng, Subhadeep Paul,
Abstract要約: フェデレートラーニング(Federated Learning)は、MLとAIモデルを多数のユーザデバイスとデータベースで協調的にトレーニングするフレームワークである。評価精度,プライバシ制約,通信コストのトレードオフについて検討した。
参考スコア（独自算出の注目度）: 3.8169847142355695
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning is a leading framework for training ML and AI models collaboratively across numerous user devices or databases. We study the trade-offs among estimation accuracy, privacy constraints, and communication cost for differentially private (DP) federated M estimation. The two standard methods in the literature are FedAvg, which may suffer from high federation bias, and FedSGD, which can incur high communication cost. Aimed at improving accuracy at a reduced communication cost, we propose FedHybrid, which uses FedSGD starting with an improved initialization by the FedAvg estimator. We propose FedNewton, which averages local Newton iterations to reduce bias in FedAvg, achieving an estimation accuracy comparable to FedSGD with much fewer communication rounds when the number of clients grows sufficiently slowly. We establish finite sample upper bounds on the mean-squared error rates of the DP versions of these estimators as functions of the number of clients, local sample sizes, privacy budget, and number of iterations. We further derive a minimax lower bound on the MSE of any iterative private federated procedure that provides a benchmark to assess the optimality gap of these methods. We numerically evaluate our methods for training a logistic regression and a neural network on the computer vision datasets MNIST and CIFAR-10.
Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、MLとAIモデルを多数のユーザデバイスやデータベースで協調的にトレーニングするための主要なフレームワークである。評価精度,プライバシ制約,通信コストのトレードオフについて検討した。文献における2つの標準的な手法は、フェデレーションバイアスに悩まされるFedAvgと、高い通信コストを発生させるFedSGDである。通信コストの削減による精度向上を目的としたFedHybridを提案し,FedAvg推定器による初期化の改善からFedSGDを用いた。我々はFedAvgのバイアスを軽減するために、ローカルニュートンのイテレーションを平均化してFedSGDに匹敵する推定精度を達成できるFedNewtonを提案する。クライアント数, ローカルサンプルサイズ, プライバシ予算, 繰り返し回数の関数として, DP版の平均2乗誤差率について, 有限サンプル上限を設定した。さらに、これらの手法の最適性ギャップを評価するためのベンチマークを提供する反復的プライベート・フェデレーション・プロシージャのMSEのミニマックス下限を導出する。我々は,コンピュータビジョンデータセットMNISTとCIFAR-10上で,ロジスティック回帰とニューラルネットワークを学習するための手法を数値的に評価する。

関連論文リスト

FedSLoP: Memory-Efficient Federated Learning with Low-Rank Gradient Projection [5.476264433576713]
FedSLoPは効率的なフェデレート学習アルゴリズムである。 We show that FedSLoP converges to a first-order stationary point at a rate of $O (1/sqrNT)$。
論文参考訳（メタデータ） (2026-04-27T03:47:50Z)
Federated PCA and Estimation for Spiked Covariance Matrices: Optimal Rates and Efficient Algorithm [19.673557166734977]
フェデレートラーニング(FL)は、プライバシとデータセキュリティの強化により、機械学習において、近年大きな注目を集めている。本稿では,分散差分プライバシー制約下でのフェデレーションPCAとスパイク共分散行列の推定について検討する。我々は、集中サーバの最適レートがローカルクライアントのミニマックスレートの調和平均であることから、収束のミニマックスレートを確立する。
論文参考訳（メタデータ） (2024-11-23T21:57:50Z)
FedLog: Personalized Federated Classification with Less Communication and More Flexibility [24.030147353437382]
フェデレーション表現学習(FRL)は、ローカルデータから効果的な特徴抽出によるパーソナライズされたフェデレーションモデルを学習することを目的としている。オーバヘッドを低減するため、生モデルパラメータの代わりに十分なデータサマリーを共有することを提案する。
論文参考訳（メタデータ） (2024-07-11T09:40:29Z)
Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization [90.08459757321405]
Federated Adam (FedAdam) アルゴリズムはアップリンク通信オーバーヘッドの3倍の増大に悩まされている。我々はFedAdam-SSMと呼ばれる新しいスパースなFedAdamアルゴリズムを提案する。我々は,FedAdam-SSMが訓練したモデルと集中型Adamの差異を最小化することにより,スペーシフィケーションエラーによる学習性能劣化を軽減するためにSSMを最適化する。
論文参考訳（メタデータ） (2024-05-28T07:56:49Z)
Bayesian Prediction-Powered Inference [62.2436697657307]
予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。本稿では,ベイズ推定に基づくPPIのためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-05-09T18:08:58Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文参考訳（メタデータ） (2022-12-14T13:57:01Z)
Personalized Federated Learning via Variational Bayesian Inference [6.671486716769351]
フェデレーション学習は、データ不足とクライアント間の統計的多様性のために、モデル過適合による大きな課題に直面します。本稿では,pFedBayes というベイズ変分推論を用いた個人化学習手法を提案する。実験により,提案手法はパーソナライズされたモデルにおいて,他の高度なパーソナライズされた手法よりも優れていることが示された。
論文参考訳（メタデータ） (2022-06-16T07:37:02Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。