論文の概要: Federated Learning in the Presence of Adversarial Client Unavailability
- arxiv url: http://arxiv.org/abs/2305.19971v2
- Date: Tue, 20 Feb 2024 03:38:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 21:33:23.954376
- Title: Federated Learning in the Presence of Adversarial Client Unavailability
- Title（参考訳）: 敵対的クライアント利用の可能性を考慮したフェデレートラーニング
- Authors: Lili Su, Ming Xiang, Jiaming Xu, Pengkun Yang
- Abstract要約: フェデレートラーニング(Federated Learning)は、生データを公開せずにコラボレーティブモデルを可能にする、分散機械学習フレームワークである。
多様なハードウェアソフトウェアに制限があるため、クライアントはサーバからの計算要求に対して常に利用できるとは限らない。
戦場のような厳しい環境では、敵は特定のクライアントを選択的に黙らせることができる。
- 参考スコア（独自算出の注目度）: 16.201377650598516
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated learning is a decentralized machine learning framework that enables
collaborative model training without revealing raw data. Due to the diverse
hardware and software limitations, a client may not always be available for the
computation requests from the parameter server. An emerging line of research is
devoted to tackling arbitrary client unavailability. However, existing work
still imposes structural assumptions on the unavailability patterns, impeding
their applicability in challenging scenarios wherein the unavailability
patterns are beyond the control of the parameter server. Moreover, in harsh
environments like battlefields, adversaries can selectively and adaptively
silence specific clients. In this paper, we relax the structural assumptions
and consider adversarial client unavailability. To quantify the degrees of
client unavailability, we use the notion of $\epsilon$-adversary dropout
fraction. We show that simple variants of FedAvg or FedProx, albeit completely
agnostic to $\epsilon$, converge to an estimation error on the order of
$\epsilon (G^2 + \sigma^2)$ for non-convex global objectives and $\epsilon(G^2
+ \sigma^2)/\mu^2$ for $\mu$ strongly convex global objectives, where $G$ is a
heterogeneity parameter and $\sigma^2$ is the noise level. Conversely, we prove
that any algorithm has to suffer an estimation error of at least $\epsilon (G^2
+ \sigma^2)/8$ and $\epsilon(G^2 + \sigma^2)/(8\mu^2)$ for non-convex global
objectives and $\mu$-strongly convex global objectives. Furthermore, the
convergence speeds of the FedAvg or FedProx variants are $O(1/\sqrt{T})$ for
non-convex objectives and $O(1/T)$ for strongly-convex objectives, both of
which are the best possible for any first-order method that only has access to
noisy gradients.
- Abstract（参考訳）: フェデレーション学習(federated learning)は、生データを明かすことなく協調的なモデルトレーニングを可能にする、分散機械学習フレームワークである。
多様なハードウェアとソフトウェアの制限のため、クライアントはパラメータサーバからの計算要求に対して常に利用できるとは限らない。
新たな研究のラインは、任意のクライアントの可用性に対処することに集中しています。
しかしながら、既存の作業は、まだ利用不可能なパターンに関する構造的な仮定を課しており、パラメータサーバの制御を超えた、利用不可能なパターンが困難なシナリオにおける適用性を妨げている。
さらに、戦場のような厳しい環境では、敵は特定のクライアントを選択的かつ適応的に沈黙させることができる。
本稿では,構造的な仮定を緩和し,敵意のないクライアントの利用可能性を検討する。
クライアントの可用性の度合いを定量化するために、$\epsilon$-adversary dropout fractionという概念を使います。
我々は、FedAvg や FedProx の単純な変種は、$\epsilon$ に完全に非依存であるにもかかわらず、$\epsilon (G^2 + \sigma^2)$ と $\epsilon (G^2 + \sigma^2)/\mu^2$ の非凸大域目的に対して$\epsilon (G^2 + \sigma^2)/\mu^2$ の順序で推定誤差に収束することを示した。
逆に、任意のアルゴリズムが少なくとも$\epsilon (G^2 + \sigma^2)/8$と$\epsilon(G^2 + \sigma^2)/(8\mu^2)$の推定誤差を負うことを証明する。
さらに、FedAvg や FedProx の変項の収束速度は、非凸目的に対して$O(1/\sqrt{T})$、強凸目的に対して$O(1/T)$である。
関連論文リスト
- Federated Linear Bandits with Finite Adversarial Actions [20.1041278044797]
我々は、M$のクライアントが中央サーバと通信し、線形文脈の帯域幅問題を解決するための連合線形帯域幅モデルについて検討する。
逆有限作用集合のユニークな問題に対処するため、FedSupLinUCBアルゴリズムを提案する。
我々は、FedSupLinUCBが$tildeO(sqrtd T)$の完全後悔を達成したことを証明している。
論文 参考訳（メタデータ） (2023-11-02T03:41:58Z) - Addressing GAN Training Instabilities via Tunable Classification Losses [8.151943266391493]
GAN(Generative Adversarial Network)は、形式的な保証付き合成データを生成する。
すべての対称$f$-発散は収束において同値であることを示す。
また,合成2次元ガウス混合環のトレーニング不安定性を緩和するために,$(alpha_D,alpha_G)$のチューニング値も強調する。
論文 参考訳（メタデータ） (2023-10-27T17:29:07Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Regret-Optimal Federated Transfer Learning for Kernel Regression with
Applications in American Option Pricing [9.358582006140903]
本稿では、中央プランナーがデータセットにアクセス可能なフェデレーショントランスファー学習のための最適反復スキームを提案する。
我々の目標は、生成されたパラメータの累積偏差を$thetai(t)_t=0T$で最小化することである。
後悔と最適化のアルゴリズム内で対称性を活用することで, $mathcalO(Np2)$少なめの初等演算を伴って動作する,ほぼ後悔のいく$_optimalを開発する。
論文 参考訳（メタデータ） (2023-09-08T19:17:03Z) - Towards Bias Correction of FedAvg over Nonuniform and Time-Varying
Communications [26.597515045714502]
Federated Learning(FL)は、パラメータサーバ(PS)とクライアントのコレクションが協調して、グローバルな目的を通じてモデルをトレーニングする分散学習フレームワークである。
チャネル条件が時間とともに変化している場合、FedFederated Postponedグローバルモデルは、ゴシップ型情報混合エラーを延期しないことを示す。
論文 参考訳（メタデータ） (2023-06-01T01:52:03Z) - The Sample Complexity of Online Contract Design [120.9833763323407]
オンライン環境での隠れアクションの主エージェント問題について検討する。
各ラウンドにおいて、主席は、各結果に基づいてエージェントへの支払いを指定する契約を投稿する。
エージェントは、自身のユーティリティを最大化する戦略的な行動選択を行うが、プリンシパルによって直接観察できない。
論文 参考訳（メタデータ） (2022-11-10T17:59:42Z) - Faster Rates for Compressed Federated Learning with Client-Variance
Reduction [23.169998435268504]
我々はCOFIGとFRECONが$O(frac(1+omega)sqrtNSepsilon2)$通信ラウンドに収束していることを示す。
凸設定では、COFIGは$O(frac(1+omega)sqrtNSepsilon2)$通信ラウンドに収束する。
論文 参考訳（メタデータ） (2021-12-24T16:28:18Z) - Safe Learning under Uncertain Objectives and Constraints [66.05180398174286]
我々は、テキスト不明で安全クリティカルな制約の下で、非テクスト無知かつ安全クリティカルな最適化問題を考察する。
このような問題は、ロボティクス、製造、医療などの様々な領域で自然に発生する。
我々の分析の重要な要素は、安全な最適化の文脈で収縮と呼ばれる手法を導入し、適用することである。
論文 参考訳（メタデータ） (2020-06-23T20:51:00Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z) - A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。
Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文 参考訳（メタデータ） (2020-03-05T01:56:17Z) - Curse of Dimensionality on Randomized Smoothing for Certifiable
Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。
我々はCIFARに関する実験結果を示し,その理論を検証した。
論文 参考訳（メタデータ） (2020-02-08T22:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。