論文の概要: Federated Learning in the Presence of Adversarial Client Unavailability
- arxiv url: http://arxiv.org/abs/2305.19971v1
- Date: Wed, 31 May 2023 15:57:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 15:32:34.310536
- Title: Federated Learning in the Presence of Adversarial Client Unavailability
- Title（参考訳）: 敵対的クライアント利用の可能性を考慮したフェデレートラーニング
- Authors: Lili Su, Jiaming Xu, Pengkun Yang
- Abstract要約: 新たな研究のラインは、利用不可能である。
本稿では,FedAvg あるいは FedProx が$epsilon (G2 + sigma2)$ の順序で推定誤差に収束することを示す。
- 参考スコア（独自算出の注目度）: 17.8469597916875
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated learning is a decentralized machine learning framework wherein not
all clients are able to participate in each round. An emerging line of research
is devoted to tackling arbitrary client unavailability. Existing theoretical
analysis imposes restrictive structural assumptions on the unavailability
patterns, and their proposed algorithms were tailored to those assumptions.
In this paper, we relax those assumptions and consider adversarial client
unavailability. To quantify the degrees of client unavailability, we use the
notion of {\em $\epsilon$-adversary dropout fraction}. For both non-convex and
strongly-convex global objectives, we show that simple variants of FedAvg or
FedProx, albeit completely agnostic to $\epsilon$, converge to an estimation
error on the order of $\epsilon (G^2 + \sigma^2)$, where $G$ is a heterogeneity
parameter and $\sigma^2$ is the noise level. We prove that this estimation
error is minimax-optimal. We also show that the variants of FedAvg or FedProx
have convergence speeds $O(1/\sqrt{T})$ for non-convex objectives and $O(1/T)$
for strongly-convex objectives, both of which are the best possible for any
first-order method that only has access to noisy gradients. Our proofs build
upon a tight analysis of the selection bias that persists in the entire
learning process. We validate our theoretical prediction through numerical
experiments on synthetic and real-world datasets.
- Abstract（参考訳）: federated learningは分散機械学習フレームワークで、すべてのクライアントが各ラウンドに参加できるわけではない。
新たな研究のラインは、任意のクライアントの可用性に対処することに集中しています。
既存の理論解析では、不適用パターンに制限的な構造的仮定を課し、提案したアルゴリズムはそれらの仮定に合わせて調整された。
本稿では,これらの仮定を緩和し,クライアントの非利用性を検討する。
クライアントの不使用性の度合いを定量化するために、"em $\epsilon$-adversary dropout fraction}"という概念を用いる。
非凸および強凸の大域的目的の両方に対して、FedAvg あるいは FedProx の単純な変種は、$\epsilon$ に完全に依存せず、$\epsilon (G^2 + \sigma^2)$ の順序で推定誤差に収束し、$G$ は不均一パラメータであり、$\sigma^2$ はノイズレベルであることを示す。
この推定誤差が最小最適であることが証明される。
また、FedAvg や FedProx の変種は、非凸目的に対して$O(1/\sqrt{T})$ と強凸目的に対して$O(1/T)$ の収束速度を持つことを示した。
私たちの証明は、学習プロセス全体で続く選択バイアスの厳密な分析に基づいている。
合成および実世界のデータセットの数値実験による理論的予測を検証する。
関連論文リスト
- Robust Model Evaluation over Large-scale Federated Networks [8.700087812420687]
我々は、目に見えないターゲットネットワーク上での機械学習モデルの性能を認証する課題に対処する。
モデルの平均損失を理論的に保証し、リスクCDFに一様境界を与える。
私たちのバウンダリは、K$クライアントへの多数のクエリに間に合うように計算可能で、モデルのプライベートデータにおける損失のみをクエリすることで、クライアントのプライバシを保存することができます。
論文 参考訳（メタデータ） (2024-10-26T18:45:15Z) - Federated Linear Bandits with Finite Adversarial Actions [20.1041278044797]
我々は、M$のクライアントが中央サーバと通信し、線形文脈の帯域幅問題を解決するための連合線形帯域幅モデルについて検討する。
逆有限作用集合のユニークな問題に対処するため、FedSupLinUCBアルゴリズムを提案する。
我々は、FedSupLinUCBが$tildeO(sqrtd T)$の完全後悔を達成したことを証明している。
論文 参考訳（メタデータ） (2023-11-02T03:41:58Z) - Addressing GAN Training Instabilities via Tunable Classification Losses [8.151943266391493]
GAN(Generative Adversarial Network)は、形式的な保証付き合成データを生成する。
すべての対称$f$-発散は収束において同値であることを示す。
また,合成2次元ガウス混合環のトレーニング不安定性を緩和するために,$(alpha_D,alpha_G)$のチューニング値も強調する。
論文 参考訳（メタデータ） (2023-10-27T17:29:07Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Towards Bias Correction of FedAvg over Nonuniform and Time-Varying
Communications [26.597515045714502]
Federated Learning(FL)は、パラメータサーバ(PS)とクライアントのコレクションが協調して、グローバルな目的を通じてモデルをトレーニングする分散学習フレームワークである。
チャネル条件が時間とともに変化している場合、FedFederated Postponedグローバルモデルは、ゴシップ型情報混合エラーを延期しないことを示す。
論文 参考訳（メタデータ） (2023-06-01T01:52:03Z) - The Sample Complexity of Online Contract Design [120.9833763323407]
オンライン環境での隠れアクションの主エージェント問題について検討する。
各ラウンドにおいて、主席は、各結果に基づいてエージェントへの支払いを指定する契約を投稿する。
エージェントは、自身のユーティリティを最大化する戦略的な行動選択を行うが、プリンシパルによって直接観察できない。
論文 参考訳（メタデータ） (2022-11-10T17:59:42Z) - Faster Rates for Compressed Federated Learning with Client-Variance
Reduction [23.169998435268504]
我々はCOFIGとFRECONが$O(frac(1+omega)sqrtNSepsilon2)$通信ラウンドに収束していることを示す。
凸設定では、COFIGは$O(frac(1+omega)sqrtNSepsilon2)$通信ラウンドに収束する。
論文 参考訳（メタデータ） (2021-12-24T16:28:18Z) - Safe Learning under Uncertain Objectives and Constraints [66.05180398174286]
我々は、テキスト不明で安全クリティカルな制約の下で、非テクスト無知かつ安全クリティカルな最適化問題を考察する。
このような問題は、ロボティクス、製造、医療などの様々な領域で自然に発生する。
我々の分析の重要な要素は、安全な最適化の文脈で収縮と呼ばれる手法を導入し、適用することである。
論文 参考訳（メタデータ） (2020-06-23T20:51:00Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z) - A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。
Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文 参考訳（メタデータ） (2020-03-05T01:56:17Z) - Curse of Dimensionality on Randomized Smoothing for Certifiable
Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。
我々はCIFARに関する実験結果を示し,その理論を検証した。
論文 参考訳（メタデータ） (2020-02-08T22:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。