論文の概要: Centroid Approximation for Byzantine-Tolerant Federated Learning
- arxiv url: http://arxiv.org/abs/2506.15264v1
- Date: Wed, 18 Jun 2025 08:40:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-19 19:35:51.599438
- Title: Centroid Approximation for Byzantine-Tolerant Federated Learning
- Title（参考訳）: ビザンチン耐性フェデレート学習のためのセントロイド近似
- Authors: Mélanie Cambus, Darya Melnyk, Tijana Milentijević, Stefan Schmid,
- Abstract要約: フェデレーション学習は、分散環境で機械学習モデルをトレーニングする際に、各クライアントがデータをローカルに保持することを可能にする。
種々の妥当性条件だけでは, 平均値の良好な近似が保証されないことを示す。
本稿では,凸妥当性の下で$sqrt2d$-approximationを実現するアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 11.477670199123335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning allows each client to keep its data locally when training machine learning models in a distributed setting. Significant recent research established the requirements that the input must satisfy in order to guarantee convergence of the training loop. This line of work uses averaging as the aggregation rule for the training models. In particular, we are interested in whether federated learning is robust to Byzantine behavior, and observe and investigate a tradeoff between the average/centroid and the validity conditions from distributed computing. We show that the various validity conditions alone do not guarantee a good approximation of the average. Furthermore, we show that reaching good approximation does not give good results in experimental settings due to possible Byzantine outliers. Our main contribution is the first lower bound of $\min\{\frac{n-t}{t},\sqrt{d}\}$ on the centroid approximation under box validity that is often considered in the literature, where $n$ is the number of clients, $t$ the upper bound on the number of Byzantine faults, and $d$ is the dimension of the machine learning model. We complement this lower bound by an upper bound of $2\min\{n,\sqrt{d}\}$, by providing a new analysis for the case $n<d$. In addition, we present a new algorithm that achieves a $\sqrt{2d}$-approximation under convex validity, which also proves that the existing lower bound in the literature is tight. We show that all presented bounds can also be achieved in the distributed peer-to-peer setting. We complement our analytical results with empirical evaluations in federated stochastic gradient descent and federated averaging settings.
- Abstract（参考訳）: フェデレーション学習は、分散環境で機械学習モデルをトレーニングする際に、各クライアントがデータをローカルに保持することを可能にする。
最近の重要な研究は、トレーニングループの収束を保証するために入力が満たさなければならないという要件を確立した。
この一連の作業では、トレーニングモデルのアグリゲーションルールとして平均化を使用します。
特に,フェデレーション学習がビザンチンの行動に堅牢であるかどうかに興味を持ち,平均/セントロイドと分散コンピューティングの妥当性条件とのトレードオフを観察・調査する。
種々の妥当性条件だけでは, 平均値の良好な近似が保証されないことを示す。
さらに, ベザンティン外乱の可能性から, 良好な近似に到達しても, 実験条件では良好な結果が得られないことが示唆された。
我々の主な貢献は、文献でよく考慮される、ボックスの妥当性の下でのセントロイド近似に対する$\min\{\frac{n-t}{t},\sqrt{d}\}$の最初の下限であり、そこでは、$n$はクライアントの数、$t$はビザンティン断層の数、$d$は機械学習モデルの次元である。
この下界を 2 min\{n,\sqrt{d}\}$ の上界で補い、$n<d$ の場合の新しい解析を与える。
さらに、凸妥当性の下で$\sqrt{2d}$-approximationを達成する新しいアルゴリズムを提案する。
提案するすべてのバウンダリは、分散ピアツーピア設定でも実現できることを示す。
我々は,フェデレート確率勾配降下とフェデレーション平均化設定において,分析結果を経験的評価で補完する。
関連論文リスト
- Gaussian credible intervals in Bayesian nonparametric estimation of the unseen [7.54430260415628]
未確認種問題は、異なる種に属する個体の集団から、おそらく無限のサンプルを、ngeq1$と仮定する。
我々は,任意の$ngeq1$に対して,K_n,m$に対して大きな$m$信頼区間を導出する新しい手法を提案する。
論文 参考訳（メタデータ） (2025-01-27T12:48:05Z) - Certifiably Robust Model Evaluation in Federated Learning under Meta-Distributional Shifts [8.700087812420687]
異なるネットワーク "B" 上でモデルの性能を保証する。
我々は、原則付きバニラDKWバウンダリが、同じ(ソース)ネットワーク内の未確認クライアント上で、モデルの真のパフォーマンスの認証を可能にする方法を示す。
論文 参考訳（メタデータ） (2024-10-26T18:45:15Z) - Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization [65.8915778873691]
条件分布は機械学習の中心的な問題です
ペアデータとペアデータの両方を統合する新しいパラダイムを提案する。
提案手法は任意の誤差で理論上真の条件分布を復元可能であることを示す。
論文 参考訳（メタデータ） (2024-10-03T16:12:59Z) - Byzantine-Robust Federated Learning: Impact of Client Subsampling and Local Updates [11.616782769625003]
逆境(エム・ビザンティン)のクライアントは、連邦学習(FL)を任意に操作する傾向がある。
学習精度の向上は, サブサンプルクライアント数に対して著しく低下することを示す。
また、注意深いステップ選択の下では、ビザンティンのクライアントによる学習エラーは局所的なステップの数とともに減少する。
論文 参考訳（メタデータ） (2024-02-20T07:40:11Z) - Optimal score estimation via empirical Bayes smoothing [13.685846094715364]
未知確率分布$rho*$のスコア関数を$n$独立分布および$d$次元における同一分布観測から推定する問題について検討する。
ガウスカーネルに基づく正規化スコア推定器は、一致するミニマックス下界によって最適に示され、この値が得られることを示す。
論文 参考訳（メタデータ） (2024-02-12T16:17:40Z) - Online non-parametric likelihood-ratio estimation by Pearson-divergence
functional minimization [55.98760097296213]
iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。
本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
論文 参考訳（メタデータ） (2023-11-03T13:20:11Z) - $\texttt{FedBC}$: Calibrating Global and Local Models via Federated
Learning Beyond Consensus [66.62731854746856]
フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。
本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。
私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
論文 参考訳（メタデータ） (2022-06-22T02:42:04Z) - Under-bagging Nearest Neighbors for Imbalanced Classification [63.026765294759876]
我々は,不均衡な分類問題に対して,textitunder-bagging $k$-NN (textitunder-bagging $k$-NN) というアンサンブル学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-01T14:10:38Z) - Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
敵対的レジリエントな分散最適化。
機械は独立して勾配を計算し 協力することができます
私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。
それは非常に実用的です:それはないときすべての前の方法の性能を改善します。
セッティングマシンがあります。
論文 参考訳（メタデータ） (2020-12-28T17:19:32Z) - Learning Halfspaces with Tsybakov Noise [50.659479930171585]
テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。
真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
論文 参考訳（メタデータ） (2020-06-11T14:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。