論文の概要: Byzantine Machine Learning: MultiKrum and an optimal notion of robustness
- arxiv url: http://arxiv.org/abs/2602.03899v1
- Date: Tue, 03 Feb 2026 09:07:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-05 19:45:11.212348
- Title: Byzantine Machine Learning: MultiKrum and an optimal notion of robustness
- Title（参考訳）: Byzantine Machine Learning: MultiKrumとロバストネスの最適概念
- Authors: Gilles Bareilles, Wassim Bouaziz, Julien Fageot, El-Mahdi El-Mhamdi,
- Abstract要約: 我々は、MultiKrumがロバストアグリゲーションルールであり、そのロバストネス係数を束縛する最初の証明を提供する。
我々は、MultiKrumの限界は、Krumの限界よりも決して悪くなく、現実的なレジームにおいて優れていることを示す。
- 参考スコア（独自算出の注目度）: 10.810599663861476
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Aggregation rules are the cornerstone of distributed (or federated) learning in the presence of adversaries, under the so-called Byzantine threat model. They are also interesting mathematical objects from the point of view of robust mean estimation. The Krum aggregation rule has been extensively studied, and endowed with formal robustness and convergence guarantees. Yet, MultiKrum, a natural extension of Krum, is often preferred in practice for its superior empirical performance, even though no theoretical guarantees were available until now. In this work, we provide the first proof that MultiKrum is a robust aggregation rule, and bound its robustness coefficient. To do so, we introduce $κ^\star$, the optimal *robustness coefficient* of an aggregation rule, which quantifies the accuracy of mean estimation in the presence of adversaries in a tighter manner compared with previously adopted notions of robustness. We then construct an upper and a lower bound on MultiKrum's robustness coefficient. As a by-product, we also improve on the best-known bounds on Krum's robustness coefficient. We show that MultiKrum's bounds are never worse than Krum's, and better in realistic regimes. We illustrate this analysis by an experimental investigation on the quality of the lower bound.
- Abstract（参考訳）: 集約ルールは、いわゆるビザンツの脅威モデルの下で、敵の存在下での分散(あるいは連合)学習の基盤である。
また、ロバスト平均推定の観点からも興味深い数学的対象である。
クルム集合則は広く研究され、形式的な堅牢性と収束保証が与えられた。
しかし、Krumの自然な拡張であるMultiKrumは、これまで理論的な保証が得られていなかったにもかかわらず、その優れた経験的性能のために実際に好まれることが多い。
本研究では、MultiKrumがロバストアグリゲーションルールであり、そのロバストネス係数を束縛する最初の証明を提供する。
そこで我々は,従来のロバスト性の概念よりも厳密な方法で,敵の存在下での平均推定の精度を定量化する,アグリゲーションルールの最適な *robustness coefficient* である $κ^\star$ を導入する。
次に、MultiKrumのロバスト性係数の上限と下限を構築する。
副生成物として、クルムの堅牢性係数の最もよく知られた境界も改善する。
我々は、MultiKrumの限界は、Krumの限界よりも決して悪くなく、現実的なレジームにおいて優れていることを示す。
この分析は下界の品質に関する実験的研究によって説明される。
関連論文リスト
- Improved Sample Complexity for Full Coverage in Compact and Continuous Spaces [0.0]
我々は$d$次元単位ハイパーキューブにおける一様ランダムサンプリングについて検討した。
故障確率に対数依存するサンプル複雑性を導出する。
我々の発見は、グリッドベースのカバレッジ保証に依存するアルゴリズムに対して、よりシャープな理論的ツールを提供する。
論文 参考訳（メタデータ） (2025-11-21T21:06:14Z) - Understanding Robust Machine Learning for Nonparametric Regression with Heavy-Tailed Noise [10.844819221753042]
我々は、Tikhonov-regularized risk minimizationのクローズアップ例として、Huberレグレッションを使用している。
i)弱モーメント仮定下での標準濃度ツールの分解と,(ii)非有界仮説空間によってもたらされる解析的困難に対処する。
我々の研究は、原則化されたルールを提供し、ハマーを超えて他の堅牢な損失に拡張し、頑健な学習を分析するための基本的なレンズとして、過剰なリスクではなく予測エラーを強調します。
論文 参考訳（メタデータ） (2025-10-10T21:57:18Z) - Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective [73.18641268511318]
本稿では,クラスタリング結果を導出するための正規制約のみを緩和するグラフベースのクラスタリングアルゴリズムを提案する。
二重制約を勾配に変換するために、非負の制約をクラス確率パラメータに変換する。
論文 参考訳（メタデータ） (2025-09-23T09:14:39Z) - Uncertainty quantification for Markov chain induced martingales with application to temporal difference learning [55.197497603087065]
線形関数近似を用いた時間差分学習アルゴリズムの性能解析を行った。
マルコフ連鎖によって誘導されるベクトル値マルティンタに対する新規で一般的な高次元濃度不等式とベリー-エッセイン境界を確立する。
論文 参考訳（メタデータ） (2025-02-19T15:33:55Z) - Boosting Certificate Robustness for Time Series Classification with Efficient Self-Ensemble [10.63844868166531]
ランダム化 Smoothing は $ell_p$-ball 攻撃下でのロバストネス半径の証明可能な下界を証明できるため、スタンドアウト手法として登場した。
本稿では,分類マージンのばらつきを低減し,予測ラベルの確率信頼度を低くする自己アンサンブル手法を提案する。
このアプローチはまた、Deep Ensemble(DE)の計算オーバーヘッド問題にも対処し、競争力を維持しつつ、頑健性の観点からも性能を上回っている。
論文 参考訳（メタデータ） (2024-09-04T15:22:08Z) - Beyond Expectations: Learning with Stochastic Dominance Made Practical [88.06211893690964]
支配は、不確実な結果で意思決定を行うためのリスク-逆の選好をモデル化する。
理論上は魅力的だが、機械学習における優位性の応用は乏しい。
まず支配の概念を一般化し、任意の確率変数の任意のペア間の比較を可能にする。
次に、優位性の観点から最適解を見つけるための単純で効率的なアプローチを開発する。
論文 参考訳（メタデータ） (2024-02-05T03:21:23Z) - Certifying Ensembles: A General Certification Theory with
S-Lipschitzness [128.2881318211724]
組み立ては、一般化、不確実性推定、校正、コンセプトドリフトの効果の緩和に有用であることが示されている。
本研究では、S-Lipschitz分類器を導入し、アンサンブルの理論的堅牢性を分析することにより、リプシッツ連続性を一般化する。
論文 参考訳（メタデータ） (2023-04-25T17:50:45Z) - Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums [7.778461949427662]
分散機械学習コミュニティでは、ビザンチンレジリエンスが重要なトピックとして浮上した。
本稿では、最適なビザンチンレジリエンスを確立するための統一的なフレームワークであるemphRESAM(Regilient Averaging of Momentums)を提案する。
論文 参考訳（メタデータ） (2022-05-24T16:14:50Z) - Provable tradeoffs in adversarially robust classification [96.48180210364893]
我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。
この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
論文 参考訳（メタデータ） (2020-06-09T09:58:19Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z) - Robust $k$-means Clustering for Distributions with Two Moments [4.21934751979057]
我々は、$N$独立観測に基づいて量子化器を構成する$k$-meansクラスタリング問題に対するロバストアルゴリズムについて考察する。
我々の主な結果は、一般分離ヒルベルト空間における2つの有界モーメント仮定の下で成り立つ平均に基づく非漸近的過剰歪み境界の中央値である。
論文 参考訳（メタデータ） (2020-02-06T16:36:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。