論文の概要: A Practical and Secure Byzantine Robust Aggregator
- arxiv url: http://arxiv.org/abs/2506.23183v1
- Date: Sun, 29 Jun 2025 10:53:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 21:27:53.761567
- Title: A Practical and Secure Byzantine Robust Aggregator
- Title（参考訳）: ビザンチンロバスト集積器の実用化と安全性
- Authors: De Zhang Lee, Aashish Kolluri, Prateek Saxena, Ee-Chien Chang,
- Abstract要約: ビザンチンのロバストアグリゲーションは、ベクトルのロバスト平均を計算するアルゴリズムプリミティブである。
入力ベクトルのサイズにおいて準線形時間で動作し、ほぼ最適バイアス境界を持つ最初のロバストアグリゲータを与える。
我々のアルゴリズムは、クリーンベクトルの分布に関する知識を前提とせず、フィルターしきい値の事前計算も必要としない。
- 参考スコア（独自算出の注目度）: 17.681636883541508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In machine learning security, one is often faced with the problem of removing outliers from a given set of high-dimensional vectors when computing their average. For example, many variants of data poisoning attacks produce gradient vectors during training that are outliers in the distribution of clean gradients, which bias the computed average used to derive the ML model. Filtering them out before averaging serves as a generic defense strategy. Byzantine robust aggregation is an algorithmic primitive which computes a robust average of vectors, in the presence of an $\epsilon$ fraction of vectors which may have been arbitrarily and adaptively corrupted, such that the resulting bias in the final average is provably bounded. In this paper, we give the first robust aggregator that runs in quasi-linear time in the size of input vectors and provably has near-optimal bias bounds. Our algorithm also does not assume any knowledge of the distribution of clean vectors, nor does it require pre-computing any filtering thresholds from it. This makes it practical to use directly in standard neural network training procedures. We empirically confirm its expected runtime efficiency and its effectiveness in nullifying 10 different ML poisoning attacks.
- Abstract（参考訳）: 機械学習のセキュリティでは、平均を計算する際に、与えられた高次元ベクトルのセットから外れ値を取り除くという問題に直面していることが多い。
例えば、データ中毒攻撃の多くの変種は、MLモデルの導出に使用される計算平均に偏りがあるクリーン勾配の分布のアウトレーヤである訓練中に勾配ベクトルを生成する。
平均化する前にそれらをフィルタリングすることは、一般的な防御戦略として機能する。
ビザンティン・ロバスト・アグリゲーション(Byzantine robust aggregate)は、ベクターのロバスト平均を計算するアルゴリズムプリミティブであり、最終的な平均のバイアスが証明可能な有界となるように、任意かつ適応的に崩壊した可能性のあるベクターの分数$\epsilon$分数が存在する。
本稿では,入力ベクトルのサイズにおいて準線形時間で動作し,ほぼ最適バイアス境界を持つ最初のロバストアグリゲータを提案する。
我々のアルゴリズムは、クリーンベクトルの分布に関する知識を前提とせず、フィルターしきい値の事前計算も必要としない。
これにより、標準的なニューラルネットワークトレーニング手順で直接使用するのが現実的になる。
予測実行効率と10種類のML毒素攻撃の無効化の有効性を実証的に検証した。
関連論文リスト
- Beyond Sin-Squared Error: Linear-Time Entrywise Uncertainty Quantification for Streaming PCA [5.749787074942513]
Ojaのアルゴリズムを用いたストリーミング主成分分析(PCA)のための新しい統計的推論フレームワークを提案する。
最適誤差率と対数因子との一致する推定ベクトルの要素に対して、鋭いベルンシュタイン型濃度を導出する。
座標偏差を効率的に推定するために,証明可能な一貫した部分サンプリングアルゴリズムを導入する。
論文 参考訳（メタデータ） (2025-06-14T22:50:54Z) - Robust computation of optimal transport by $\beta$-potential
regularization [79.24513412588745]
最適輸送(OT)は、確率分布間の差を測定する機械学習分野で広く使われているツールである。
我々は、いわゆる$beta$-divergenceに付随するベータポテンシャル項でOTを正規化することを提案する。
提案アルゴリズムで計算した輸送行列は,外乱が存在する場合でも確率分布を頑健に推定するのに役立つことを実験的に実証した。
論文 参考訳（メタデータ） (2022-12-26T18:37:28Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - Robust and Information-theoretically Safe Bias Classifier against
Adversarial Attacks [0.0]
Reluを用いたDNNのバイアス部を導入し、活性化関数を分類器として使用する。
バイアス部は、勾配がゼロの断片的定数関数であり、したがって勾配法によって直接攻撃することはできない。
バイアス分類器に適切なランダムな第1次部分を加えることにより、元のモデル勾配に基づく攻撃に対する情報理論的に安全な分類器を得る。
論文 参考訳（メタデータ） (2021-11-08T12:14:29Z) - Tensor Network Kalman Filtering for Large-Scale LS-SVMs [17.36231167296782]
最小二乗支援ベクトルマシンは非線形回帰と分類に使用される。
テンソルネットワークとカルマンフィルタに基づくフレームワークは、要求されるメモリと計算の複雑さを軽減する。
その結果,提案手法は高い性能を達成でき,代替手法が計算能力に欠ける場合には特に有用であることがわかった。
論文 参考訳（メタデータ） (2021-10-26T08:54:03Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - DAAIN: Detection of Anomalous and Adversarial Input using Normalizing
Flows [52.31831255787147]
我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。
本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。
当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
論文 参考訳（メタデータ） (2021-05-30T22:07:13Z) - Towards optimally abstaining from prediction [22.937799541125607]
機械学習のあらゆる領域に共通する課題は、トレーニングデータがテストデータのように分散されていないことだ。
一定のコストで予測を控えるモデルを考える。
我々は、Goldwasser、Kalais、Montasser(2020年)の最近の禁断アルゴリズムに基づいて、トランスダクティブバイナリ分類を行った。
論文 参考訳（メタデータ） (2021-05-28T21:44:48Z) - Deterministic Gaussian Averaged Neural Networks [7.51557557629519]
本稿では回帰と分類に使用されるニューラルネットワークのガウス平均を計算するための決定論的手法を提案する。
この等価性を利用して、クリーンなデータでうまく機能するが、敵の摂動に対して堅牢でないモデルの認証を行う。
論文 参考訳（メタデータ） (2020-06-10T20:53:31Z) - Meta-learning with Stochastic Linear Bandits [120.43000970418939]
我々は、よく知られたOFULアルゴリズムの正規化バージョンを実装するバンディットアルゴリズムのクラスを考える。
我々は,タスク数の増加とタスク分散の分散が小さくなると,タスクを個別に学習する上で,我々の戦略が大きな優位性を持つことを理論的および実験的に示す。
論文 参考訳（メタデータ） (2020-05-18T08:41:39Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。