論文の概要: SABLE: Secure And Byzantine robust LEarning
- arxiv url: http://arxiv.org/abs/2309.05395v4
- Date: Thu, 14 Dec 2023 10:04:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-16 04:22:16.157046
- Title: SABLE: Secure And Byzantine robust LEarning
- Title(参考訳): sable: セキュアでビザンチン堅牢な学習
- Authors: Antoine Choffrut, Rachid Guerraoui, Rafael Pinot, Renaud Sirdey, John
Stephan, and Martin Zuber
- Abstract要約: ホモモルフィック暗号化(HE)は、分散学習におけるプライバシを保護するための主要なセキュリティ対策として登場した。
本稿では,最初の同型およびビザンチン頑健な分散学習アルゴリズムであるSABLEを紹介する。
- 参考スコア(独自算出の注目度): 9.455980760111498
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the widespread availability of data, machine learning (ML) algorithms
are increasingly being implemented in distributed topologies, wherein various
nodes collaborate to train ML models via the coordination of a central server.
However, distributed learning approaches face significant vulnerabilities,
primarily stemming from two potential threats. Firstly, the presence of
Byzantine nodes poses a risk of corrupting the learning process by transmitting
inaccurate information to the server. Secondly, a curious server may compromise
the privacy of individual nodes, sometimes reconstructing the entirety of the
nodes' data. Homomorphic encryption (HE) has emerged as a leading security
measure to preserve privacy in distributed learning under non-Byzantine
scenarios. However, the extensive computational demands of HE, particularly for
high-dimensional ML models, have deterred attempts to design purely homomorphic
operators for non-linear robust aggregators. This paper introduces SABLE, the
first homomorphic and Byzantine robust distributed learning algorithm. SABLE
leverages HTS, a novel and efficient homomorphic operator implementing the
prominent coordinate-wise trimmed mean robust aggregator. Designing HTS enables
us to implement HMED, a novel homomorphic median aggregator. Extensive
experiments on standard ML tasks demonstrate that SABLE achieves practical
execution times while maintaining an ML accuracy comparable to its non-private
counterpart.
- Abstract(参考訳): データの普及に伴い、機械学習(ML)アルゴリズムが分散トポロジに実装され、中央サーバの調整を通じて、さまざまなノードがMLモデルのトレーニングに協力するようになっている。
しかし、分散学習アプローチは、主に2つの潜在的な脅威から生じる重大な脆弱性に直面している。
まず、ビザンチンノードの存在は、不正確な情報をサーバに送信することで学習プロセスを悪化させるリスクを引き起こす。
第二に、好奇心の強いサーバが個々のノードのプライバシーを侵害し、時にはノードのデータ全体を再構築する。
ホモモルフィック暗号化(HE)は、非ビザンチンシナリオ下での分散学習におけるプライバシーを保護するための主要なセキュリティ対策として登場した。
しかし、特に高次元mlモデルに対するheの広範な計算要求は、非線形ロバストなアグリゲータに対する純粋準同型作用素の設計を妨げている。
本稿では,最初の準同型およびビザンチンロバスト分散学習アルゴリズムであるsableを紹介する。
SABLEは、新しく効率的なホモモルフィック演算子であるHTSを活用して、顕著な座標にトリミングされた平均ロバストアグリゲータを実装している。
HTSを設計することで、新しい同型中央アグリゲータであるHMEDを実装することができる。
標準のMLタスクに関する大規模な実験は、SABLEが非プライベートなタスクに匹敵するMLの精度を維持しながら、実用的な実行時間を達成していることを示している。
関連論文リスト
- Lancelot: Towards Efficient and Privacy-Preserving Byzantine-Robust Federated Learning within Fully Homomorphic Encryption [10.685816010576918]
我々は,データプライバシを保ちながら悪意あるクライアント活動を保護するために,完全同型暗号化(FHE)を利用する,革新的で計算効率のよいBRFLフレームワークであるLancelotを提案する。
医用画像診断や広く使われている公開画像データセットを含む大規模なテストでは、Lancelotが既存の手法を著しく上回り、データのプライバシを維持しながら、処理速度を20倍以上に向上させています。
論文 参考訳(メタデータ) (2024-08-12T14:48:25Z) - PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。
送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。
我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
論文 参考訳(メタデータ) (2024-07-12T03:18:08Z) - When approximate design for fast homomorphic computation provides
differential privacy guarantees [0.08399688944263842]
差分プライバシー(DP)と暗号プリミティブは、プライバシー攻撃に対する一般的な対策である。
本稿では,argmax演算子に対する確率近似アルゴリズム ShiELD を設計する。
たとえShielDが他のアプリケーションを持つことができたとしても、私たちは1つの設定に集中し、SPEEDコラボレーティブトレーニングフレームワークにシームレスに統合します。
論文 参考訳(メタデータ) (2023-04-06T09:38:01Z) - HE-MAN -- Homomorphically Encrypted MAchine learning with oNnx models [0.23624125155742057]
ホモモルフィック暗号化(FHE)は、プライバシを諦めることなくMLサービスを使用する個人を可能にする、有望なテクニックである。
我々は、ONNXモデルと同型暗号化データとの推論をプライバシー保護するためのオープンソースの機械学習ツールセットであるHE-MANを紹介する。
HE-MANは以前の作業と比較して、ONNXフォーマットの幅広いMLモデルをサポートしているが、精度を犠牲にしない。
論文 参考訳(メタデータ) (2023-02-16T12:37:14Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳(メタデータ) (2021-12-12T06:11:16Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳(メタデータ) (2020-10-02T10:41:59Z) - Holdout SGD: Byzantine Tolerant Federated Learning [43.446891082719944]
本研究は、グラディエントDescent(SGD)最適化のための、新しい分散ビザンチン耐性フェデレート学習アルゴリズムであるHoldOut SGDを提案する。
HoldOut SGDは、分散形式でホールドアウト推定というよく知られた機械学習技術を使用して、損失値の低いモデルにつながる可能性のあるパラメータ更新を選択する。
我々は、最適なモデルへの収束と、ビザンティン労働者のごく一部に対するレジリエンスのレベルの観点から、HoldOut SGDプロセスの正式な保証を提供する。
論文 参考訳(メタデータ) (2020-08-11T10:16:37Z) - Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。
これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。
本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
論文 参考訳(メタデータ) (2020-06-16T17:58:53Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z) - CryptoSPN: Privacy-preserving Sum-Product Network Inference [84.88362774693914]
総生産ネットワーク(SPN)のプライバシ保護のためのフレームワークを提案する。
CryptoSPNは、中規模のSPNに対して秒の順序で高効率で正確な推論を行う。
論文 参考訳(メタデータ) (2020-02-03T14:49:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。