論文の概要: Practical Homomorphic Aggregation for Byzantine ML

• arxiv url: http://arxiv.org/abs/2309.05395v2
• Date: Fri, 15 Sep 2023 09:38:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 17:26:21.574529
• Title: Practical Homomorphic Aggregation for Byzantine ML
• Title（参考訳）: ビザンチンMLにおける一様アグリゲーション
• Authors: Antoine Choffrut, Rachid Guerraoui, Rafael Pinot, Renaud Sirdey, John Stephan, and Martin Zuber
• Abstract要約: 完全同型かつビザンチン頑健な分散学習アルゴリズムであるSABLEを提案する。 SABLEでは、平文上のロバストなアグリゲーションの実装を可能にする新しいエンコーディング手法を基本的に頼りにしています。 SABLEは、非プライベートな実行時間とマッチングしながら、実用的な実行時間を達成することを示す。
• 参考スコア（独自算出の注目度）: 9.455980760111498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the large-scale availability of data, machine learning (ML) algorithms are being deployed in distributed topologies, where different nodes collaborate to train ML models over their individual data by exchanging model-related information (e.g., gradients) with a central server. However, distributed learning schemes are notably vulnerable to two threats. First, Byzantine nodes can single-handedly corrupt the learning by sending incorrect information to the server, e.g., erroneous gradients. The standard approach to mitigate such behavior is to use a non-linear robust aggregation method at the server. Second, the server can violate the privacy of the nodes. Recent attacks have shown that exchanging (unencrypted) gradients enables a curious server to recover the totality of the nodes' data. The use of homomorphic encryption (HE), a gold standard security primitive, has extensively been studied as a privacy-preserving solution to distributed learning in non-Byzantine scenarios. However, due to HE's large computational demand especially for high-dimensional ML models, there has not yet been any attempt to design purely homomorphic operators for non-linear robust aggregators. In this work, we present SABLE, the first completely homomorphic and Byzantine robust distributed learning algorithm. SABLE essentially relies on a novel plaintext encoding method that enables us to implement the robust aggregator over batching-friendly BGV. Moreover, this encoding scheme also accelerates state-of-the-art homomorphic sorting with larger security margins and smaller ciphertext size. We perform extensive experiments on image classification tasks and show that our algorithm achieves practical execution times while matching the ML performance of its non-private counterpart.
• Abstract（参考訳）: 大規模なデータ可用性のため、機械学習(ML)アルゴリズムは分散トポロジにデプロイされており、各ノードは中央サーバとモデル関連情報(例えば勾配)を交換することで、個々のデータ上でMLモデルをトレーニングする。 しかし、分散学習スキームは2つの脅威に対して特に脆弱である。 まず、Byzantineノードは誤った情報をサーバに送信することで学習をシングルハンドで破壊することができる。 このような振る舞いを緩和するための標準的なアプローチは、サーバで非線形ロバストアグリゲーションメソッドを使用することである。 第二に、サーバはノードのプライバシーを侵害することができる。 最近の攻撃は、(暗号化されていない)グラデーションを交換することで、好奇心の強いサーバがノードのデータの総量を回復できることを示している。 金の標準セキュリティプリミティブである準同型暗号(he)の使用は、非ビザンチンシナリオにおける分散学習に対するプライバシー保護ソリューションとして広く研究されてきた。 しかし、特に高次元MLモデルに対するHEの計算要求が大きいため、非線形ロバストアグリゲータに対して純粋に同型演算子を設計する試みはまだ行われていない。 本稿では,最初の完全準同型でビザンチンロバストな分散学習アルゴリズムであるsableを提案する。 SABLEは基本的に,バッチ処理に適したBGVに対して,ロバストなアグリゲータを実装可能な,新しい平文符号化方式に依存している。 さらに、この符号化方式は、セキュリティマージンが大きく、暗号文サイズが小さい最先端の同型ソートを高速化する。 画像分類タスクに関する広範囲な実験を行い,非プライベートなml性能に適合しながら,実用的な実行時間を実現することを示す。

関連論文リスト

• Lancelot: Towards Efficient and Privacy-Preserving Byzantine-Robust Federated Learning within Fully Homomorphic Encryption [10.685816010576918]
  我々は,データプライバシを保ちながら悪意あるクライアント活動を保護するために,完全同型暗号化(FHE)を利用する,革新的で計算効率のよいBRFLフレームワークであるLancelotを提案する。 医用画像診断や広く使われている公開画像データセットを含む大規模なテストでは、Lancelotが既存の手法を著しく上回り、データのプライバシを維持しながら、処理速度を20倍以上に向上させています。
  論文  参考訳（メタデータ） (2024-08-12T14:48:25Z)
• PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
  フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。 送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。 我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
  論文  参考訳（メタデータ） (2024-07-12T03:18:08Z)
• When approximate design for fast homomorphic computation provides differential privacy guarantees [0.08399688944263842]
  差分プライバシー(DP)と暗号プリミティブは、プライバシー攻撃に対する一般的な対策である。 本稿では,argmax演算子に対する確率近似アルゴリズム ShiELD を設計する。 たとえShielDが他のアプリケーションを持つことができたとしても、私たちは1つの設定に集中し、SPEEDコラボレーティブトレーニングフレームワークにシームレスに統合します。
  論文  参考訳（メタデータ） (2023-04-06T09:38:01Z)
• HE-MAN -- Homomorphically Encrypted MAchine learning with oNnx models [0.23624125155742057]
  ホモモルフィック暗号化(FHE)は、プライバシを諦めることなくMLサービスを使用する個人を可能にする、有望なテクニックである。 我々は、ONNXモデルと同型暗号化データとの推論をプライバシー保護するためのオープンソースの機械学習ツールセットであるHE-MANを紹介する。 HE-MANは以前の作業と比較して、ONNXフォーマットの幅広いMLモデルをサポートしているが、精度を犠牲にしない。
  論文  参考訳（メタデータ） (2023-02-16T12:37:14Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Holdout SGD: Byzantine Tolerant Federated Learning [43.446891082719944]
  本研究は、グラディエントDescent(SGD)最適化のための、新しい分散ビザンチン耐性フェデレート学習アルゴリズムであるHoldOut SGDを提案する。 HoldOut SGDは、分散形式でホールドアウト推定というよく知られた機械学習技術を使用して、損失値の低いモデルにつながる可能性のあるパラメータ更新を選択する。 我々は、最適なモデルへの収束と、ビザンティン労働者のごく一部に対するレジリエンスのレベルの観点から、HoldOut SGDプロセスの正式な保証を提供する。
  論文  参考訳（メタデータ） (2020-08-11T10:16:37Z)
• Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
  ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。 これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。 本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
  論文  参考訳（メタデータ） (2020-06-16T17:58:53Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• CryptoSPN: Privacy-preserving Sum-Product Network Inference [84.88362774693914]
  総生産ネットワーク(SPN)のプライバシ保護のためのフレームワークを提案する。 CryptoSPNは、中規模のSPNに対して秒の順序で高効率で正確な推論を行う。
  論文  参考訳（メタデータ） (2020-02-03T14:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。