論文の概要: Securer and Faster Privacy-Preserving Distributed Machine Learning
- arxiv url: http://arxiv.org/abs/2211.09353v1
- Date: Thu, 17 Nov 2022 05:39:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 17:21:40.762719
- Title: Securer and Faster Privacy-Preserving Distributed Machine Learning
- Title(参考訳): セキュアで高速なプライバシ保存型分散機械学習
- Authors: Hongxiao Wang, Zoe L. Jiang, Yanmin Zhao, Siu-Ming Yiu, Peng Yang,
Zejiu Tan, Bohan Jin, Shiyuan Xu, and Shimin Pan
- Abstract要約: MKTFHE (Multi-key homomorphic overrus) はこの問題を解くのに適した候補の一つである。
本稿ではまず,MKTFHEのための分散復号化プロトコルを提案し,その上で,MKTFHEに親しみやすいアクティベーション関数を設計する。
復号化プロトコルの正しさとセキュリティを証明し、SigmoidのTaylorsと、提案した関数をアクティベーション関数として使用した場合の効率と精度を比較した。
- 参考スコア(独自算出の注目度): 4.110922412941227
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the development of machine learning, it is difficult for a single server
to process all the data. So machine learning tasks need to be spread across
multiple servers, turning centralized machine learning into a distributed one.
However, privacy remains an unsolved problem in distributed machine learning.
Multi-key homomorphic encryption over torus (MKTFHE) is one of the suitable
candidates to solve the problem. However, there may be security risks in the
decryption of MKTFHE and the most recent result about MKFHE only supports the
Boolean operation and linear operation. So, MKTFHE cannot compute the
non-linear function like Sigmoid directly and it is still hard to perform
common machine learning such as logistic regression and neural networks in high
performance.
This paper first introduces secret sharing to propose a new distributed
decryption protocol for MKTFHE, then designs an MKTFHE-friendly activation
function, and finally utilizes them to implement logistic regression and neural
network training in MKTFHE. We prove the correctness and security of our
decryption protocol and compare the efficiency and accuracy between using
Taylor polynomials of Sigmoid and our proposed function as an activation
function. The experiments show that the efficiency of our function is 10 times
higher than using 7-order Taylor polynomials straightly and the accuracy of the
training model is similar to that of using a high-order polynomial as an
activation function scheme.
- Abstract(参考訳): 機械学習の開発により、単一のサーバがすべてのデータを処理することが困難になる。
したがって、機械学習タスクは複数のサーバに分散し、中央集権的な機械学習を分散タスクに変換する必要がある。
しかし、分散機械学習では、プライバシは未解決の問題である。
MKTFHE(Multi-key homomorphic encryption over torus)はこの問題を解決するのに適した候補の一つである。
しかし、MKTFHEの復号化にはセキュリティ上のリスクがあり、MKFHEに関する最新の結果はブール演算と線形演算のみをサポートする。
したがって、mktfheはsgmoidのような非線形関数を直接計算することはできないし、ロジスティック回帰やニューラルネットワークといった一般的な機械学習をハイパフォーマンスで実行するのは難しい。
本稿ではまず,mktfheの分散復号プロトコルを提案する。次に,mktfheフレンドリーなアクティベーション関数を設計,最後に,ロジスティック回帰とニューラルネットワークのトレーニングをmktfheで実装する。
本プロトコルの正確性と安全性を実証し,sgmoidのtaylor多項式と提案関数を活性化関数として用いた場合の効率と精度を比較した。
実験の結果,7次テイラー多項式の効率は10倍高く,訓練モデルの精度は活性化関数スキームとして高次多項式を用いることと類似していることがわかった。
関連論文リスト
- A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳(メタデータ) (2022-11-16T00:11:04Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳(メタデータ) (2022-06-01T23:26:51Z) - THE-X: Privacy-Preserving Transformer Inference with Homomorphic
Encryption [112.02441503951297]
トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。
我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
論文 参考訳(メタデータ) (2022-06-01T03:49:18Z) - Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline
Reinforcement Learning [114.36124979578896]
オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。
我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
論文 参考訳(メタデータ) (2022-05-05T05:44:26Z) - HD-cos Networks: Efficient Neural Architectures for Secure Multi-Party
Computation [26.67099154998755]
マルチパーティ計算(MPC、Multi-party calculation)は、暗号化の分野の一つで、複数の非解決パーティが関数を安全に計算するためのプロトコルを実行する。
MPC設定下でニューラルネットワークのトレーニングと推論について検討する。
どちらの手法も、MPC設定下での強力な理論的モチベーションと効率的な計算を享受できることを示す。
論文 参考訳(メタデータ) (2021-10-28T21:15:11Z) - MORSE-STF: A Privacy Preserving Computation System [12.875477499515158]
MPCに基づくプライバシー保護機械学習フレームワークSecure-TFを提案する。
我々のフレームワークは、ロジスティック回帰、完全接続型ニューラルネットワーク、畳み込み型ニューラルネットワークなど、広く使われている機械学習モデルをサポートすることができる。
論文 参考訳(メタデータ) (2021-09-24T03:42:46Z) - FLASHE: Additively Symmetric Homomorphic Encryption for Cross-Silo
Federated Learning [9.177048551836897]
ホモモルフィック暗号化(HE)は、クロスサイロ・フェデレーション・ラーニング(FL)のための有望なプライバシー保護技術である
ホモモルフィック暗号化(HE)は、クロスサイロ・フェデレーション・ラーニング(FL)のための有望なプライバシー保護技術である
論文 参考訳(メタデータ) (2021-09-02T02:36:04Z) - Efficient CNN Building Blocks for Encrypted Data [6.955451042536852]
ホモモルフィック暗号化(FHE)は機械学習と推論を可能にする有望な技術である。
選択したFHE方式の動作パラメータが機械学習モデルの設計に大きな影響を与えることを示す。
実験により, 上記の設計パラメータの選択は, 精度, セキュリティレベル, 計算時間の間に大きなトレードオフをもたらすことがわかった。
論文 参考訳(メタデータ) (2021-01-30T21:47:23Z) - S++: A Fast and Deployable Secure-Computation Framework for
Privacy-Preserving Neural Network Training [0.4893345190925178]
複数のソースからのプライベートデータを使用して、ニューラルネットワーク(NN)をトレーニングするための、シンプルで堅牢でデプロイ可能なフレームワークであるS++を紹介します。
はじめに、すべての共通アクティベーション関数に対して高速かつ検証可能なプロトコルを提供し、それらを秘密の方法で実行するために最適化する。
論文 参考訳(メタデータ) (2021-01-28T15:48:54Z) - Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。
本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。
各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
論文 参考訳(メタデータ) (2020-06-17T18:14:30Z) - MC-BERT: Efficient Language Pre-Training via a Meta Controller [96.68140474547602]
大規模事前学習は計算コストが高い。
事前トレーニングを加速する初期の試みであるELECTRAは、各入力トークンがジェネレータに置き換えられたかどうかを予測する識別モデルを訓練している。
本稿では,MC-BERTというメタラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-10T09:22:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。