論文の概要: Securer and Faster Privacy-Preserving Distributed Machine Learning
- arxiv url: http://arxiv.org/abs/2211.09353v1
- Date: Thu, 17 Nov 2022 05:39:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 17:21:40.762719
- Title: Securer and Faster Privacy-Preserving Distributed Machine Learning
- Title（参考訳）: セキュアで高速なプライバシ保存型分散機械学習
- Authors: Hongxiao Wang, Zoe L. Jiang, Yanmin Zhao, Siu-Ming Yiu, Peng Yang,
Zejiu Tan, Bohan Jin, Shiyuan Xu, and Shimin Pan
- Abstract要約: MKTFHE (Multi-key homomorphic overrus) はこの問題を解くのに適した候補の一つである。
本稿ではまず,MKTFHEのための分散復号化プロトコルを提案し,その上で,MKTFHEに親しみやすいアクティベーション関数を設計する。
復号化プロトコルの正しさとセキュリティを証明し、SigmoidのTaylorsと、提案した関数をアクティベーション関数として使用した場合の効率と精度を比較した。
- 参考スコア（独自算出の注目度）: 4.110922412941227
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the development of machine learning, it is difficult for a single server
to process all the data. So machine learning tasks need to be spread across
multiple servers, turning centralized machine learning into a distributed one.
However, privacy remains an unsolved problem in distributed machine learning.
Multi-key homomorphic encryption over torus (MKTFHE) is one of the suitable
candidates to solve the problem. However, there may be security risks in the
decryption of MKTFHE and the most recent result about MKFHE only supports the
Boolean operation and linear operation. So, MKTFHE cannot compute the
non-linear function like Sigmoid directly and it is still hard to perform
common machine learning such as logistic regression and neural networks in high
performance.
This paper first introduces secret sharing to propose a new distributed
decryption protocol for MKTFHE, then designs an MKTFHE-friendly activation
function, and finally utilizes them to implement logistic regression and neural
network training in MKTFHE. We prove the correctness and security of our
decryption protocol and compare the efficiency and accuracy between using
Taylor polynomials of Sigmoid and our proposed function as an activation
function. The experiments show that the efficiency of our function is 10 times
higher than using 7-order Taylor polynomials straightly and the accuracy of the
training model is similar to that of using a high-order polynomial as an
activation function scheme.
- Abstract（参考訳）: 機械学習の開発により、単一のサーバがすべてのデータを処理することが困難になる。
したがって、機械学習タスクは複数のサーバに分散し、中央集権的な機械学習を分散タスクに変換する必要がある。
しかし、分散機械学習では、プライバシは未解決の問題である。
MKTFHE(Multi-key homomorphic encryption over torus)はこの問題を解決するのに適した候補の一つである。
しかし、MKTFHEの復号化にはセキュリティ上のリスクがあり、MKFHEに関する最新の結果はブール演算と線形演算のみをサポートする。
したがって、mktfheはsgmoidのような非線形関数を直接計算することはできないし、ロジスティック回帰やニューラルネットワークといった一般的な機械学習をハイパフォーマンスで実行するのは難しい。
本稿ではまず,mktfheの分散復号プロトコルを提案する。次に,mktfheフレンドリーなアクティベーション関数を設計,最後に,ロジスティック回帰とニューラルネットワークのトレーニングをmktfheで実装する。
本プロトコルの正確性と安全性を実証し,sgmoidのtaylor多項式と提案関数を活性化関数として用いた場合の効率と精度を比較した。
実験の結果,7次テイラー多項式の効率は10倍高く,訓練モデルの精度は活性化関数スキームとして高次多項式を用いることと類似していることがわかった。
関連論文リスト
- Kolmogorov-Arnold Transformer [72.88137795439407]
Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。
C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。
これらの設計により、KATは従来のトランスフォーマーよりも優れている。
論文 参考訳（メタデータ） (2024-09-16T17:54:51Z) - The Power of Resets in Online Reinforcement Learning [73.64852266145387]
ローカルシミュレータアクセス(あるいはローカルプランニング)を用いたオンライン強化学習を通してシミュレータのパワーを探求する。
カバー性が低いMPPは,Qstar$-realizabilityのみのサンプル効率で学習可能であることを示す。
ローカルシミュレーターアクセス下では, 悪名高いExogenous Block MDP問題が抽出可能であることを示す。
論文 参考訳（メタデータ） (2024-04-23T18:09:53Z) - Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。
加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文 参考訳（メタデータ） (2024-04-18T09:17:06Z) - OPAF: Optimized Secure Two-Party Computation Protocols for Nonlinear Activation Functions in Recurrent Neural Network [8.825150825838769]
本稿では,二者間設定の半正直モデルにおける非線形関数の実装について,特に注目する。
そこで本研究では,分割・対数戦略を用いた指数関数の新しい,効率的なプロトコルを提案する。
次に,Sigmoid と Tanh の対称性を利用し,入力を微調整して2PC 構築ブロックを小さくする。
論文 参考訳（メタデータ） (2024-03-01T02:49:40Z) - 1-Lipschitz Neural Networks are more expressive with N-Activations [19.858602457988194]
システムの入力に対する小さな変更は、出力に大きな変更をもたらすべきではない。
MaxMinのようなよく使われるアクティベーション関数は、不必要に表現可能な関数のクラスを制限する。
現在普及しているアクティベーション関数よりも明らかに表現力が高い新しいN-アクティベーション関数を導入する。
論文 参考訳（メタデータ） (2023-11-10T15:12:04Z) - PolyLUT: Learning Piecewise Polynomials for Ultra-Low Latency FPGA
LUT-based Inference [3.1999570171901786]
ビルディングブロックを用いることで,線形関数よりもソフトロジックの層が少なく,同じ精度を実現できることを示す。
本手法の有効性を,ネットワーク侵入検出,CERN大型ハドロン衝突型加速器におけるジェット識別,MNISTデータセットを用いた手書き桁認識の3つのタスクで示す。
論文 参考訳（メタデータ） (2023-09-05T15:54:09Z) - Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。
既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。
我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文 参考訳（メタデータ） (2022-07-05T03:08:27Z) - THE-X: Privacy-Preserving Transformer Inference with Homomorphic
Encryption [112.02441503951297]
トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。
我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
論文 参考訳（メタデータ） (2022-06-01T03:49:18Z) - HD-cos Networks: Efficient Neural Architectures for Secure Multi-Party
Computation [26.67099154998755]
マルチパーティ計算(MPC、Multi-party calculation)は、暗号化の分野の一つで、複数の非解決パーティが関数を安全に計算するためのプロトコルを実行する。
MPC設定下でニューラルネットワークのトレーニングと推論について検討する。
どちらの手法も、MPC設定下での強力な理論的モチベーションと効率的な計算を享受できることを示す。
論文 参考訳（メタデータ） (2021-10-28T21:15:11Z) - Sparse Attention with Linear Units [60.399814410157425]
本稿では, ソフトマックスアクティベーションをReLUに置き換えることにより, 注目度を向上する新しい, 簡便な手法を提案する。
我々のモデルはRectified Linear Attention (ReLA)と呼ばれ、以前提案したスパースアテンション機構よりも実装が容易で効率的である。
分析の結果,RELAは高い空間性率と頭部の多様性を達成でき,ソース・ターゲット単語アライメントの精度が向上することがわかった。
論文 参考訳（メタデータ） (2021-04-14T17:52:38Z) - S++: A Fast and Deployable Secure-Computation Framework for
Privacy-Preserving Neural Network Training [0.4893345190925178]
複数のソースからのプライベートデータを使用して、ニューラルネットワーク(NN)をトレーニングするための、シンプルで堅牢でデプロイ可能なフレームワークであるS++を紹介します。
はじめに、すべての共通アクティベーション関数に対して高速かつ検証可能なプロトコルを提供し、それらを秘密の方法で実行するために最適化する。
論文 参考訳（メタデータ） (2021-01-28T15:48:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。