論文の概要: HD-cos Networks: Efficient Neural Architectures for Secure Multi-Party
Computation
- arxiv url: http://arxiv.org/abs/2110.15440v1
- Date: Thu, 28 Oct 2021 21:15:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-01 15:05:26.365963
- Title: HD-cos Networks: Efficient Neural Architectures for Secure Multi-Party
Computation
- Title(参考訳): HD-cos Networks: セキュアなマルチパーティ計算のための効率的なニューラルネットワーク
- Authors: Wittawat Jitkrittum, Michal Lukasik, Ananda Theertha Suresh, Felix Yu,
Gang Wang
- Abstract要約: マルチパーティ計算(MPC、Multi-party calculation)は、暗号化の分野の一つで、複数の非解決パーティが関数を安全に計算するためのプロトコルを実行する。
MPC設定下でニューラルネットワークのトレーニングと推論について検討する。
どちらの手法も、MPC設定下での強力な理論的モチベーションと効率的な計算を享受できることを示す。
- 参考スコア(独自算出の注目度): 26.67099154998755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-party computation (MPC) is a branch of cryptography where multiple
non-colluding parties execute a well designed protocol to securely compute a
function. With the non-colluding party assumption, MPC has a cryptographic
guarantee that the parties will not learn sensitive information from the
computation process, making it an appealing framework for applications that
involve privacy-sensitive user data. In this paper, we study training and
inference of neural networks under the MPC setup. This is challenging because
the elementary operations of neural networks such as the ReLU activation
function and matrix-vector multiplications are very expensive to compute due to
the added multi-party communication overhead. To address this, we propose the
HD-cos network that uses 1) cosine as activation function, 2) the
Hadamard-Diagonal transformation to replace the unstructured linear
transformations. We show that both of the approaches enjoy strong theoretical
motivations and efficient computation under the MPC setup. We demonstrate on
multiple public datasets that HD-cos matches the quality of the more expensive
baselines.
- Abstract(参考訳): マルチパーティ計算 (multi-party computation, mpc) は暗号学の一分野であり、複数の非コレーディングパーティが関数をセキュアに計算するためのよく設計されたプロトコルを実行する。
非解決パーティの仮定により、MPCは、当事者が計算プロセスから機密情報を学習しないことを保証し、プライバシに敏感なユーザーデータを含むアプリケーションにとって魅力的なフレームワークとなる。
本稿では,MPC設定下でのニューラルネットワークのトレーニングと推論について検討する。
reluアクティベーション関数やマトリックスベクトル乗算といったニューラルネットワークの基本的な操作は、マルチパーティ通信のオーバーヘッドの増加によって計算に非常に費用がかかるため、これは難しい。
これに対処するために,我々はhd-cosネットワークを提案する。
1)活性化機能としてのコサイン
2) アダマール対角変換は非構造線型変換を置き換える。
いずれの手法も,mpc 環境下での強力な理論的動機付けと効率的な計算を享受できることを示す。
hd-cosがより高価なベースラインの品質に合致する、複数のパブリックデータセットで実証する。
関連論文リスト
- Towards Model-Size Agnostic, Compute-Free, Memorization-based Inference
of Deep Learning [5.41530201129053]
本稿では,新しい暗記ベース推論(MBI)を提案する。
具体的には、リカレント・アテンション・モデル(RAM)の推論機構に着目します。
低次元のスリープ性を活用することで、我々の推論手順は、スリープ位置、パッチベクトルなどからなるキー値対をテーブルに格納する。
計算は、テーブルを利用してキーと値のペアを読み出し、暗記による計算自由推論を実行することにより、推論中に妨げられる。
論文 参考訳(メタデータ) (2023-07-14T21:01:59Z) - Fast and Private Inference of Deep Neural Networks by Co-designing
Activation Functions [19.118686713513643]
マルチパーティ(MPC)は、暗号化推論によってクライアントのデータを保護する。
推論モデルと精度を競合させる新しいトレーニングアルゴリズムを提案する。
我々の評価では、最大2300万のパラメータを持つ大規模モデルにおいて、推論時間の4ドルから90倍のスピードアップが示されています。
論文 参考訳(メタデータ) (2023-06-14T14:38:25Z) - Securer and Faster Privacy-Preserving Distributed Machine Learning [4.110922412941227]
MKTFHE (Multi-key homomorphic overrus) はこの問題を解くのに適した候補の一つである。
本稿ではまず,MKTFHEのための分散復号化プロトコルを提案し,その上で,MKTFHEに親しみやすいアクティベーション関数を設計する。
復号化プロトコルの正しさとセキュリティを証明し、SigmoidのTaylorsと、提案した関数をアクティベーション関数として使用した場合の効率と精度を比較した。
論文 参考訳(メタデータ) (2022-11-17T05:39:48Z) - PolyMPCNet: Towards ReLU-free Neural Architecture Search in Two-party
Computation Based Private Inference [23.795457990555878]
プライバシー保護型ディープラーニング(DL)計算を可能にするために,セキュアなマルチパーティ計算(MPC)が議論されている。
MPCは計算オーバーヘッドが非常に高く、大規模システムではその人気を阻害する可能性がある。
本研究では,MPC比較プロトコルとハードウェアアクセラレーションの協調オーバーヘッド削減のための,PolyMPCNetという体系的なフレームワークを開発する。
論文 参考訳(メタデータ) (2022-09-20T02:47:37Z) - Optimizing Tensor Network Contraction Using Reinforcement Learning [86.05566365115729]
本稿では,グラフニューラルネットワーク(GNN)と組み合わせた強化学習(RL)手法を提案する。
この問題は、巨大な検索スペース、重い尾の報酬分布、そして困難なクレジット割り当てのために非常に難しい。
GNNを基本方針として利用するRLエージェントが,これらの課題にどのように対処できるかを示す。
論文 参考訳(メタデータ) (2022-04-18T21:45:13Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2021-06-18T03:11:15Z) - SIRNN: A Math Library for Secure RNN Inference [6.323743920987275]
ルックアップテーブルと混合ビット幅に大きく依存する数学関数のための新しい特殊な2PCプロトコルを提供します。
数学関数のプロトコルは、前よりも423倍少ないデータを通信します。
SIRNNはエンドツーエンドのセキュアな2パーティ推論のためのライブラリです。
論文 参考訳(メタデータ) (2021-05-10T10:04:46Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳(メタデータ) (2020-06-20T16:23:32Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳(メタデータ) (2020-05-05T08:00:07Z) - Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic
Circuits [99.59941892183454]
我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。
中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。
本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
論文 参考訳(メタデータ) (2020-04-13T23:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。