論文の概要: OPAF: Optimized Secure Two-Party Computation Protocols for Nonlinear Activation Functions in Recurrent Neural Network
- arxiv url: http://arxiv.org/abs/2403.00239v1
- Date: Fri, 1 Mar 2024 02:49:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 06:39:33.700558
- Title: OPAF: Optimized Secure Two-Party Computation Protocols for Nonlinear Activation Functions in Recurrent Neural Network
- Title（参考訳）: OPAF:リカレントニューラルネットワークにおける非線形活性化関数のためのセキュアな2要素計算プロトコル最適化
- Authors: Qian Feng, Zhihua Xia, Zhifeng Xu, Jiasi Weng, Jian Weng,
- Abstract要約: 本稿では,二者間設定の半正直モデルにおける非線形関数の実装について,特に注目する。
そこで本研究では,分割・対数戦略を用いた指数関数の新しい,効率的なプロトコルを提案する。
次に,Sigmoid と Tanh の対称性を利用し,入力を微調整して2PC 構築ブロックを小さくする。
- 参考スコア（独自算出の注目度）: 8.825150825838769
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural network (DNN) typically involves convolutions, pooling, and activation function. Due to the growing concern about privacy, privacy-preserving DNN becomes a hot research topic. Generally, the convolution and pooling operations can be supported by additive homomorphic and secure comparison, but the secure implementation of activation functions is not so straightforward for the requirements of accuracy and efficiency, especially for the non-linear ones such as exponential, sigmoid, and tanh functions. This paper pays a special attention to the implementation of such non-linear functions in semi-honest model with two-party settings, for which SIRNN is the current state-of-the-art. Different from previous works, we proposed improved implementations for these functions by using their intrinsic features as well as worthy tiny tricks. At first, we propose a novel and efficient protocol for exponential function by using a divide-and-conquer strategy with most of the computations executed locally. Exponential protocol is widely used in machine learning tasks such as Poisson regression, and is also a key component of sigmoid and tanh functions. Next, we take advantage of the symmetry of sigmoid and Tanh, and fine-tune the inputs to reduce the 2PC building blocks, which helps to save overhead and improve performance. As a result, we implement these functions with fewer fundamental building blocks. The comprehensive evaluations show that our protocols achieve state-of-the-art precision while reducing run-time by approximately 57%, 44%, and 42% for exponential (with only negative inputs), sigmoid, and Tanh functions, respectively.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は通常、畳み込み、プーリング、アクティベーション機能を含む。
プライバシーに関する懸念が高まっているため、プライバシー保護のDNNはホットな研究トピックとなっている。
一般に、畳み込みとプーリング操作は加法的ホモモルフィックとセキュアな比較によって支持できるが、アクティベーション関数の安全な実装は、特に指数関数、シグミド関数、タン関数のような非線型関数の精度と効率の要求に対してそれほど単純ではない。
本稿では,SIRNNが現在最先端技術である2つの設定を持つ半正直モデルにおける非線形関数の実装について,特に注目する。
従来の研究と異なり、本質的な特徴と価値のある小さなトリックを用いて、これらの機能の実装を改善することを提案した。
まず,計算処理の大部分をローカルに実行した分割・対数戦略を用いて,指数関数の新規かつ効率的なプロトコルを提案する。
指数プロトコルはポアソン回帰のような機械学習タスクで広く使われており、シグモノイドやタン関数の重要なコンポーネントでもある。
次に,Sigmoid と Tanh の対称性を利用して入力を微調整し,2PC 構築ブロックを削減し,オーバーヘッドの低減と性能の向上に寄与する。
その結果、基本構造ブロックを少なくしてこれらの関数を実装した。
総合評価の結果,本プロトコルは,それぞれ57%,44%,42%の指数関数(負の入力しか持たない),シグモイド関数,Tanh関数を減らしながら,最先端の精度を実現していることがわかった。
関連論文リスト
- LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。
本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。
LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
論文 参考訳（メタデータ） (2024-07-13T16:09:45Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。
具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。
提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
論文 参考訳（メタデータ） (2023-01-21T04:08:46Z) - UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。
我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。
Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
論文 参考訳（メタデータ） (2022-12-08T18:59:57Z) - 0/1 Deep Neural Networks via Block Coordinate Descent [40.11141921215105]
ステップ関数は、ディープニューラルネットワーク(DNN)における最も単純かつ最も自然な活性化関数の1つである
正の変数は 1 で、他の変数は 0 であるので、本質的な特性(例えば、不連続性や下位段階の情報がないなど)は数十年にわたってその発展を妨げる。
論文 参考訳（メタデータ） (2022-06-19T11:12:30Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳（メタデータ） (2022-02-13T10:54:59Z) - S++: A Fast and Deployable Secure-Computation Framework for
Privacy-Preserving Neural Network Training [0.4893345190925178]
複数のソースからのプライベートデータを使用して、ニューラルネットワーク(NN)をトレーニングするための、シンプルで堅牢でデプロイ可能なフレームワークであるS++を紹介します。
はじめに、すべての共通アクティベーション関数に対して高速かつ検証可能なプロトコルを提供し、それらを秘密の方法で実行するために最適化する。
論文 参考訳（メタデータ） (2021-01-28T15:48:54Z) - A Neural Network Approach for Online Nonlinear Neyman-Pearson
Classification [3.6144103736375857]
論文の中では,オンラインと非線形の両方で初となる新しいNeyman-Pearson(NP)分類器を提案する。
提案する分類器は、オンライン方式でバイナリラベル付きデータストリーム上で動作し、ユーザが指定し、制御可能な偽陽性率の検出能力を最大化する。
提案アルゴリズムは大規模データアプリケーションに適しており,実時間処理による偽陽性率制御性を実現している。
論文 参考訳（メタデータ） (2020-06-14T20:00:25Z) - Activation functions are not needed: the ratio net [3.9636371287541086]
本稿では,新しい関数近似器の設計に焦点をあてる。
新しいアクティベーション関数やカーネル関数を設計する代わりに、新しい提案されたネットワークは分数形式を使用する。
その結果、ほとんどの場合、比率ネットはより速く収束し、分類とRBFの両方を上回っていることがわかった。
論文 参考訳（メタデータ） (2020-05-14T01:07:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。