論文の概要: Tabula: Efficiently Computing Nonlinear Activation Functions for Secure
Neural Network Inference
- arxiv url: http://arxiv.org/abs/2203.02833v1
- Date: Sat, 5 Mar 2022 23:26:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-09 10:16:35.903779
- Title: Tabula: Efficiently Computing Nonlinear Activation Functions for Secure
Neural Network Inference
- Title(参考訳): Tabula: セキュアニューラルネットワーク推論のための非線形活性化関数の効率的な計算
- Authors: Maximilian Lam, Michael Mitzenmacher, Vijay Janapa Reddi, Gu-Yeon Wei,
David Brooks
- Abstract要約: Tabulaはセキュアなルックアップテーブルに基づくアルゴリズムで、ニューラルネットワークの非線形アクティベーション関数を効率よく、安全に、正確に計算する。
量子化された入力を持つガーブラー回路と比較すると、Tabulaは通信コストを35倍から70倍に削減し、100倍以上高速で、ストレージ容量に匹敵する。
- 参考スコア(独自算出の注目度): 19.274824377360517
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multiparty computation approaches to secure neural network inference
traditionally rely on garbled circuits for securely executing nonlinear
activation functions. However, garbled circuits require excessive communication
between server and client, impose significant storage overheads, and incur
large runtime penalties. To eliminate these costs, we propose an alternative to
garbled circuits: Tabula, an algorithm based on secure lookup tables. Tabula
leverages neural networks' ability to be quantized and employs a secure lookup
table approach to efficiently, securely, and accurately compute neural network
nonlinear activation functions. Compared to garbled circuits with quantized
inputs, when computing individual nonlinear functions, our experiments show
Tabula uses between $35 \times$-$70 \times$ less communication, is over
$100\times$ faster, and uses a comparable amount of storage. This leads to
significant performance gains over garbled circuits with quantized inputs
during secure inference on neural networks: Tabula reduces overall
communication by up to $9 \times$ and achieves a speedup of up to $50 \times$,
while imposing comparable storage costs.
- Abstract(参考訳): セキュアなニューラルネットワーク推論へのマルチパーティ計算のアプローチは、伝統的に、非線形アクティベーション関数を安全に実行するためにガーブル回路に依存している。
しかし、ガーブロード回路はサーバとクライアント間の過剰な通信が必要であり、ストレージのオーバーヘッドが大きく、実行時のペナルティが大きい。
これらのコストを回避するため,セキュアなルックアップテーブルに基づくアルゴリズムであるTabulaを提案する。
Tabulaはニューラルネットワークの量子化能力を活用し、ニューラルネットワークの非線形アクティベーション関数を効率的に、安全に、正確に計算するためのセキュアなルックアップテーブルアプローチを採用している。
量子化された入力を持つgarbled回路と比較すると、個々の非線形関数を計算する場合、タブラは35 \times$-70 \times$ 通信を少なくし、100\times$ 以上高速で、同等のストレージを使用する。
これにより、ニューラルネットワークのセキュアな推論中に量子化された入力を持つgarbled回路よりも大幅にパフォーマンスが向上する。 tabulaは、全体の通信を最大9 \times$まで削減し、最大50 \times$まで高速化すると同時に、同等のストレージコストを実現している。
関連論文リスト
- Stochastic Spiking Attention: Accelerating Attention with Stochastic
Computing in Spiking Networks [33.51445486269896]
スパイキングニューラルネットワーク(SNN)は、計算要求の削減と電力効率の向上のため、最近Transformerアーキテクチャに統合されている。
我々は,SNNベースのトランスフォーマーのドット積アテンションを効果的に実行するために,計算(SC)を活用する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-14T11:47:19Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳(メタデータ) (2022-10-21T15:56:13Z) - Unsupervised Optimal Power Flow Using Graph Neural Networks [172.33624307594158]
グラフニューラルネットワークを用いて、要求された電力と対応するアロケーションとの間の非線形パラメトリゼーションを学習する。
シミュレーションを通して、この教師なし学習コンテキストにおけるGNNの使用は、標準解法に匹敵するソリューションにつながることを示す。
論文 参考訳(メタデータ) (2022-10-17T17:30:09Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳(メタデータ) (2022-08-08T03:13:24Z) - A Quantum Algorithm for Network Reliability [0.033842793760651545]
本稿では、R$を演算する量子アルゴリズムの回路レベルを明示的に実装する。
我々のアルゴリズムでは、$O(EV/epsilon)$ gate 演算と$O(E)$bitsが必要です。
論文 参考訳(メタデータ) (2022-03-19T00:26:52Z) - Learning Contextual Bandits Through Perturbed Rewards [107.6210145983805]
標準正規性条件下では、$tildeO(tildedsqrtT)$ regret上界が達成可能であることを示す。
明示的な探索の必要性を排除するために、ニューラルネットワークを更新する際の報酬を混乱させます。
論文 参考訳(メタデータ) (2022-01-24T19:10:22Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳(メタデータ) (2021-07-19T23:41:03Z) - FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training
with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。
本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文 参考訳(メタデータ) (2021-06-28T10:48:20Z) - Enabling Binary Neural Network Training on the Edge [7.32770338248516]
既存のバイナリニューラルネットワークトレーニング手法では、すべてのレイヤに対して高精度なアクティベーションを同時に保存する必要がある。
本稿では,メモリフットプリントの大幅な削減を図った,低コストなバイナリニューラルネットワークトレーニング戦略を提案する。
また、2ナライズされたResNet-18のin-scratch ImageNetトレーニングも実施し、3.78$times$メモリ削減を実現した。
論文 参考訳(メタデータ) (2021-02-08T15:06:41Z) - A sparse code increases the speed and efficiency of neuro-dynamic
programming for optimal control tasks with correlated inputs [0.0]
スパースコードは、ニューロダイナミックプログラミングで解決された最適な制御タスクにおいて、自然なイメージを表現するために使用される。
オーバーコンプリートスパース符号の2.25倍は、同じ入力を使用する完全スパース符号と比較して少なくとも2倍のメモリ容量を示す。
これはシーケンシャルラーニングにおいて、ネットワークに潜在的に多くの最適な制御タスクを格納するために使用される。
論文 参考訳(メタデータ) (2020-06-22T01:58:11Z) - LogicNets: Co-Designed Neural Networks and Circuits for
Extreme-Throughput Applications [6.9276012494882835]
本稿では,高効率FPGA実装に直接マップするニューラルネットワークトポロジを設計する新しい手法を提案する。
その結果,低ビット化と疎結合化の両立により,論理深度が小さく,LUTコストが低い高速回路が実現された。
論文 参考訳(メタデータ) (2020-04-06T22:15:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。