論文の概要: CompactTag: Minimizing Computation Overheads in Actively-Secure MPC for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2311.04406v1
- Date: Wed, 8 Nov 2023 00:18:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 13:26:22.813350
- Title: CompactTag: Minimizing Computation Overheads in Actively-Secure MPC for Deep Neural Networks
- Title（参考訳）: CompactTag: ディープニューラルネットワークのための能動的セキュアMPCにおける計算オーバヘッドの最小化
- Authors: Yongqin Wang, Pratik Sarkar, Nishat Koti, Arpita Patra, Murali Annavaram,
- Abstract要約: 本研究では,機械学習(ML)アプリケーションにおいて,線形層に適したMACタグを生成するための軽量アルゴリズムであるCompactTagを紹介する。
CompactTagは、このタグ計算のボトルネックを最大23倍に高速化し、さまざまなMLワークロードのオンラインフェーズランタイム全体の1.47倍のスピードアップを実現している。
- 参考スコア（独自算出の注目度）: 16.39761637882153
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Secure Multiparty Computation (MPC) protocols enable secure evaluation of a circuit by several parties, even in the presence of an adversary who maliciously corrupts all but one of the parties. These MPC protocols are constructed using the well-known secret-sharing-based paradigm (SPDZ and SPDZ2k), where the protocols ensure security against a malicious adversary by computing Message Authentication Code (MAC) tags on the input shares and then evaluating the circuit with these input shares and tags. However, this tag computation adds a significant runtime overhead, particularly for machine learning (ML) applications with numerous linear computation layers such as convolutions and fully connected layers. To alleviate the tag computation overhead, we introduce CompactTag, a lightweight algorithm for generating MAC tags specifically tailored for linear layers in ML. Linear layer operations in ML, including convolutions, can be transformed into Toeplitz matrix multiplications. For the multiplication of two matrices with dimensions T1 x T2 and T2 x T3 respectively, SPDZ2k required O(T1 x T2 x T3) local multiplications for the tag computation. In contrast, CompactTag only requires O(T1 x T2 + T1 x T3 + T2 x T3) local multiplications, resulting in a substantial performance boost for various ML models. We empirically compared our protocol to the SPDZ2k protocol for various ML circuits, including ResNet Training-Inference, Transformer Training-Inference, and VGG16 Training-Inference. SPDZ2k dedicated around 30% of its online runtime for tag computation. CompactTag speeds up this tag computation bottleneck by up to 23x, resulting in up to 1.47x total online phase runtime speedups for various ML workloads.
- Abstract（参考訳）: セキュアなマルチパーティ計算(MPC)プロトコルは、複数のパーティによる回路のセキュアな評価を可能にする。
これらのMPCプロトコルは、よく知られた秘密共有ベースのパラダイム(SPDZとSPDZ2k)を用いて構築され、このプロトコルは、入力共有のMACタグを計算し、これらの入力共有とタグで回路の評価を行う。
しかし、このタグ計算は、特に畳み込みや完全に接続された層のような多数の線形計算層を持つ機械学習(ML)アプリケーションにおいて、大きなランタイムオーバーヘッドをもたらす。
タグ計算のオーバーヘッドを軽減するために,MLの線形層に適したMACタグを生成する軽量アルゴリズムであるCompactTagを導入する。
畳み込みを含むMLの線形層演算は、Toeplitz行列乗法に変換することができる。
次元 T1 x T2 と T2 x T3 の2つの行列の乗算に対して、SPDZ2k はタグ計算に O(T1 x T2 x T3) の局所乗算を必要とした。
対照的に、CompactTagはO(T1 x T2 + T1 x T3 + T2 x T3)ローカル乗算しか必要とせず、様々なMLモデルの大幅な性能向上をもたらす。
このプロトコルを,ResNet Training-Inference, Transformer Training-Inference, VGG16 Training-Inferenceなど,さまざまなML回路用のSPDZ2kプロトコルと比較した。
SPDZ2kは、タグ計算のためのオンラインランタイムの30%を専門にしている。
CompactTagは、このタグ計算のボトルネックを最大23倍に高速化し、さまざまなMLワークロードのオンラインフェーズランタイム全体の1.47倍のスピードアップを実現している。
関連論文リスト
- Enhancing MOTION2NX for Efficient, Scalable and Secure Image Inference using Convolutional Neural Networks [4.407841002228536]
我々は,C++ベースのMOTION2NXフレームワーク上に実装されたABY2.0 SMPCプロトコルを用いて,半正直なセキュリティを備えたセキュア畳み込みニューラルネットワーク(CNN)推論アプリケーションを開発した。
また、各CNN層における計算を複数のチャンクに分割する新しい分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-29T09:50:21Z) - Towards Effective and Efficient Non-autoregressive Decoding Using Block-based Attention Mask [74.64216073678617]
AMDはアテンションマスクを用いて隠された出力ラベルの連続ブロック内で並列NAR推論を行う。
ビームサーチアルゴリズムは、CTC、ARデコーダ、AMD確率の動的融合を利用するように設計されている。
LibriSpeech-100hrコーパスの実験では、AMDモジュールを組み込んだトリパルタイトデコーダが最大1.73倍のデコード速度比を生み出すことを示唆している。
論文 参考訳（メタデータ） (2024-06-14T13:42:38Z) - Efficient Transformer Encoders for Mask2Former-style models [57.54752243522298]
ECO-M2Fは、入力画像上に条件付きエンコーダ内の隠蔽層数を自己選択する戦略である。
提案手法は、性能を維持しながら、予測エンコーダの計算コストを削減する。
アーキテクチャ構成では柔軟性があり、セグメンテーションタスクを超えてオブジェクト検出まで拡張できる。
論文 参考訳（メタデータ） (2024-04-23T17:26:34Z) - Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。
トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
論文 参考訳（メタデータ） (2024-01-11T18:54:44Z) - Secure and Efficient Two-party Quantum Scalar Product Protocol With
Application to Privacy-preserving Matrix Multiplication [2.770988618353868]
2-party quantum scalar product (S2SP)は、セキュアマルチパーティ計算(SMC)における有望な研究領域である
既存の量子S2SPプロトコルは十分に効率が良くないため、複雑さは通常指数レベルに近い。
本稿では,Fourier状態に基づくセキュアな2パーティ量子スカラー(S2QSP)プロトコルを提案する。
論文 参考訳（メタデータ） (2023-09-23T14:33:46Z) - AdaMTL: Adaptive Input-dependent Inference for Efficient Multi-Task
Learning [1.4963011898406864]
マルチタスク学習モデルのためのタスク認識推論ポリシーを学習する適応型フレームワークであるAdaMTLを紹介する。
AdaMTLは計算複雑性を43%削減し、シングルタスクモデルと比較して精度を1.32%改善した。
Vuzix M4000 スマートグラス上に展開すると、AdaMTL は推論遅延とエネルギー消費をそれぞれ 21.8% と 37.5% に削減する。
論文 参考訳（メタデータ） (2023-04-17T20:17:44Z) - MPC-Pipe: an Efficient Pipeline Scheme for Secure Multi-party Machine Learning Inference [5.7203077366666015]
重なり合う計算と通信の手順を慎重に整理することは可能であることを示す。
MPC-Pipeは機械学習ワークロードのトレーニングと推論の両方に効率的なMPCシステムである。
論文 参考訳（メタデータ） (2022-09-27T19:16:26Z) - Lightweight and Progressively-Scalable Networks for Semantic
Segmentation [100.63114424262234]
マルチスケール学習フレームワークは,セマンティックセグメンテーションを向上する有効なモデルのクラスと見なされてきた。
本稿では,畳み込みブロックの設計と,複数スケールにわたる相互作用の仕方について,徹底的に解析する。
我々は,軽量で拡張性の高いネットワーク(LPS-Net)を考案した。
論文 参考訳（メタデータ） (2022-07-27T16:00:28Z) - Block-Recurrent Transformers [49.07682696216708]
本稿では,逐次的にトランス層を適用するBlock-Recurrent Transformerを提案する。
我々のリカレントセルはシングルトークンではなくトークンブロック上で動作し、アクセルハードウェアを効率的に活用するためにブロック内の並列計算を利用する。
論文 参考訳（メタデータ） (2022-03-11T23:44:33Z) - HD-cos Networks: Efficient Neural Architectures for Secure Multi-Party
Computation [26.67099154998755]
マルチパーティ計算(MPC、Multi-party calculation)は、暗号化の分野の一つで、複数の非解決パーティが関数を安全に計算するためのプロトコルを実行する。
MPC設定下でニューラルネットワークのトレーニングと推論について検討する。
どちらの手法も、MPC設定下での強力な理論的モチベーションと効率的な計算を享受できることを示す。
論文 参考訳（メタデータ） (2021-10-28T21:15:11Z) - Taurus: A Data Plane Architecture for Per-Packet ML [59.1343317736213]
本稿では,線数推論のためのデータプレーンであるTaurusの設計と実装について述べる。
Taurus スイッチ ASIC の評価は,Taurus がサーバベースコントロールプレーンよりも桁違いに高速に動作することを示す。
論文 参考訳（メタデータ） (2020-02-12T09:18:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。