論文の概要: CompactTag: Minimizing Computation Overheads in Actively-Secure MPC for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2311.04406v1
- Date: Wed, 8 Nov 2023 00:18:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 13:26:22.813350
- Title: CompactTag: Minimizing Computation Overheads in Actively-Secure MPC for Deep Neural Networks
- Title(参考訳): CompactTag: ディープニューラルネットワークのための能動的セキュアMPCにおける計算オーバヘッドの最小化
- Authors: Yongqin Wang, Pratik Sarkar, Nishat Koti, Arpita Patra, Murali Annavaram,
- Abstract要約: 本研究では,機械学習(ML)アプリケーションにおいて,線形層に適したMACタグを生成するための軽量アルゴリズムであるCompactTagを紹介する。
CompactTagは、このタグ計算のボトルネックを最大23倍に高速化し、さまざまなMLワークロードのオンラインフェーズランタイム全体の1.47倍のスピードアップを実現している。
- 参考スコア(独自算出の注目度): 16.39761637882153
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Secure Multiparty Computation (MPC) protocols enable secure evaluation of a circuit by several parties, even in the presence of an adversary who maliciously corrupts all but one of the parties. These MPC protocols are constructed using the well-known secret-sharing-based paradigm (SPDZ and SPDZ2k), where the protocols ensure security against a malicious adversary by computing Message Authentication Code (MAC) tags on the input shares and then evaluating the circuit with these input shares and tags. However, this tag computation adds a significant runtime overhead, particularly for machine learning (ML) applications with numerous linear computation layers such as convolutions and fully connected layers. To alleviate the tag computation overhead, we introduce CompactTag, a lightweight algorithm for generating MAC tags specifically tailored for linear layers in ML. Linear layer operations in ML, including convolutions, can be transformed into Toeplitz matrix multiplications. For the multiplication of two matrices with dimensions T1 x T2 and T2 x T3 respectively, SPDZ2k required O(T1 x T2 x T3) local multiplications for the tag computation. In contrast, CompactTag only requires O(T1 x T2 + T1 x T3 + T2 x T3) local multiplications, resulting in a substantial performance boost for various ML models. We empirically compared our protocol to the SPDZ2k protocol for various ML circuits, including ResNet Training-Inference, Transformer Training-Inference, and VGG16 Training-Inference. SPDZ2k dedicated around 30% of its online runtime for tag computation. CompactTag speeds up this tag computation bottleneck by up to 23x, resulting in up to 1.47x total online phase runtime speedups for various ML workloads.
- Abstract(参考訳): セキュアなマルチパーティ計算(MPC)プロトコルは、複数のパーティによる回路のセキュアな評価を可能にする。
これらのMPCプロトコルは、よく知られた秘密共有ベースのパラダイム(SPDZとSPDZ2k)を用いて構築され、このプロトコルは、入力共有のMACタグを計算し、これらの入力共有とタグで回路の評価を行う。
しかし、このタグ計算は、特に畳み込みや完全に接続された層のような多数の線形計算層を持つ機械学習(ML)アプリケーションにおいて、大きなランタイムオーバーヘッドをもたらす。
タグ計算のオーバーヘッドを軽減するために,MLの線形層に適したMACタグを生成する軽量アルゴリズムであるCompactTagを導入する。
畳み込みを含むMLの線形層演算は、Toeplitz行列乗法に変換することができる。
次元 T1 x T2 と T2 x T3 の2つの行列の乗算に対して、SPDZ2k はタグ計算に O(T1 x T2 x T3) の局所乗算を必要とした。
対照的に、CompactTagはO(T1 x T2 + T1 x T3 + T2 x T3)ローカル乗算しか必要とせず、様々なMLモデルの大幅な性能向上をもたらす。
このプロトコルを,ResNet Training-Inference, Transformer Training-Inference, VGG16 Training-Inferenceなど,さまざまなML回路用のSPDZ2kプロトコルと比較した。
SPDZ2kは、タグ計算のためのオンラインランタイムの30%を専門にしている。
CompactTagは、このタグ計算のボトルネックを最大23倍に高速化し、さまざまなMLワークロードのオンラインフェーズランタイム全体の1.47倍のスピードアップを実現している。
関連論文リスト
- Efficient Transformer Encoders for Mask2Former-style models [57.54752243522298]
ECO-M2Fは、入力画像上に条件付きエンコーダ内の隠蔽層数を自己選択する戦略である。
提案手法は、性能を維持しながら、予測エンコーダの計算コストを削減する。
アーキテクチャ構成では柔軟性があり、セグメンテーションタスクを超えてオブジェクト検出まで拡張できる。
論文 参考訳(メタデータ) (2024-04-23T17:26:34Z) - Secure and Efficient Two-party Quantum Scalar Product Protocol With
Application to Privacy-preserving Matrix Multiplication [2.770988618353868]
2-party quantum scalar product (S2SP)は、セキュアマルチパーティ計算(SMC)における有望な研究領域である
既存の量子S2SPプロトコルは十分に効率が良くないため、複雑さは通常指数レベルに近い。
本稿では,Fourier状態に基づくセキュアな2パーティ量子スカラー(S2QSP)プロトコルを提案する。
論文 参考訳(メタデータ) (2023-09-23T14:33:46Z) - Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture
with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。
MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。
Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
論文 参考訳(メタデータ) (2023-05-30T02:24:03Z) - AdaMTL: Adaptive Input-dependent Inference for Efficient Multi-Task
Learning [1.4963011898406864]
マルチタスク学習モデルのためのタスク認識推論ポリシーを学習する適応型フレームワークであるAdaMTLを紹介する。
AdaMTLは計算複雑性を43%削減し、シングルタスクモデルと比較して精度を1.32%改善した。
Vuzix M4000 スマートグラス上に展開すると、AdaMTL は推論遅延とエネルギー消費をそれぞれ 21.8% と 37.5% に削減する。
論文 参考訳(メタデータ) (2023-04-17T20:17:44Z) - MPC-Pipe: an Efficient Pipeline Scheme for Secure Multi-party Machine
Learning Inference [3.1853566662905943]
マルチパーティコンピューティング(MPC)は、セキュアなコンピューティングモデルとしてここ数年で人気を集めている。
MPCは、同型暗号化(HE)よりもオーバーヘッドが少なく、ハードウェアベースの信頼できる実行環境よりも堅牢な脅威モデルを持っている。
MPCプロトコルは、機械学習アルゴリズムに適用した場合の平文と比較して、かなりのパフォーマンス上のペナルティを被っている。
論文 参考訳(メタデータ) (2022-09-27T19:16:26Z) - Lightweight and Progressively-Scalable Networks for Semantic
Segmentation [100.63114424262234]
マルチスケール学習フレームワークは,セマンティックセグメンテーションを向上する有効なモデルのクラスと見なされてきた。
本稿では,畳み込みブロックの設計と,複数スケールにわたる相互作用の仕方について,徹底的に解析する。
我々は,軽量で拡張性の高いネットワーク(LPS-Net)を考案した。
論文 参考訳(メタデータ) (2022-07-27T16:00:28Z) - Monarch: Expressive Structured Matrices for Efficient and Accurate
Training [64.6871423399431]
大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。
計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。
ハードウェア効率のよい行列(Monarch)のクラスを提案する。
論文 参考訳(メタデータ) (2022-04-01T17:37:29Z) - Block-Recurrent Transformers [49.07682696216708]
本稿では,逐次的にトランス層を適用するBlock-Recurrent Transformerを提案する。
我々のリカレントセルはシングルトークンではなくトークンブロック上で動作し、アクセルハードウェアを効率的に活用するためにブロック内の並列計算を利用する。
論文 参考訳(メタデータ) (2022-03-11T23:44:33Z) - HD-cos Networks: Efficient Neural Architectures for Secure Multi-Party
Computation [26.67099154998755]
マルチパーティ計算(MPC、Multi-party calculation)は、暗号化の分野の一つで、複数の非解決パーティが関数を安全に計算するためのプロトコルを実行する。
MPC設定下でニューラルネットワークのトレーニングと推論について検討する。
どちらの手法も、MPC設定下での強力な理論的モチベーションと効率的な計算を享受できることを示す。
論文 参考訳(メタデータ) (2021-10-28T21:15:11Z) - Adam in Private: Secure and Fast Training of Deep Neural Networks with
Adaptive Moment Estimation [6.342794803074475]
本稿では,最先端の機械学習アルゴリズムを効率的に評価するフレームワークを提案する。
これは、MLアルゴリズムを「MPCフレンドリ」な変種に置き換える以前のほとんどの作業とは対照的である。
我々は、最先端のサードパーティシステムより優れたセキュアなトレーニングを得る。
論文 参考訳(メタデータ) (2021-06-04T01:40:09Z) - Taurus: A Data Plane Architecture for Per-Packet ML [59.1343317736213]
本稿では,線数推論のためのデータプレーンであるTaurusの設計と実装について述べる。
Taurus スイッチ ASIC の評価は,Taurus がサーバベースコントロールプレーンよりも桁違いに高速に動作することを示す。
論文 参考訳(メタデータ) (2020-02-12T09:18:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。