論文の概要: PolyMPCNet: Towards ReLU-free Neural Architecture Search in Two-party Computation Based Private Inference

• arxiv url: http://arxiv.org/abs/2209.09424v1
• Date: Tue, 20 Sep 2022 02:47:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 19:40:47.085878
• Title: PolyMPCNet: Towards ReLU-free Neural Architecture Search in Two-party Computation Based Private Inference
• Title（参考訳）: PolyMPCNet: 二次元計算に基づくプライベート推論におけるReLUフリーニューラルネットワーク探索を目指して
• Authors: Hongwu Peng, Shanglin Zhou, Yukui Luo, Shijin Duan, Nuo Xu, Ran Ran, Shaoyi Huang, Chenghong Wang, Tong Geng, Ang Li, Wujie Wen, Xiaolin Xu and Caiwen Ding
• Abstract要約: プライバシー保護型ディープラーニング(DL)計算を可能にするために,セキュアなマルチパーティ計算(MPC)が議論されている。 MPCは計算オーバーヘッドが非常に高く、大規模システムではその人気を阻害する可能性がある。 本研究では,MPC比較プロトコルとハードウェアアクセラレーションの協調オーバーヘッド削減のための,PolyMPCNetという体系的なフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 23.795457990555878
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid growth and deployment of deep learning (DL) has witnessed emerging privacy and security concerns. To mitigate these issues, secure multi-party computation (MPC) has been discussed, to enable the privacy-preserving DL computation. In practice, they often come at very high computation and communication overhead, and potentially prohibit their popularity in large scale systems. Two orthogonal research trends have attracted enormous interests in addressing the energy efficiency in secure deep learning, i.e., overhead reduction of MPC comparison protocol, and hardware acceleration. However, they either achieve a low reduction ratio and suffer from high latency due to limited computation and communication saving, or are power-hungry as existing works mainly focus on general computing platforms such as CPUs and GPUs. In this work, as the first attempt, we develop a systematic framework, PolyMPCNet, of joint overhead reduction of MPC comparison protocol and hardware acceleration, by integrating hardware latency of the cryptographic building block into the DNN loss function to achieve high energy efficiency, accuracy, and security guarantee. Instead of heuristically checking the model sensitivity after a DNN is well-trained (through deleting or dropping some non-polynomial operators), our key design principle is to em enforce exactly what is assumed in the DNN design -- training a DNN that is both hardware efficient and secure, while escaping the local minima and saddle points and maintaining high accuracy. More specifically, we propose a straight through polynomial activation initialization method for cryptographic hardware friendly trainable polynomial activation function to replace the expensive 2P-ReLU operator. We develop a cryptographic hardware scheduler and the corresponding performance model for Field Programmable Gate Arrays (FPGA) platform.
• Abstract（参考訳）: ディープラーニング(DL)の急速な成長と展開は、新たなプライバシとセキュリティ上の懸念を目の当たりにした。 これらの問題を緩和するため、プライバシー保護のDL計算を可能にするために、セキュアなマルチパーティ計算(MPC)が議論されている。 実際には、計算と通信のオーバーヘッドが非常に高く、大規模システムではその人気を阻害する可能性がある。 2つの直交研究トレンドは、セキュアなディープラーニングにおけるエネルギー効率、すなわちmpc比較プロトコルのオーバーヘッド削減とハードウェアアクセラレーションに多大な関心を寄せている。 しかし、計算量や通信量が少ないため、低還元率を達成し、レイテンシの低下に悩まされるか、あるいはCPUやGPUといった一般的なコンピューティングプラットフォームに重点を置いているため、電力不足になる。 そこで本研究では,暗号ビルディングブロックのハードウェア遅延をdnn損失関数に統合し,高エネルギー効率,精度,セキュリティ保証を実現し,mpc比較プロトコルとハードウェアアクセラレーションを共同でオーバーヘッド削減するシステムフレームワークであるpolympcnetを開発した。 DNNが十分にトレーニングされた後、モデル感度をヒューリスティックにチェックする代わりに(いくつかの非ポリノミカル演算子を削除または削除することで)、DNN設計で想定されることを正確に実施すること -- ハードウェア効率と安全性の両方のDNNをトレーニングし、ローカルのミニマやサドルポイントを回避し、高い精度を維持することです。 具体的には、高価な2P-ReLU演算子を置き換えるために、暗号ハードウェアフレンドリなトレーニング可能な多項式アクティベーション関数の直通多項式アクティベーション初期化法を提案する。 我々は,フィールドプログラマブルゲートアレイ(fpga)プラットフォームのための暗号ハードウェアスケジューラと対応する性能モデルを開発した。

関連論文リスト

• Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
  産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。 本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。 提案手法の有効性を数値解析により検証した。
  論文  参考訳（メタデータ） (2024-11-04T17:48:02Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Hybrid Dynamic Pruning: A Pathway to Efficient Transformer Inference [1.0919012968294923]
  本稿では,頭部の疎度を用いてトランスフォーマーを高速化し,疎度をブロックし,注意の計算を減らし,メモリアクセスを減らし,新しいアルゴリズムアーキテクチャの共設計手法を提案する。 注目スコアと注目ヘッドの巨大な冗長性を観測し、実行時に注目行列内の重要でないブロックをプルーする整数ベースの行平衡ブロックプルーニングを提案する。 また、実行時に重要でないヘッドを検出およびプルーする整数ベースのヘッドプルーニングを提案する。
  論文  参考訳（メタデータ） (2024-07-17T11:15:16Z)
• RRNet: Towards ReLU-Reduced Neural Network for Two-party Computation Based Private Inference [17.299835585861747]
  本稿では,MPC比較プロトコルのオーバーヘッドを減らし,ハードウェアアクセラレーションによる計算を高速化するフレームワークRRNetを紹介する。 提案手法は,暗号ビルディングブロックのハードウェア遅延をDNN損失関数に統合し,エネルギー効率,精度,セキュリティ保証を改善する。
  論文  参考訳（メタデータ） (2023-02-05T04:02:13Z)
• DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
  本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。 次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。 また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T01:32:03Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• HD-cos Networks: Efficient Neural Architectures for Secure Multi-Party Computation [26.67099154998755]
  マルチパーティ計算(MPC、Multi-party calculation)は、暗号化の分野の一つで、複数の非解決パーティが関数を安全に計算するためのプロトコルを実行する。 MPC設定下でニューラルネットワークのトレーニングと推論について検討する。 どちらの手法も、MPC設定下での強力な理論的モチベーションと効率的な計算を享受できることを示す。
  論文  参考訳（メタデータ） (2021-10-28T21:15:11Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware Multi-Task NLP Inference [82.1584439276834]
  BERTのようなトランスフォーマーベースの言語モデルでは、自然言語処理(NLP)タスクの精度が大幅に向上する。 We present EdgeBERT, a in-deepth algorithm- hardware co-design for latency-aware energy optimization for multi-task NLP。
  論文  参考訳（メタデータ） (2020-11-28T19:21:47Z)
• Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
  ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。 本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。 各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-17T18:14:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。