論文の概要: Adam in Private: Secure and Fast Training of Deep Neural Networks with Adaptive Moment Estimation

• arxiv url: http://arxiv.org/abs/2106.02203v1
• Date: Fri, 4 Jun 2021 01:40:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 10:38:55.312193
• Title: Adam in Private: Secure and Fast Training of Deep Neural Networks with Adaptive Moment Estimation
• Title（参考訳）: Adam in Private: 適応モーメント推定によるディープニューラルネットワークの安全性と高速トレーニング
• Authors: Nuttapong Attrapadung and Koki Hamada and Dai Ikarashi and Ryo Kikuchi and Takahiro Matsuda and Ibuki Mishina and Hiraku Morita and Jacob C. N. Schuldt
• Abstract要約: 本稿では,最先端の機械学習アルゴリズムを効率的に評価するフレームワークを提案する。 これは、MLアルゴリズムを「MPCフレンドリ」な変種に置き換える以前のほとんどの作業とは対照的である。 我々は、最先端のサードパーティシステムより優れたセキュアなトレーニングを得る。
• 参考スコア（独自算出の注目度）: 6.342794803074475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Privacy-preserving machine learning (PPML) aims at enabling machine learning (ML) algorithms to be used on sensitive data. We contribute to this line of research by proposing a framework that allows efficient and secure evaluation of full-fledged state-of-the-art ML algorithms via secure multi-party computation (MPC). This is in contrast to most prior works, which substitute ML algorithms with approximated "MPC-friendly" variants. A drawback of the latter approach is that fine-tuning of the combined ML and MPC algorithms is required, which might lead to less efficient algorithms or inferior quality ML. This is an issue for secure deep neural networks (DNN) training in particular, as this involves arithmetic algorithms thought to be "MPC-unfriendly", namely, integer division, exponentiation, inversion, and square root. In this work, we propose secure and efficient protocols for the above seemingly MPC-unfriendly computations. Our protocols are three-party protocols in the honest-majority setting, and we propose both passively secure and actively secure with abort variants. A notable feature of our protocols is that they simultaneously provide high accuracy and efficiency. This framework enables us to efficiently and securely compute modern ML algorithms such as Adam and the softmax function "as is", without resorting to approximations. As a result, we obtain secure DNN training that outperforms state-of-the-art three-party systems; our full training is up to 6.7 times faster than just the online phase of the recently proposed FALCON@PETS'21 on a standard benchmark network. We further perform measurements on real-world DNNs, AlexNet and VGG16. The performance of our framework is up to a factor of about 12-14 faster for AlexNet and 46-48 faster for VGG16 to achieve an accuracy of 70% and 75%, respectively, when compared to FALCON.
• Abstract（参考訳）: プライバシ保護機械学習(PPML)は、機密データに機械学習(ML)アルゴリズムを使用可能にすることを目的としている。 我々は,セキュアなマルチパーティ計算(mpc)による最先端mlアルゴリズムの効率的かつセキュアな評価を可能にするフレームワークを提案することで,この研究に寄与する。 これは、MLアルゴリズムを「MPCフレンドリ」な変種に置き換える以前のほとんどの作業とは対照的である。 後者のアプローチの欠点は、mlとmpcを組み合わせたアルゴリズムの微調整が必要であり、効率の悪いアルゴリズムや品質の悪いmlにつながる可能性があることである。 これは、特に安全なディープニューラルネットワーク(DNN)トレーニングの問題であり、これは「MPC非フレンドリ」であると考えられる算術アルゴリズム、すなわち整数除算、指数化、反転、平方根を含む。 そこで本研究では,MPC非親和性計算のためのセキュアかつ効率的なプロトコルを提案する。 私たちのプロトコルは、正直な多数派設定でサードパーティ製プロトコルであり、パッシブにセキュアで、abort変種でアクティブにセキュアです。 我々のプロトコルの特長は、高い精度と効率を同時に提供することである。 このフレームワークは,近似に頼らずに,Adam や Softmax 関数 "as is" などの最新のMLアルゴリズムを効率よく,かつ安全に計算することを可能にする。 その結果、現在最先端のサードパーティシステムより優れたセキュアなDNNトレーニングが得られ、我々のフルトレーニングは、標準ベンチマークネットワーク上で最近提案されたFALCON@PETS'21のオンラインフェーズの6.7倍高速になります。 さらに,実世界のDNN,AlexNet,VGG16の測定を行う。 我々のフレームワークのパフォーマンスは、falconと比較して、alexnetの約12～14倍、vgg16の46～48倍の速さで、それぞれ70%と75%の精度を実現しています。

関連論文リスト

• Efficient Privacy-Preserving Convolutional Spiking Neural Networks with FHE [1.437446768735628]
  ホモモルフィック暗号化(FHE)は、プライバシ保護計算の鍵となる技術である。 FHEは連続非ポリノミカル関数の処理に制限がある。 準同型SNNのためのFHE-DiCSNNというフレームワークを提案する。 FHE-DiCSNNの精度は97.94%で、元のネットワークの精度98.47%に比べて0.53%しか失われていない。
  論文  参考訳（メタデータ） (2023-09-16T15:37:18Z)
• Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
  マルチオブジェクトベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。 本手法は,DNNの予測精度,メモリ消費量,計算複雑性のトレードオフを効率的に検出することを目的としている。
  論文  参考訳（メタデータ） (2023-05-23T14:31:52Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
  混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。 本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。 このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
  論文  参考訳（メタデータ） (2021-09-16T10:59:33Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)
• An Analysis of Alternating Direction Method of Multipliers for Feed-forward Neural Networks [2.8747398859585376]
  このアプローチの背後にある動機は、スケーラブルで並列化可能なニューラルネットワークのトレーニング方法を実行することにある。 我々はそれぞれSGDとAdamと比較して6.9%と6.8%の精度を達成した。
  論文  参考訳（メタデータ） (2020-09-06T22:13:54Z)
• Bayesian Optimization with Machine Learning Algorithms Towards Anomaly Detection [66.05992706105224]
  本稿では,ベイズ最適化手法を用いた効果的な異常検出フレームワークを提案する。 ISCX 2012データセットを用いて検討したアルゴリズムの性能を評価する。 実験結果から, 精度, 精度, 低コストアラームレート, リコールの観点から, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-08-05T19:29:35Z)
• APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
  本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。 ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。 同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
  論文  参考訳（メタデータ） (2020-06-15T16:09:17Z)
• SWIFT: Super-fast and Robust Privacy-Preserving Machine Learning [16.17280000789628]
  本稿では,SOC設定におけるMLアルゴリズムの頑健なフレームワークであるSWIFTを提案する。 SWIFTは、いかなる敵対的行動にも拘わらず、ユーザに出力配信を保証する。 一般的なMLアルゴリズムをベンチマークすることで,フレームワークの実践的妥当性を実証する。
  論文  参考訳（メタデータ） (2020-05-20T18:20:23Z)
• ESSOP: Efficient and Scalable Stochastic Outer Product Architecture for Deep Learning [1.2019888796331233]
  行列ベクトル乗算(MVM)とベクトルベクトル外積(VVOP)は、ディープニューラルネットワーク(DNN)のトレーニングに関連する2つの最も高価な演算である。 DNNの重み更新において,多くの最先端ネットワークで要求される活性化機能を備えたSCに効率的な手法を導入する。 我々のアーキテクチャは、乱数を再使用し、ビットシフトスケーリングによって特定のFP乗算演算を置き換えることで計算コストを削減する。 14nm技術ノードにおけるESSOPのハードウェア設計は、高度にパイプライン化されたFP16乗算器と比較して、ESSOPは82.2%、93.7%エネルギー効率が良いことを示している。
  論文  参考訳（メタデータ） (2020-03-25T07:54:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。