Fugu-MT 論文翻訳(概要): Secure Quantized Training for Deep Learning

論文の概要: Secure Quantized Training for Deep Learning

arxiv url: http://arxiv.org/abs/2107.00501v1
Date: Thu, 1 Jul 2021 14:45:01 GMT
ステータス: 処理完了
システム内更新日: 2021-07-02 13:41:06.699272
Title: Secure Quantized Training for Deep Learning
Title（参考訳）: 深層学習のためのセキュア量子トレーニング
Authors: Marcel Keller and Ke Sun
Abstract要約: 2つの畳み込みと2つの密度の層を持つネットワークを、25のエポックで99.2%の精度でトレーニングしました。 MPC実装では3.5時間かかりました(99%の精度で1時間以下でした)。
参考スコア（独自算出の注目度）: 15.556053729779503
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We have implemented training of neural networks in secure multi-party computation (MPC) using quantization commonly used in the said setting. To the best of our knowledge, we are the first to present an MNIST classifier purely trained in MPC that comes within 0.2 percent of the accuracy of the same convolutional neural network trained via plaintext computation. More concretely, we have trained a network with two convolution and two dense layers to 99.2% accuracy in 25 epochs. This took 3.5 hours in our MPC implementation (under one hour for 99% accuracy).
Abstract（参考訳）: 我々は、この設定でよく使用される量子化を用いて、セキュアなマルチパーティ計算(MPC)におけるニューラルネットワークのトレーニングを実装した。我々の知る限り、我々はMPCで純粋に訓練されたMNIST分類器を初めて提示し、これは平文計算によって訓練された同じ畳み込みニューラルネットワークの精度の0.2%以内である。より具体的には、25エポックで2つの畳み込みと2つの密集層を持つネットワークを99.2%精度でトレーニングした。 MPC実装では3.5時間かかりました(99%の精度で1時間以下でした)。

関連論文リスト

Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文参考訳（メタデータ） (2022-10-10T10:05:00Z)
Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
論文参考訳（メタデータ） (2022-06-26T00:37:33Z)
Bit-wise Training of Neural Network Weights [4.56877715768796]
ニューラルネットワークの重みを表す個々のビットを学習するアルゴリズムを導入する。この方法は任意のビット深度で整数値で重みをトレーニングし、スパースネットワークを自然に発見する。完全連結ネットワークを用いた標準的なトレーニング手法と,畳み込みネットワークや残留ネットワークの標準トレーニングと同等の性能を示す。
論文参考訳（メタデータ） (2022-02-19T10:46:54Z)
OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
論文参考訳（メタデータ） (2021-09-16T10:59:33Z)
A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文参考訳（メタデータ） (2021-07-19T23:41:03Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
Optimal training of integer-valued neural networks with mixed integer programming [2.528056693920671]
我々は、トレーニング効率を改善し、整数値ニューラルネットワーク(INN)の重要なクラスをトレーニングできる新しいMIPモデルを開発した。 MIPソルバがトレーニングに使用できるデータ量を劇的に増加させるバッチトレーニング方法を提案する。実世界の2つのデータ制限データセットによる実験結果から,我々の手法は,NNをMIPでトレーニングする際の従来の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2020-09-08T15:45:44Z)
Multi-Precision Policy Enforced Training (MuPPET): A precision-switching strategy for quantised fixed-point training of CNNs [13.83645579871775]
大規模な畳み込みニューラルネットワーク(CNN)は、数時間から数週間にわたる非常に長いトレーニング時間に悩まされる。この研究は、複数の精度を利用するマルチレベルアプローチを採用することで、定量化トレーニングの境界を押し上げる。 MuPPETは、トレーニング時のスピードアップを最大1.84$times$、ネットワーク全体の平均スピードアップを1.58$times$とすることで、通常の完全精度トレーニングと同じ精度を達成する。
論文参考訳（メタデータ） (2020-06-16T10:14:36Z)
Predicting Neural Network Accuracy from Weights [25.73213712719546]
トレーニングされたニューラルネットワークの精度は、その重みだけを見て驚くほど正確に予測できることを実験的に示す。この分野のさらなる研究を促進するために、4つの異なるデータセットでトレーニングされた120kの畳み込みニューラルネットワークのコレクションをリリースする。
論文参考訳（メタデータ） (2020-02-26T13:06:14Z)
Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
論文参考訳（メタデータ） (2020-02-07T18:34:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。