論文の概要: Homomorphic WiSARDs: Efficient Weightless Neural Network training over encrypted data
- arxiv url: http://arxiv.org/abs/2403.20190v1
- Date: Fri, 29 Mar 2024 14:09:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 15:34:34.127004
- Title: Homomorphic WiSARDs: Efficient Weightless Neural Network training over encrypted data
- Title（参考訳）: ホモモルフィックWiSARD:暗号化データによる効率的な重みなしニューラルネットワークトレーニング
- Authors: Leonardo Neumann, Antonio Guimarães, Diego F. Aranha, Edson Borin,
- Abstract要約: 比較的深い畳み込みニューラルネットワーク(CNN)においても、推論アルゴリズムの同型評価は実用的である
本研究は,Wilkie,Stonham,Aleksander's Recognition Device (WiSARD) とその後のWeightless Neural Networks (WNN) の同型評価を導入し,暗号化データのトレーニングと推論を行う。
- 参考スコア（独自算出の注目度）: 3.3748750222488657
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The widespread application of machine learning algorithms is a matter of increasing concern for the data privacy research community, and many have sought to develop privacy-preserving techniques for it. Among existing approaches, the homomorphic evaluation of ML algorithms stands out by performing operations directly over encrypted data, enabling strong guarantees of confidentiality. The homomorphic evaluation of inference algorithms is practical even for relatively deep Convolution Neural Networks (CNNs). However, training is still a major challenge, with current solutions often resorting to lightweight algorithms that can be unfit for solving more complex problems, such as image recognition. This work introduces the homomorphic evaluation of Wilkie, Stonham, and Aleksander's Recognition Device (WiSARD) and subsequent Weightless Neural Networks (WNNs) for training and inference on encrypted data. Compared to CNNs, WNNs offer better performance with a relatively small accuracy drop. We develop a complete framework for it, including several building blocks that can be of independent interest. Our framework achieves 91.7% accuracy on the MNIST dataset after only 3.5 minutes of encrypted training (multi-threaded), going up to 93.8% in 3.5 hours. For the HAM10000 dataset, we achieve 67.9% accuracy in just 1.5 minutes, going up to 69.9% after 1 hour. Compared to the state of the art on the HE evaluation of CNN training, Glyph (Lou et al., NeurIPS 2020), these results represent a speedup of up to 1200 times with an accuracy loss of at most 5.4%. For HAM10000, we even achieved a 0.65% accuracy improvement while being 60 times faster than Glyph. We also provide solutions for small-scale encrypted training. In a single thread on a desktop machine using less than 200MB of memory, we train over 1000 MNIST images in 12 minutes or over the entire Wisconsin Breast Cancer dataset in just 11 seconds.
- Abstract（参考訳）: 機械学習アルゴリズムの広範な適用は、データプライバシ研究コミュニティに対する関心が高まっている問題であり、その多くが、そのためのプライバシ保護技術を開発しようとしている。
既存のアプローチの中で、MLアルゴリズムの同型評価は、暗号化されたデータを直接操作することで、高い機密性を保証することで際立っている。
推論アルゴリズムの準同型評価は、比較的深い畳み込みニューラルネットワーク(CNN)においても実用的である。
しかし、トレーニングは依然として大きな課題であり、現在のソリューションは、画像認識のようなより複雑な問題を解決するのに適さない、軽量なアルゴリズムに頼っていることが多い。
本研究は,Wilkie,Stonham,Aleksander's Recognition Device (WiSARD) とその後のWeightless Neural Networks (WNN) の同型評価を導入し,暗号化データのトレーニングと推論を行う。
CNNと比較して、WNNは比較的少ない精度で性能が向上している。
独立した関心を持つことができるいくつかのビルディングブロックを含む、完全なフレームワークを開発しています。
我々のフレームワークは、暗号化トレーニングのたった3.5分(マルチスレッド)でMNISTデータセットの91.7%の精度を達成し、3.5時間で93.8%まで上昇した。
HAM10000データセットでは、わずか1.5分で67.9%の精度を達成し、1時間後に69.9%まで上昇した。
Glyph (Lou et al , NeurIPS 2020) によるCNNトレーニングの評価の最先端技術と比較すると, これらの結果は最大1200倍のスピードアップを示し, 精度は5.4%である。
HAM10000では、Glyphの60倍の速度で0.65%の精度向上を実現しました。
また、小規模な暗号化トレーニングのためのソリューションも提供します。
200MB未満のメモリを使用するデスクトップマシン上のシングルスレッドでは、1000MNISTイメージを12分でトレーニングし、ウィスコンシン乳がんデータセット全体をたった11秒でトレーニングします。
関連論文リスト
- HETAL: Efficient Privacy-preserving Transfer Learning with Homomorphic Encryption [4.164336621664897]
HETALは、効率的な同型暗号化に基づく転送学習アルゴリズムである。
本稿では,従来の手法よりも1.8～323倍高速な暗号化行列乗算アルゴリズムを提案する。
実験では、合計訓練時間は567-3442秒であり、1時間未満である。
論文 参考訳（メタデータ） (2024-03-21T03:47:26Z) - Efficient Privacy-Preserving Convolutional Spiking Neural Networks with
FHE [1.437446768735628]
ホモモルフィック暗号化(FHE)は、プライバシ保護計算の鍵となる技術である。
FHEは連続非ポリノミカル関数の処理に制限がある。
準同型SNNのためのFHE-DiCSNNというフレームワークを提案する。
FHE-DiCSNNの精度は97.94%で、元のネットワークの精度98.47%に比べて0.53%しか失われていない。
論文 参考訳（メタデータ） (2023-09-16T15:37:18Z) - One-Shot Learning for Periocular Recognition: Exploring the Effect of
Domain Adaptation and Data Bias on Deep Representations [59.17685450892182]
広範に使用されているCNNモデルにおける深部表現の挙動をワンショット近視認識のための極端データ不足下で検討する。
我々は、バイオメトリックデータセットで訓練されたネットワークを数百万の画像で活用し、最先端の結果を改善した。
SIFTのような従来のアルゴリズムは、限られたデータでCNNより優れている。
論文 参考訳（メタデータ） (2023-07-11T09:10:16Z) - High-Resolution Convolutional Neural Networks on Homomorphically
Encrypted Data via Sharding Ciphertexts [0.08999666725996974]
我々は,1つの暗号文に格納できる範囲を超えて,大きな次元と多数のチャネルを持つ画像上でDCNNを評価する手法を拡張した。
トレーニングプロセス中に既存のDCNNモデルがどのように正規化され、効率と精度をさらに向上するかを示す。
これらの手法を用いて、高解像度のImageNetデータセット上で高い精度でDCNNを均質に評価し、80.2%の精度でトップ1の精度を達成する。
論文 参考訳（メタデータ） (2023-06-15T15:16:16Z) - Pixel Difference Networks for Efficient Edge Detection [71.03915957914532]
本稿では,Pixel Difference Network (PiDiNet) という軽量かつ効率的なエッジ検出アーキテクチャを提案する。
BSDS500、NYUD、Multicueのデータセットに関する大規模な実験が、その効果を示すために提供されている。
0.1M未満のパラメータを持つPiDiNetのより高速なバージョンは、200FPSのアーティファクトで同等のパフォーマンスを達成できる。
論文 参考訳（メタデータ） (2021-08-16T10:42:59Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z) - Weight Update Skipping: Reducing Training Time for Artificial Neural
Networks [0.30458514384586394]
本稿では,時間的変動を示す精度向上の観察を生かしたANNのための新しいトレーニング手法を提案する。
このような時間窓の間、ネットワークがまだトレーニングされていることを保証し、過度な適合を避けるバイアスを更新し続けます。
このようなトレーニングアプローチは、計算コストを大幅に削減して、ほぼ同じ精度を達成し、トレーニング時間を短縮する。
論文 参考訳（メタデータ） (2020-12-05T15:12:10Z) - Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。
すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。
本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-09-28T03:29:19Z) - Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。
本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。
各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
論文 参考訳（メタデータ） (2020-06-17T18:14:30Z) - Improved Residual Networks for Image and Video Recognition [98.10703825716142]
ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。
ベースライン上での精度と学習収束性を一貫した改善を示す。
提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
論文 参考訳（メタデータ） (2020-04-10T11:09:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。