論文の概要: NeuJeans: Private Neural Network Inference with Joint Optimization of
Convolution and Bootstrapping
- arxiv url: http://arxiv.org/abs/2312.04356v1
- Date: Thu, 7 Dec 2023 15:23:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 14:31:09.563910
- Title: NeuJeans: Private Neural Network Inference with Joint Optimization of
Convolution and Bootstrapping
- Title（参考訳）: neujeans:畳み込みとブートストラップの協調最適化によるプライベートニューラルネットワーク推論
- Authors: Jae Hyung Ju, Jaiyoung Park, Jongmin Kim, Donghwan Kim, and Jung Ho
Ahn
- Abstract要約: NeuJeansは、深層畳み込みニューラルネットワーク(CNN)のPIのためのFHEベースのソリューションである
NeuJeansは、最先端のFHEベースのPI作業と比較して、conv2dの性能を最大5.68倍向上させる。
- 参考スコア（独自算出の注目度）: 6.690461509117367
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fully homomorphic encryption (FHE) is a promising cryptographic primitive for
realizing private neural network inference (PI) services by allowing a client
to fully offload the inference task to a cloud server while keeping the client
data oblivious to the server. This work proposes NeuJeans, an FHE-based
solution for the PI of deep convolutional neural networks (CNNs). NeuJeans
tackles the critical problem of the enormous computational cost for the FHE
evaluation of convolutional layers (conv2d), mainly due to the high cost of
data reordering and bootstrapping. We first propose an encoding method
introducing nested structures inside encoded vectors for FHE, which enables us
to develop efficient conv2d algorithms with reduced data reordering costs.
However, the new encoding method also introduces additional computations for
conversion between encoding methods, which could negate its advantages. We
discover that fusing conv2d with bootstrapping eliminates such computations
while reducing the cost of bootstrapping. Then, we devise optimized execution
flows for various types of conv2d and apply them to end-to-end implementation
of CNNs. NeuJeans accelerates the performance of conv2d by up to 5.68 times
compared to state-of-the-art FHE-based PI work and performs the PI of a CNN at
the scale of ImageNet (ResNet18) within a mere few seconds
- Abstract（参考訳）: 完全な同型暗号化(FHE)は、クライアントがクライアントデータをサーバーに隠蔽しながら、クラウドサーバに推論タスクを完全にオフロードできるようにすることで、プライベートニューラルネットワーク推論(PI)サービスを実現するための有望な暗号プリミティブである。
この研究は、深層畳み込みニューラルネットワーク(CNN)のPIのためのFHEベースのソリューションであるNeuJeansを提案する。
NeuJeansは、畳み込み層(convolutional layer, conv2d)の評価において、膨大な計算コストの重大な問題に対処している。
まず、FHE用のエンコードベクトルの内部にネスト構造を導入し、データリオーダコストを低減した効率的なconv2dアルゴリズムの開発を可能にするエンコーディング手法を提案する。
しかし、新しい符号化法は、符号化方法間の変換のためのさらなる計算を導入し、その利点を否定する可能性がある。
ブートストラップによるconv2dの融合は,ブートストラップのコストを低減しつつ,そのような計算を不要にする。
次に,様々な種類のconv2dに対して最適化された実行フローを考案し,CNNのエンドツーエンド実装に適用する。
NeuJeansは、最先端のFHEベースのPI処理と比較して最大5.68倍の性能を加速し、わずか数秒でImageNet(ResNet18)のスケールでCNNのPIを実行する。
関連論文リスト
- Toward Practical Privacy-Preserving Convolutional Neural Networks Exploiting Fully Homomorphic Encryption [11.706881389387242]
準同型暗号化(FHE)は、プライベート推論(PI)を実現するための実行可能なアプローチである
FHEのCNNの実装は、主に計算とメモリのオーバーヘッドが大きいため、大きなハードルに直面している。
本稿では、GPU/ASICアクセラレーション、効率的なアクティベーション機能、最適化されたパッキングスキームを含む最適化セットを提案する。
論文 参考訳（メタデータ） (2023-10-25T10:24:35Z) - Efficient Privacy-Preserving Convolutional Spiking Neural Networks with
FHE [1.437446768735628]
ホモモルフィック暗号化(FHE)は、プライバシ保護計算の鍵となる技術である。
FHEは連続非ポリノミカル関数の処理に制限がある。
準同型SNNのためのFHE-DiCSNNというフレームワークを提案する。
FHE-DiCSNNの精度は97.94%で、元のネットワークの精度98.47%に比べて0.53%しか失われていない。
論文 参考訳（メタデータ） (2023-09-16T15:37:18Z) - On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。
本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-13T02:14:42Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Efficient Representations for Privacy-Preserving Inference [3.330229314824913]
我々は、MNISTとCIFAR-10データセットに基づいて、プライベートCNNを構築し、評価する。
我々はCryptoNetsアーキテクチャの推論に使用される演算数を2倍に減らした。
論文 参考訳（メタデータ） (2021-10-15T19:03:35Z) - Spike time displacement based error backpropagation in convolutional
spiking neural networks [0.6193838300896449]
本稿では,STiDi-BPアルゴリズムを拡張し,より深く,畳み込み型アーキテクチャに応用する。
MNISTとFashion-MNISTの2つのベンチマークに基づく画像分類タスクの評価結果から,このアルゴリズムが深部SNNに適用可能であることを確認した。
後進パスで更新される実数値重みと、フィードフォワードプロセスで使用される2値重みと、その記号と2値重みの2つの重みを持つ畳み込みSNNを考える。
論文 参考訳（メタデータ） (2021-08-31T05:18:59Z) - Learning from Images: Proactive Caching with Parallel Convolutional
Neural Networks [94.85780721466816]
本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。
モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。
数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
論文 参考訳（メタデータ） (2021-08-15T21:32:47Z) - Content-Aware Convolutional Neural Networks [98.97634685964819]
畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。
本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
論文 参考訳（メタデータ） (2021-06-30T03:54:35Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。
本稿では,AdderNets のバックプロパゲーション手法を提案する。
その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文 参考訳（メタデータ） (2019-12-31T06:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。