論文の概要: NeuJeans: Private Neural Network Inference with Joint Optimization of
Convolution and Bootstrapping
- arxiv url: http://arxiv.org/abs/2312.04356v1
- Date: Thu, 7 Dec 2023 15:23:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 14:31:09.563910
- Title: NeuJeans: Private Neural Network Inference with Joint Optimization of
Convolution and Bootstrapping
- Title（参考訳）: neujeans:畳み込みとブートストラップの協調最適化によるプライベートニューラルネットワーク推論
- Authors: Jae Hyung Ju, Jaiyoung Park, Jongmin Kim, Donghwan Kim, and Jung Ho
Ahn
- Abstract要約: NeuJeansは、深層畳み込みニューラルネットワーク(CNN)のPIのためのFHEベースのソリューションである
NeuJeansは、最先端のFHEベースのPI作業と比較して、conv2dの性能を最大5.68倍向上させる。
- 参考スコア（独自算出の注目度）: 6.690461509117367
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fully homomorphic encryption (FHE) is a promising cryptographic primitive for
realizing private neural network inference (PI) services by allowing a client
to fully offload the inference task to a cloud server while keeping the client
data oblivious to the server. This work proposes NeuJeans, an FHE-based
solution for the PI of deep convolutional neural networks (CNNs). NeuJeans
tackles the critical problem of the enormous computational cost for the FHE
evaluation of convolutional layers (conv2d), mainly due to the high cost of
data reordering and bootstrapping. We first propose an encoding method
introducing nested structures inside encoded vectors for FHE, which enables us
to develop efficient conv2d algorithms with reduced data reordering costs.
However, the new encoding method also introduces additional computations for
conversion between encoding methods, which could negate its advantages. We
discover that fusing conv2d with bootstrapping eliminates such computations
while reducing the cost of bootstrapping. Then, we devise optimized execution
flows for various types of conv2d and apply them to end-to-end implementation
of CNNs. NeuJeans accelerates the performance of conv2d by up to 5.68 times
compared to state-of-the-art FHE-based PI work and performs the PI of a CNN at
the scale of ImageNet (ResNet18) within a mere few seconds
- Abstract（参考訳）: 完全な同型暗号化(FHE)は、クライアントがクライアントデータをサーバーに隠蔽しながら、クラウドサーバに推論タスクを完全にオフロードできるようにすることで、プライベートニューラルネットワーク推論(PI)サービスを実現するための有望な暗号プリミティブである。
この研究は、深層畳み込みニューラルネットワーク(CNN)のPIのためのFHEベースのソリューションであるNeuJeansを提案する。
NeuJeansは、畳み込み層(convolutional layer, conv2d)の評価において、膨大な計算コストの重大な問題に対処している。
まず、FHE用のエンコードベクトルの内部にネスト構造を導入し、データリオーダコストを低減した効率的なconv2dアルゴリズムの開発を可能にするエンコーディング手法を提案する。
しかし、新しい符号化法は、符号化方法間の変換のためのさらなる計算を導入し、その利点を否定する可能性がある。
ブートストラップによるconv2dの融合は,ブートストラップのコストを低減しつつ,そのような計算を不要にする。
次に,様々な種類のconv2dに対して最適化された実行フローを考案し,CNNのエンドツーエンド実装に適用する。
NeuJeansは、最先端のFHEベースのPI処理と比較して最大5.68倍の性能を加速し、わずか数秒でImageNet(ResNet18)のスケールでCNNのPIを実行する。
関連論文リスト
- Efficient Homomorphically Encrypted Convolutional Neural Network Without Rotation [6.03124479597323]
本稿では, HE方式の安全性に影響を与えることなく, 暗号文の回転を除去する新しい構成法とフィルタ係数パッキング方式を提案する。
CIFAR-10/100データセット上のさまざまなプレーン20に対して、私たちの設計は、最高の事前設計と比較して、Conv層とFC層のランニング時間を15.5%削減し、クライアントとサーバ間の通信コストを50%以上削減します。
論文 参考訳（メタデータ） (2024-09-08T19:46:25Z) - Toward Practical Privacy-Preserving Convolutional Neural Networks Exploiting Fully Homomorphic Encryption [11.706881389387242]
準同型暗号化(FHE)は、プライベート推論(PI)を実現するための実行可能なアプローチである
FHEのCNNの実装は、主に計算とメモリのオーバーヘッドが大きいため、大きなハードルに直面している。
本稿では、GPU/ASICアクセラレーション、効率的なアクティベーション機能、最適化されたパッキングスキームを含む最適化セットを提案する。
論文 参考訳（メタデータ） (2023-10-25T10:24:35Z) - Efficient Privacy-Preserving Convolutional Spiking Neural Networks with
FHE [1.437446768735628]
ホモモルフィック暗号化(FHE)は、プライバシ保護計算の鍵となる技術である。
FHEは連続非ポリノミカル関数の処理に制限がある。
準同型SNNのためのFHE-DiCSNNというフレームワークを提案する。
FHE-DiCSNNの精度は97.94%で、元のネットワークの精度98.47%に比べて0.53%しか失われていない。
論文 参考訳（メタデータ） (2023-09-16T15:37:18Z) - Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。
我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。
実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
論文 参考訳（メタデータ） (2023-03-25T13:53:02Z) - Compressing CNN Kernels for Videos Using Tucker Decompositions: Towards
Lightweight CNN Applications [2.191505742658975]
畳み込みニューラルネットワーク(CNN)は、ビジュアルコンピューティングの分野における最先端技術である。
CNNの大きな問題は、大量の浮動小数点演算(FLOP)が大きな入力に対して畳み込みを行うのに必要なものである。
本稿では,画像のための事前学習ネットワークの畳み込みカーネルを圧縮するタッカー分解法を提案する。
論文 参考訳（メタデータ） (2022-03-10T11:53:53Z) - COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。
様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-01-30T20:12:04Z) - Efficient Representations for Privacy-Preserving Inference [3.330229314824913]
我々は、MNISTとCIFAR-10データセットに基づいて、プライベートCNNを構築し、評価する。
我々はCryptoNetsアーキテクチャの推論に使用される演算数を2倍に減らした。
論文 参考訳（メタデータ） (2021-10-15T19:03:35Z) - Learning from Images: Proactive Caching with Parallel Convolutional
Neural Networks [94.85780721466816]
本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。
モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。
数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
論文 参考訳（メタデータ） (2021-08-15T21:32:47Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。
一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
論文 参考訳（メタデータ） (2021-04-12T17:59:16Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳（メタデータ） (2020-02-18T17:42:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。