Fugu-MT 論文翻訳(概要): NeuJeans: Private Neural Network Inference with Joint Optimization of Convolution and FHE Bootstrapping

論文の概要: NeuJeans: Private Neural Network Inference with Joint Optimization of Convolution and FHE Bootstrapping

arxiv url: http://arxiv.org/abs/2312.04356v3
Date: Sun, 12 Jan 2025 23:49:20 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-14 14:25:56.775949
Title: NeuJeans: Private Neural Network Inference with Joint Optimization of Convolution and FHE Bootstrapping
Title（参考訳）: NeuJeans: 畳み込みとFHEブートストラッピングを併用したプライベートニューラルネットワーク推論
Authors: Jae Hyung Ju, Jaiyoung Park, Jongmin Kim, Minsik Kang, Donghwan Kim, Jung Hee Cheon, Jung Ho Ahn,
Abstract要約: NeuJeansは、深層畳み込みニューラルネットワーク(CNN)のPIのためのFHEベースのソリューションである本稿では,Coefficients-in-activation (CinS) 符号化と呼ばれる新しい符号化手法を提案する。 NeuJeansは、最先端のFHEベースのPIワークと比較して、conv2d-Slotシーケンスのパフォーマンスを最大5.68倍高速化する。
参考スコア（独自算出の注目度）: 10.82887308632024
License:
Abstract: Fully homomorphic encryption (FHE) is a promising cryptographic primitive for realizing private neural network inference (PI) services by allowing a client to fully offload the inference task to a cloud server while keeping the client data oblivious to the server. This work proposes NeuJeans, an FHE-based solution for the PI of deep convolutional neural networks (CNNs). NeuJeans tackles the critical problem of the enormous computational cost for the FHE evaluation of CNNs. We introduce a novel encoding method called Coefficients-in-Slot (CinS) encoding, which enables multiple convolutions in one HE multiplication without costly slot permutations. We further observe that CinS encoding is obtained by conducting the first several steps of the Discrete Fourier Transform (DFT) on a ciphertext in conventional Slot encoding. This property enables us to save the conversion between CinS and Slot encodings as bootstrapping a ciphertext starts with DFT. Exploiting this, we devise optimized execution flows for various two-dimensional convolution (conv2d) operations and apply them to end-to-end CNN implementations. NeuJeans accelerates the performance of conv2d-activation sequences by up to 5.68 times compared to state-of-the-art FHE-based PI work and performs the PI of a CNN at the scale of ImageNet within a mere few seconds.
Abstract（参考訳）: 完全な同型暗号化(FHE)は、クライアントがクライアントデータをサーバーに隠蔽しながら、クラウドサーバに推論タスクを完全にオフロードできるようにすることで、プライベートニューラルネットワーク推論(PI)サービスを実現するための有望な暗号プリミティブである。この研究は、深層畳み込みニューラルネットワーク(CNN)のPIのためのFHEベースのソリューションであるNeuJeansを提案する。 NeuJeansは、CNNのFHE評価における膨大な計算コストの臨界問題に取り組む。本稿では,コストのかかるスロット置換を伴わずに1つのHE乗算における複数の畳み込みを可能にする,Coefficients-in-Slot(CinS)符号化方式を提案する。さらに、従来のSlot符号化において、離散フーリエ変換(DFT)の最初の数ステップを暗号文上で実行することにより、CinS符号化が得られることを観察する。この特性により、DFTから始まる暗号文のブートストラップとして、CinSとSlotエンコーディングの変換を保存できる。そこで我々は,様々な2次元畳み込み(conv2d)操作に対して最適化された実行フローを考案し,それをエンドツーエンドCNN実装に適用する。 NeuJeansは、最先端のFHEベースのPI処理と比較して、conv2dアクティベーションシーケンスのパフォーマンスを最大5.68倍に高速化し、わずか数秒で画像NetのスケールでCNNのPIを実行する。

関連論文リスト

Toward Practical Privacy-Preserving Convolutional Neural Networks Exploiting Fully Homomorphic Encryption [11.706881389387242]
準同型暗号化(FHE)は、プライベート推論(PI)を実現するための実行可能なアプローチである FHEのCNNの実装は、主に計算とメモリのオーバーヘッドが大きいため、大きなハードルに直面している。本稿では、GPU/ASICアクセラレーション、効率的なアクティベーション機能、最適化されたパッキングスキームを含む最適化セットを提案する。
論文参考訳（メタデータ） (2023-10-25T10:24:35Z)
Efficient Privacy-Preserving Convolutional Spiking Neural Networks with FHE [1.437446768735628]
ホモモルフィック暗号化(FHE)は、プライバシ保護計算の鍵となる技術である。 FHEは連続非ポリノミカル関数の処理に制限がある。準同型SNNのためのFHE-DiCSNNというフレームワークを提案する。 FHE-DiCSNNの精度は97.94%で、元のネットワークの精度98.47%に比べて0.53%しか失われていない。
論文参考訳（メタデータ） (2023-09-16T15:37:18Z)
On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-13T02:14:42Z)
Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文参考訳（メタデータ） (2022-10-21T15:56:13Z)
Efficient Representations for Privacy-Preserving Inference [3.330229314824913]
我々は、MNISTとCIFAR-10データセットに基づいて、プライベートCNNを構築し、評価する。我々はCryptoNetsアーキテクチャの推論に使用される演算数を2倍に減らした。
論文参考訳（メタデータ） (2021-10-15T19:03:35Z)
Spike time displacement based error backpropagation in convolutional spiking neural networks [0.6193838300896449]
本稿では,STiDi-BPアルゴリズムを拡張し,より深く,畳み込み型アーキテクチャに応用する。 MNISTとFashion-MNISTの2つのベンチマークに基づく画像分類タスクの評価結果から,このアルゴリズムが深部SNNに適用可能であることを確認した。後進パスで更新される実数値重みと、フィードフォワードプロセスで使用される2値重みと、その記号と2値重みの2つの重みを持つ畳み込みSNNを考える。
論文参考訳（メタデータ） (2021-08-31T05:18:59Z)
Learning from Images: Proactive Caching with Parallel Convolutional Neural Networks [94.85780721466816]
本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
論文参考訳（メタデータ） (2021-08-15T21:32:47Z)
Content-Aware Convolutional Neural Networks [98.97634685964819]
畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
論文参考訳（メタデータ） (2021-06-30T03:54:35Z)
Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文参考訳（メタデータ） (2021-06-18T03:11:15Z)
Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文参考訳（メタデータ） (2020-06-21T08:23:03Z)
AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。本稿では,AdderNets のバックプロパゲーション手法を提案する。その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。