論文の概要: Towards Deep Encrypted Training: Low-Latency, Memory-Efficient, and High-Throughput Inference for Privacy-Preserving Neural Networks
- arxiv url: http://arxiv.org/abs/2604.16834v1
- Date: Sat, 18 Apr 2026 04:54:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.193523
- Title: Towards Deep Encrypted Training: Low-Latency, Memory-Efficient, and High-Throughput Inference for Privacy-Preserving Neural Networks
- Title(参考訳): ディープ暗号化トレーニングに向けて - プライバシ保護ニューラルネットワークの低レイテンシ、メモリ効率、高スループット推論
- Authors: Nges Brian Njungle, Eric Jahns, Michel A. Kinsy,
- Abstract要約: ホモモルフィック暗号化(HE)は、暗号化されたデータを直接計算し、生の入力を明らかにすることなくニューラルネットワークの推論を可能にする。
バッチ型HEフレンドリーニューラルネットワークのための最適化アルゴリズムを開発した。
HEフレンドリーなResNet-20とResNet-34モデルを暗号化データセット上で評価した。
- 参考スコア(独自算出の注目度): 0.09558392439655011
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Privacy-preserving machine learning (PPML) has become increasingly important in applications where sensitive data must remain confidential. Homomorphic Encryption (HE) enables computation directly on encrypted data, allowing neural network inference without revealing raw inputs. While prior works have largely focused on inference over a single encrypted image, batch processing of encrypted inputs lags behind, despite being critical for high-throughput inference scenarios and training-oriented workloads. In this work, we address this gap by developing optimized algorithms for batched HE-friendly neural networks. We also introduced a pipeline architecture designed to maximize resource efficiency for different batch size execution. We implemented these algorithms and evaluated our work using HE-friendly ResNet-20 and ResNet-34 models on encrypted CIFAR-10 and CIFAR-100 datasets, respectively. For ResNet-20, our approach achieves an amortized inference time of 8.86 seconds per image when processing a batch of 512 encrypted images, with a peak memory usage of 98.96 GB. These results represent a 1.78x runtime improvement and a 3.74x reduction in memory usage compared to the state-of-the-art design. For the deeper ResNet-34 model, we achieve an amortized inference time of 28.14 on a batch of 256 encrypted images using 246.78GB of RAM
- Abstract(参考訳): 機密データが機密保持されなければならないアプリケーションでは、プライバシ保護機械学習(PPML)がますます重要になっている。
ホモモルフィック暗号化(HE)は、暗号化されたデータを直接計算し、生の入力を明らかにすることなくニューラルネットワークの推論を可能にする。
以前の作業では、単一の暗号化されたイメージに対する推論に重点を置いていたが、高スループットの推論シナリオやトレーニング指向のワークロードでは、暗号化されたインプットのバッチ処理が遅れている。
本研究では,バッチ型HEフレンドリーニューラルネットワークのための最適化アルゴリズムを開発することで,このギャップに対処する。
また、異なるバッチサイズの実行に対してリソース効率を最大化するように設計されたパイプラインアーキテクチャも導入しました。
これらのアルゴリズムを実装し, HEフレンドリーなResNet-20とResNet-34をそれぞれ暗号化したCIFAR-10とCIFAR-100を用いて評価した。
ResNet-20では,512個の暗号化画像のバッチ処理において,ピークメモリ使用率98.96GBで,画像当たり8.86秒の補正推論時間を実現する。
これらの結果は、最先端の設計と比較して1.78倍のランタイム改善と3.74倍のメモリ使用量の削減を示している。
より深いResNet-34モデルでは、246.78GBのRAMを使用して256個の暗号化された画像のバッチ上で28.14の償却推論時間を達成する。
関連論文リスト
- Collaborative Decoding Makes Visual Auto-Regressive Modeling Efficient [52.96232442322824]
CoDe(Collaborative Decoding)は、Visual Auto-Regressive (VAR)フレームワーク用に設計された、新しい効率的なデコーディング戦略である。
CoDeは、大規模でのパラメータ要求の大幅な削減と、異なるスケールでの排他的生成パターンという、2つの重要な観察に乗じている。
CoDeは1.7倍のスピードアップを実現し、メモリ使用量を約50%削減し、画像品質を1.95から1.98に改善した。
論文 参考訳(メタデータ) (2024-11-26T15:13:15Z) - DCT-CryptoNets: Scaling Private Inference in the Frequency Domain [8.084341432899954]
DCT-CryptoNetsは,計算コストの高い非線形アクティベーションの負担を軽減するために,周波数領域内で直接動作する新しい手法である。
JPEGエンコーディングで一般的に使用される離散コサイン変換(DCT)は、リモートコンピューティングサービスと本質的に互換性がある。
ImageNetデータセットの推論を2.5時間以内に示す(96スレッドの同等の計算リソースで12.5時間からダウンする)。
論文 参考訳(メタデータ) (2024-08-27T17:48:29Z) - Dynamic neural network with memristive CIM and CAM for 2D and 3D vision [57.6208980140268]
本稿では,memristor を用いた意味記憶に基づく動的ニューラルネットワーク (DNN) を提案する。
ネットワークは、受信したデータとセマンティックベクターとして格納された過去の経験を関連付ける。
MNISTとModelNetのデータセットから画像と3Dポイントを分類するために、ResNetとPointNet++の40nmのmemristorマクロを用いて、我々の共同設計を検証する。
論文 参考訳(メタデータ) (2024-07-12T04:55:57Z) - Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。
本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。
この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
論文 参考訳(メタデータ) (2024-04-15T09:33:09Z) - Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。
有望な解決策の1つは、アナログコンピューティングを再考することである。
ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
論文 参考訳(メタデータ) (2023-11-13T08:59:01Z) - Toward Practical Privacy-Preserving Convolutional Neural Networks Exploiting Fully Homomorphic Encryption [11.706881389387242]
準同型暗号化(FHE)は、プライベート推論(PI)を実現するための実行可能なアプローチである
FHEのCNNの実装は、主に計算とメモリのオーバーヘッドが大きいため、大きなハードルに直面している。
本稿では、GPU/ASICアクセラレーション、効率的なアクティベーション機能、最適化されたパッキングスキームを含む最適化セットを提案する。
論文 参考訳(メタデータ) (2023-10-25T10:24:35Z) - Rapid-INR: Storage Efficient CPU-free DNN Training Using Implicit Neural Representation [7.539498729072623]
Implicit Neural Representation (INR) は、複雑な形状や物体を、その形状や表面構造を明確に定義せずに表現するための革新的なアプローチである。
従来の研究では、画像圧縮のINRとしてニューラルネットワークを使用することの有効性が実証されており、JPEGのような従来の手法に匹敵する性能を示している。
本稿では、画像のエンコーディングと圧縮にINRを利用する新しいアプローチであるRapid-INRを紹介し、コンピュータビジョンタスクにおけるニューラルネットワークトレーニングを高速化する。
論文 参考訳(メタデータ) (2023-06-29T05:49:07Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳(メタデータ) (2021-10-28T17:58:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。