論文の概要: PAPER: Privacy-Preserving ResNet Models using Low-Degree Polynomial Approximations and Structural Optimizations on Leveled FHE

• arxiv url: http://arxiv.org/abs/2509.22857v1
• Date: Fri, 26 Sep 2025 19:10:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 14:37:45.488331
• Title: PAPER: Privacy-Preserving ResNet Models using Low-Degree Polynomial Approximations and Structural Optimizations on Leveled FHE
• Title（参考訳）: PAPER:低次多項式近似を用いたプライバシ保護レスネットモデルとレベルFHEの構造最適化
• Authors: Eduardo Chielle, Manaar Alam, Jinting Liu, Jovan Kascelan, Michail Maniatakos,
• Abstract要約: 最近の研究は、完全同型暗号化(FHE)を用いた深層畳み込みニューラルネットワーク(CNN)の実行により、非インタラクティブなプライバシ保護推論をより実用的なものにしている。 また、非線形アクティベーションの高次近似にも依存しており、これは平文のReLUモデルと比較して乗算深度を増大させ、精度を2-5%削減する。 本研究では、プライバシ保護推論において広く採用されているベンチマークアーキテクチャであるResNetsに注目し、FHE非インタラクティブモデルとそれに対応するモデルの精度ギャップを埋める。
• 参考スコア（独自算出の注目度）: 5.819818547073678
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has made non-interactive privacy-preserving inference more practical by running deep Convolution Neural Network (CNN) with Fully Homomorphic Encryption (FHE). However, these methods remain limited by their reliance on bootstrapping, a costly FHE operation applied across multiple layers, severely slowing inference. They also depend on high-degree polynomial approximations of non-linear activations, which increase multiplicative depth and reduce accuracy by 2-5% compared to plaintext ReLU models. In this work, we focus on ResNets, a widely adopted benchmark architecture in privacy-preserving inference, and close the accuracy gap between their FHE-based non-interactive models and plaintext counterparts, while also achieving faster inference than existing methods. We use a quadratic polynomial approximation of ReLU, which achieves the theoretical minimum multiplicative depth for non-linear activations, along with a penalty-based training strategy. We further introduce structural optimizations such as node fusing, weight redistribution, and tower reuse. These optimizations reduce the required FHE levels in CNNs by nearly a factor of five compared to prior work, allowing us to run ResNet models under leveled FHE without bootstrapping. To further accelerate inference and recover accuracy typically lost with polynomial approximations, we introduce parameter clustering along with a joint strategy of data encoding layout and ensemble techniques. Experiments with ResNet-18, ResNet-20, and ResNet-32 on CIFAR-10 and CIFAR-100 show that our approach achieves up to 4x faster private inference than prior work with comparable accuracy to plaintext ReLU models.
• Abstract（参考訳）: 最近の研究は、完全同型暗号化(FHE)で深層畳み込みニューラルネットワーク(CNN)を実行することによって、非インタラクティブなプライバシ保護推論をより実用的なものにしている。 しかし、これらの手法は、複数の層にまたがって適用されるコストのかかるFHE演算であるブートストレッピングへの依存によって制限され、推論が著しく遅くなる。 また、非線形アクティベーションの高次多項式近似にも依存しており、これは平文のReLUモデルと比較して乗算深度を高め、精度を2-5%削減する。 本研究では,プライバシ保護推論において広く採用されているベンチマークアーキテクチャであるResNetsに着目し,FHEベースの非インタラクティブモデルとプレーンテキストモデルとの精度ギャップを埋めると同時に,既存手法よりも高速な推論を実現する。 本研究では,ReLUの2次多項式近似を用いて,非線形アクティベーションの最小乗算深度とペナルティに基づくトレーニング戦略を求める。 さらに, ノード拡散, 重み再分配, タワー再利用などの構造最適化も導入する。 これらの最適化により、CNNの必要なFHEレベルは以前の作業と比べて5倍近く削減され、ブートストラップなしでResNetモデルを実行できます。 パラメータクラスタリングとデータ符号化レイアウトとアンサンブル手法を併用して,パラメータクラスタリングを導入する。 CIFAR-10およびCIFAR-100におけるResNet-18、ResNet-20、ResNet-32による実験により、我々の手法は、平文ReLUモデルに匹敵する精度で以前の作業よりも最大4倍高速なプライベート推論を実現することが示された。

関連論文リスト

• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• FALCON: FLOP-Aware Combinatorial Optimization for Neural Network Pruning [17.60353530072587]
  ネットワークプルーニングは、性能を維持しながら、モデルサイズと計算コストを削減するソリューションを提供する。 現在のプルーニング法のほとんどは、非ゼロパラメータの数を減らし、空間性を改善することに重点を置いている。 本稿では,FALCONを提案する。FALCONは,モデル精度(忠実度),FLOP,スペーサ性制約を考慮に入れた,ネットワークプルーニングを最適化した新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-03-11T18:40:47Z)
• Regularized PolyKervNets: Optimizing Expressiveness and Efficiency for Private Inference in Deep Neural Networks [0.0]
  より小さなネットワークで動的近似を改善する技術としてよく知られているPolyKervNetsに注目する。 我々の主な目的は、大規模ネットワークにおけるPolyKervNetの性能を高めるために、最適化に基づくトレーニングレシピを実証的に探索することである。
  論文  参考訳（メタデータ） (2023-12-23T11:37:18Z)
• Optimized Layerwise Approximation for Efficient Private Inference on Fully Homomorphic Encryption [17.010625600442584]
  本研究では、プライバシー保護型ディープニューラルネットワークのための最適化レイヤワイド近似(OLA)フレームワークを提案する。 効率的な近似のために、各アクティベーション関数の実際の入力分布を考慮し、階層的精度を反映する。 その結果、OLA法はResNet-20モデルとResNet-32モデルの推論時間をそれぞれ3.02倍と2.82倍に削減した。
  論文  参考訳（メタデータ） (2023-10-16T12:34:47Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Efficient Pruning for Machine Learning Under Homomorphic Encryption [2.2817485071636376]
  プライバシ保護機械学習(PPML)ソリューションが広く普及している。 多くの人は、モデルとデータの機密性を提供する同型暗号化(HE)に頼っているが、大きなレイテンシとメモリ要求のコストがかかる。 我々は、PPML推論のレイテンシとメモリを削減するために、タイルテンソルと呼ばれるパッキング技術の上に、新しいプルーニング手法を含むHE-PExというフレームワークを導入する。
  論文  参考訳（メタデータ） (2022-07-07T15:49:24Z)
• Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
  ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。 本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
  論文  参考訳（メタデータ） (2020-09-21T16:32:04Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。