論文の概要: Accurate Low-Degree Polynomial Approximation of Non-polynomial Operators for Fast Private Inference in Homomorphic Encryption

• arxiv url: http://arxiv.org/abs/2404.03216v2
• Date: Thu, 11 Apr 2024 18:39:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 17:03:53.299778
• Title: Accurate Low-Degree Polynomial Approximation of Non-polynomial Operators for Fast Private Inference in Homomorphic Encryption
• Title（参考訳）: ホモモルフィック暗号化における高速プライベート推論のための非線形演算子の高精度低次元多項式近似
• Authors: Jianming Tong, Jingtian Dang, Anupam Golder, Callie Hao, Arijit Raychowdhury, Tushar Krishna,
• Abstract要約: ホモモルフィック暗号化(FHE)は、暗号化されたデータの推論を可能にし、データのプライバシと機械学習モデルの両方のプライバシを保存する。 非多項式作用素を高次多項式近似関数(PAF)に置き換える根本原因として、最大5等級の安全推論を遅くする。 我々は,非多項式演算子を低次PAFに置き換えた上で,PAF近似モデルの精度を4つの手法で再現するフレームワークであるSmartPAFを提案する。
• 参考スコア（独自算出の注目度）: 4.9701231764297
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As machine learning (ML) permeates fields like healthcare, facial recognition, and blockchain, the need to protect sensitive data intensifies. Fully Homomorphic Encryption (FHE) allows inference on encrypted data, preserving the privacy of both data and the ML model. However, it slows down non-secure inference by up to five magnitudes, with a root cause of replacing non-polynomial operators (ReLU and MaxPooling) with high-degree Polynomial Approximated Function (PAF). We propose SmartPAF, a framework to replace non-polynomial operators with low-degree PAF and then recover the accuracy of PAF-approximated model through four techniques: (1) Coefficient Tuning (CT) -- adjust PAF coefficients based on the input distributions before training, (2) Progressive Approximation (PA) -- progressively replace one non-polynomial operator at a time followed by a fine-tuning, (3) Alternate Training (AT) -- alternate the training between PAFs and other linear operators in the decoupled manner, and (4) Dynamic Scale (DS) / Static Scale (SS) -- dynamically scale PAF input value within (-1, 1) in training, and fix the scale as the running max value in FHE deployment. The synergistic effect of CT, PA, AT, and DS/SS enables SmartPAF to enhance the accuracy of the various models approximated by PAFs with various low degrees under multiple datasets. For ResNet-18 under ImageNet-1k, the Pareto-frontier spotted by SmartPAF in latency-accuracy tradeoff space achieves 1.42x ~ 13.64x accuracy improvement and 6.79x ~ 14.9x speedup than prior works. Further, SmartPAF enables a 14-degree PAF (f1^2 g_1^2) to achieve 7.81x speedup compared to the 27-degree PAF obtained by minimax approximation with the same 69.4% post-replacement accuracy. Our code is available at https://github.com/EfficientFHE/SmartPAF.
• Abstract（参考訳）: マシンラーニング(ML)が医療、顔認識、ブロックチェーンといった分野に浸透するにつれ、機密データを保護する必要性が強まる。 FHE(Fully Homomorphic Encryption)は、暗号化されたデータの推論を可能にし、データのプライバシとMLモデルの両方のプライバシを保存する。 しかし、非ポリノミアル作用素(ReLUとMaxPooling)を高次多項式近似関数(PAF)に置き換える根本原因として、最大5等級の非安全推論を遅くする。 我々は,非多項式演算子を低次PSFに置き換えてPAF近似モデルの精度を回復するフレームワークであるSmartPAFを提案する。(1)係数チューニング(CT) -- 学習前の入力分布に基づいてPAF係数を調整する(2)進行近似(PA) -- 同時に1つの非多項式演算子を段階的に置き換える(3)代替学習(AT) -- 分離された方法でPAFと他の線形演算子間のトレーニングを交換する(4)動的スケール(DS)/静的スケール(SS) -- 動的スケール(DS) - 動的スケール(DS) - 動的スケール(SS) - である。 FHE 1.1のトレーニングでは、スケールをFHEデプロイメントのランニングマックス値として修正する。 CT、PA、AT、DS/SSの相乗効果により、SmartPAFは、複数のデータセットの下で様々な低度のPAFによって近似された様々なモデルの精度を高めることができる。 ImageNet-1kのResNet-18では、SmartPAFが遅延精度トレードオフ空間で発見したPareto-frontierは、1.42倍～13.64倍の精度向上と6.79倍～14.9倍のスピードアップを実現している。 さらに、SmartPAFは14° PAF(f1^2 g_1^2)を、同じ69.4%の置き換え精度でミニマックス近似によって得られる27° PAFと比較して7.81倍のスピードアップを達成することができる。 私たちのコードはhttps://github.com/EfficientFHE/SmartPAF.comで利用可能です。

関連論文リスト

• AdaPI: Facilitating DNN Model Adaptivity for Efficient Private Inference in Edge Computing [20.11448308239082]
  AdaPIは、多様なエネルギー予算を持つエッジデバイス間でモデルをうまく動作させることにより、適応的なPIを実現する新しいアプローチである。 AdaPIは各エネルギー予算に対して最適な精度を達成し、CIFAR-100の試験精度で最先端のPI手法を7.3%上回っている。
  論文  参考訳（メタデータ） (2024-07-08T05:58:49Z)
• Thinking Forward: Memory-Efficient Federated Finetuning of Language Models [21.438831528354513]
  連合学習環境における大規模言語モデル(LLM)の微調整には、リソース制約のあるデバイスに対して過剰なメモリを必要とする。 本稿では,LLMのトレーニング可能な重みをクライアント間で分割するFLアルゴリズムであるSpryを紹介する。 Spryはメモリフットプリントが低く、精度が高く、高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-05-24T13:37:48Z)
• SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation [53.675725490807615]
  SDPoseは小型変圧器モデルの性能向上のための新しい自己蒸留法である。 SDPose-Tは4.4Mパラメータと1.8 GFLOPを持つ69.7%のmAPを取得し、SDPose-S-V2はMSCOCO検証データセット上で73.5%のmAPを取得する。
  論文  参考訳（メタデータ） (2024-04-04T15:23:14Z)
• AutoFHE: Automated Adaption of CNNs for Efficient Evaluation over FHE [17.869772108541998]
  本稿では,RSS-CKKSの下でセキュアな推論を行うAutoFHEを提案する。 我々は、AutoFHEが高次手法と比較して、セキュアな推論を1.32times$から1.8times$に加速することを示す。 また、低度の手法に比べて2.56%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-10-12T03:28:14Z)
• Fixed-point quantization aware training for on-device keyword-spotting [4.4488246947396695]
  本稿では,FXP畳み込みキーワードスポッティング(KWS)モデルを学習し,獲得するための新しい手法を提案する。 我々はこの方法論を2つの量子化学習(QAT)技術と組み合わせる。 我々は,KWSモデルの予測性能を損なうことなく,実行時間を68%削減できることを実証した。
  論文  参考訳（メタデータ） (2023-03-04T01:06:16Z)
• Private, Efficient, and Accurate: Protecting Models Trained by Multi-party Learning with Differential Privacy [8.8480262507008]
  セキュアなDPSGDプロトコルと2つの最適化手法からなるPEA(Private, Efficient, Accurate)を提案する。 TF-Encrypted と Queqiao の2つのオープンソース MPL フレームワークで PEA を実装しています。 PEAはLAN設定下7分以内でCIFAR-10の精度88%の差分プライベート分類モデルを訓練できることを示した。
  論文  参考訳（メタデータ） (2022-08-18T06:48:25Z)
• EATFormer: Improving Vision Transformer Inspired by Evolutionary Algorithm [111.17100512647619]
  本稿では、実証された実用的な進化的アルゴリズム(EA)と類似したビジョントランスフォーマーの合理性を説明する。 本稿では,EA ベースのトランス (EAT) ブロックのみを含む新しいピラミッド EATFormer バックボーンを提案する。 画像分類,下流タスク,説明実験に関する大規模かつ定量的な実験は,我々のアプローチの有効性と優位性を示すものである。
  論文  参考訳（メタデータ） (2022-06-19T04:49:35Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。