論文の概要: Sensitive Tuning of Large Scale CNNs for E2E Secure Prediction using Homomorphic Encryption

• arxiv url: http://arxiv.org/abs/2304.14836v1
• Date: Wed, 26 Apr 2023 20:41:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 14:12:05.998512
• Title: Sensitive Tuning of Large Scale CNNs for E2E Secure Prediction using Homomorphic Encryption
• Title（参考訳）: 均一暗号を用いたE2Eセキュア予測のための大規模CNNの高感度チューニング
• Authors: Moran Baruch, Nir Drucker, Gilad Ezov, Eyal Kushnir, Jenny Lerner, Omri Soceanu and Itamar Zimerman
• Abstract要約: HEフレンドリーなモデルのための新しいトレーニング手法を提案し,それを基礎的かつ近代的なCNNで実証する。 我々は、HELayers SDKを用いて暗号化されたサンプルを実行し、望ましい結果が得られることを証明し、我々のモデルを評価する。
• 参考スコア（独自算出の注目度）: 2.924756839755417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Privacy-preserving machine learning solutions have recently gained significant attention. One promising research trend is using Homomorphic Encryption (HE), a method for performing computation over encrypted data. One major challenge in this approach is training HE-friendly, encrypted or unencrypted, deep CNNs with decent accuracy. We propose a novel training method for HE-friendly models, and demonstrate it on fundamental and modern CNNs, such as ResNet and ConvNeXt. After training, we evaluate our models by running encrypted samples using HELayers SDK and proving that they yield the desired results. When running on a GPU over the ImageNet dataset, our ResNet-18/50/101 implementations take only 7, 31 and 57 minutes, respectively, which shows that this solution is practical. Furthermore, we present several insights on handling the activation functions and skip-connections under HE. Finally, we demonstrate in an unprecedented way how to perform secure zero-shot prediction using a CLIP model that we adapted to be HE-friendly.
• Abstract（参考訳）: プライバシを保存する機械学習ソリューションは最近大きな注目を集めている。 有望な研究トレンドの1つは、暗号化データ上で計算を実行する方法である準同型暗号化(he)の使用である。 このアプローチの大きな課題のひとつは、HEフレンドリー、暗号化、暗号化されていないディープCNNを適切な精度でトレーニングすることだ。 本稿では,ヒューフレンドリーなモデルのための新しいトレーニング手法を提案し,resnetやconvnextなど,基本的かつ現代的なcnnで実証する。 トレーニング後、HELayers SDKを使用して暗号化されたサンプルを実行し、望ましい結果が得られることを証明し、モデルを評価する。 ImageNetデータセット上でGPU上で動作する場合、我々のResNet-18/50/101実装は、それぞれ7分31分と57分しかかかりません。 さらに,HEの下でのアクティベーション関数とスキップ接続の扱いについて,いくつかの知見を示す。 最後に、HEフレンドリーなCLIPモデルを用いて、セキュアなゼロショット予測を行う方法を前例のない方法で実証した。

関連論文リスト

• Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization [40.68266398473983]
  敵対的攻撃に対して堅牢なニューラルネットワークのトレーニングは、ディープラーニングにおいて依然として重要な問題である。 凸プログラムとして2層ReLUおよびfty$アクティベーションネットワークのトレーニング問題を再構成する。 本研究では,大規模問題に対する凸対向訓練の実用性を示す。
  論文  参考訳（メタデータ） (2024-05-22T22:08:13Z)
• Dynamic Semantic Compression for CNN Inference in Multi-access Edge Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
  部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。 セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
  論文  参考訳（メタデータ） (2024-01-19T15:19:47Z)
• Regularized PolyKervNets: Optimizing Expressiveness and Efficiency for Private Inference in Deep Neural Networks [0.0]
  より小さなネットワークで動的近似を改善する技術としてよく知られているPolyKervNetsに注目する。 我々の主な目的は、大規模ネットワークにおけるPolyKervNetの性能を高めるために、最適化に基づくトレーニングレシピを実証的に探索することである。
  論文  参考訳（メタデータ） (2023-12-23T11:37:18Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Fighting COVID-19 in the Dark: Methodology for Improved Inference Using Homomorphically Encrypted DNN [3.1959970303072396]
  ホモモルフィック暗号化(HE)は、プライバシー問題に対処しながら分析を可能にする方法として使われている。 HEの使用には、サイズ制限やいくつかの操作タイプのサポートの欠如など、いくつかの課題がある。 本稿では,ReLUを2次活性化に置き換える構造的手法を提案する。
  論文  参考訳（メタデータ） (2021-11-05T10:04:15Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Active Learning in CNNs via Expected Improvement Maximization [2.0305676256390934]
  また,Dropout-based IMprOvementS (DEIMOS) は,能動的学習に対する柔軟で計算効率のよいアプローチである。 以上の結果から,DIMOSは複数の回帰・分類タスクにおいて,既存のベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2020-11-27T22:06:52Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。