論文の概要: Training Large Scale Polynomial CNNs for E2E Inference over Homomorphic Encryption

• arxiv url: http://arxiv.org/abs/2304.14836v2
• Date: Sun, 11 Jun 2023 10:07:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 00:24:05.333316
• Title: Training Large Scale Polynomial CNNs for E2E Inference over Homomorphic Encryption
• Title（参考訳）: 均一暗号を用いたE2E推論のための大規模多項式CNNの訓練
• Authors: Moran Baruch, Nir Drucker, Gilad Ezov, Yoav Goldberg, Eyal Kushnir, Jenny Lerner, Omri Soceanu and Itamar Zimerman
• Abstract要約: 推論中に同型暗号化(HE)で実行できる大規模なCNNのトレーニングは難しい。 本稿ではResNet-152やConvNeXtモデルのような大規模CNNのための新しいトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 33.35896071292604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training large-scale CNNs that during inference can be run under Homomorphic Encryption (HE) is challenging due to the need to use only polynomial operations. This limits HE-based solutions adoption. We address this challenge and pioneer in providing a novel training method for large polynomial CNNs such as ResNet-152 and ConvNeXt models, and achieve promising accuracy on encrypted samples on large-scale dataset such as ImageNet. Additionally, we provide optimization insights regarding activation functions and skip-connection latency impacts, enhancing HE-based evaluation efficiency. Finally, to demonstrate the robustness of our method, we provide a polynomial adaptation of the CLIP model for secure zero-shot prediction, unlocking unprecedented capabilities at the intersection of HE and transfer learning.
• Abstract（参考訳）: 推論中にホモモルフィック暗号化(HE)で実行できる大規模なCNNの訓練は、多項式演算のみを使用する必要があるため困難である。 これはHEベースのソリューションの採用を制限する。 本稿では,resnet-152 や convnext モデルなどの大規模多項式 cnn に対する新しい学習法を提供し,imagenet のような大規模データセット上での暗号化サンプルの有望な精度を実現する。 さらに,アクティベーション関数とスキップ接続遅延の影響に関する最適化情報を提供し,HEに基づく評価効率を向上させる。 最後に,提案手法のロバスト性を示すため,CLIPモデルの多項式適応によりゼロショット予測をセキュアにし,HEの交点における前例のない能力を解放し,伝達学習を行う。

関連論文リスト

• Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization [40.68266398473983]
  敵対的攻撃に対して堅牢なニューラルネットワークのトレーニングは、ディープラーニングにおいて依然として重要な問題である。 凸プログラムとして2層ReLUおよびfty$アクティベーションネットワークのトレーニング問題を再構成する。 本研究では,大規模問題に対する凸対向訓練の実用性を示す。
  論文  参考訳（メタデータ） (2024-05-22T22:08:13Z)
• Dynamic Semantic Compression for CNN Inference in Multi-access Edge Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
  部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。 セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
  論文  参考訳（メタデータ） (2024-01-19T15:19:47Z)
• Regularized PolyKervNets: Optimizing Expressiveness and Efficiency for Private Inference in Deep Neural Networks [0.0]
  より小さなネットワークで動的近似を改善する技術としてよく知られているPolyKervNetsに注目する。 我々の主な目的は、大規模ネットワークにおけるPolyKervNetの性能を高めるために、最適化に基づくトレーニングレシピを実証的に探索することである。
  論文  参考訳（メタデータ） (2023-12-23T11:37:18Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Fighting COVID-19 in the Dark: Methodology for Improved Inference Using Homomorphically Encrypted DNN [3.1959970303072396]
  ホモモルフィック暗号化(HE)は、プライバシー問題に対処しながら分析を可能にする方法として使われている。 HEの使用には、サイズ制限やいくつかの操作タイプのサポートの欠如など、いくつかの課題がある。 本稿では,ReLUを2次活性化に置き換える構造的手法を提案する。
  論文  参考訳（メタデータ） (2021-11-05T10:04:15Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Active Learning in CNNs via Expected Improvement Maximization [2.0305676256390934]
  また,Dropout-based IMprOvementS (DEIMOS) は,能動的学習に対する柔軟で計算効率のよいアプローチである。 以上の結果から,DIMOSは複数の回帰・分類タスクにおいて,既存のベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2020-11-27T22:06:52Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。