論文の概要: Securing Neural Networks with Knapsack Optimization

• arxiv url: http://arxiv.org/abs/2304.10442v1
• Date: Thu, 20 Apr 2023 16:40:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 12:27:24.132316
• Title: Securing Neural Networks with Knapsack Optimization
• Title（参考訳）: Knapsack最適化によるニューラルネットワークのセキュア化
• Authors: Yakir Gorski, Shai Avidan
• Abstract要約: ディープラーニング推論は、データと畳み込みニューラルネットワーク(CNN)を結合する これは、ユーザがデータのプライバシを保持したい場合や、サービスプロバイダが自身のCNNの重みを明らかにしたくない場合に問題となる。 セキュア推論(Secure Inference)により、両者は、それぞれのプライバシに関する懸念を保護しつつ、推論結果のみをユーザに公開するプロトコルに参加することができる。
• 参考スコア（独自算出の注目度）: 20.191456827448736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning inference brings together the data and the Convolutional Neural Network (CNN). This is problematic in case the user wants to preserve the privacy of the data and the service provider does not want to reveal the weights of his CNN. Secure Inference allows the two parties to engage in a protocol that preserves their respective privacy concerns, while revealing only the inference result to the user. This is known as Multi-Party Computation (MPC). A major bottleneck of MPC algorithms is communication, as the parties must send data back and forth. The linear component of a CNN (i.e. convolutions) can be done efficiently with minimal communication, but the non-linear part (i.e., ReLU) requires the bulk of communication bandwidth. We propose two ways to accelerate Secure Inference. The first is based on the observation that the ReLU outcome of many convolutions is highly correlated. Therefore, we replace the per pixel ReLU operation by a ReLU operation per patch. Each layer in the network will benefit from a patch of a different size and we devise an algorithm to choose the optimal set of patch sizes through a novel reduction of the problem to a knapsack problem. The second way to accelerate Secure Inference is based on cutting the number of bit comparisons required for a secure ReLU operation. We demonstrate the cumulative effect of these tools in the semi-honest secure 3-party setting for four problems: Classifying ImageNet using ResNet50 backbone, classifying CIFAR100 using ResNet18 backbone, semantic segmentation of ADE20K using MobileNetV2 backbone and semantic segmentation of Pascal VOC 2012 using ResNet50 backbone. Our source code is publicly available: $\href{https://github.com/yg320/secure_inference}{\text{https://github.com/yg320/secure_inference}}$
• Abstract（参考訳）: ディープラーニング推論は、データと畳み込みニューラルネットワーク(CNN)を結合する。 これは、ユーザがデータのプライバシを保持したい場合や、サービスプロバイダが自身のCNNの重みを明らかにしたくない場合に問題となる。 セキュアな推論は、2人の当事者がそれぞれのプライバシーの懸念を保ちながら、推論結果のみをユーザに開示するプロトコルに参加することを可能にする。 これはマルチパーティ計算 (mpc) と呼ばれる。 MPCアルゴリズムの最大のボトルネックは通信であり、当事者はデータを前後に送らなければならない。 CNN(すなわち畳み込み)の線形成分は、最小限の通信で効率的に行うことができるが、非線形部分(すなわちReLU)は通信帯域の大部分を必要とする。 安全な推論を加速する方法を2つ提案する。 1つ目は、多くの畳み込みのrelu結果が高い相関関係にあるという観測に基づく。 したがって,1ピクセル当たりのReLU演算をパッチ当たりのReLU演算で置き換える。 ネットワーク内の各レイヤは、異なるサイズのパッチの恩恵を受けるだろう。我々は、新しい問題をknapsack問題に還元することで、最適なパッチサイズのセットを選択するアルゴリズムを考案する。 Secure Inferenceを高速化する第2の方法は、セキュアなReLU操作に必要なビット比較の数を削減することである。 ResNet50バックボーンを用いたImageNetの分類、ResNet18バックボーンを用いたCIFAR100の分類、MobileNetV2バックボーンを用いたADE20Kのセマンティックセマンティックセマンティックセマンティックセマンティックセマンティクス、ResNet50バックボーンを用いたPascal VOC 2012のセマンティクスセマンティクスセマンティクス。 ソースコードは、$\href{https://github.com/yg320/secure_inference}{\text{https://github.com/yg320/secure_inference}}$です。

関連論文リスト

• An Exact Mapping From ReLU Networks to Spiking Neural Networks [3.1701886344065255]
  本稿では,Rectified Linear Units (ReLUs) を用いたネットワークから,ニューロン毎のスパイクを正確に1回発射するSNNへの正確なマッピングを提案する。 より一般的には、任意の深部ReLUネットワークが、パフォーマンスを失うことなく、エネルギー効率のよい単一スパイクニューラルネットワークに置き換えられることを示す。
  論文  参考訳（メタデータ） (2022-12-23T18:31:09Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• Lite-HRNet: A Lightweight High-Resolution Network [97.17242913089464]
  人間のポーズ推定に有効な高分解能ネットワークLite-HRNetを提案する。 シャッフルブロックにおける高用量(1x1)の畳み込みが計算ボトルネックとなる。 シャッフルブロックにおけるコストのかかる(1x1)畳み込みを置き換えるために,軽量な条件付きチャネル重み付けを導入する。
  論文  参考訳（メタデータ） (2021-04-13T17:59:31Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• ARIANN: Low-Interaction Privacy-Preserving Deep Learning via Function Secret Sharing [2.6228228854413356]
  AriaNNは、機密データに対するプライベートニューラルネットワークトレーニングと推論のための、低インタラクションのプライバシ保護フレームワークである。 我々は、ReLU、MaxPool、BatchNormといったニューラルネットワークの構築ブロックのためのプリミティブを設計する。 n-party private federated learning をサポートするための拡張として,当社のフレームワークを実装した。
  論文  参考訳（メタデータ） (2020-06-08T13:40:27Z)
• DRU-net: An Efficient Deep Convolutional Neural Network for Medical Image Segmentation [2.3574651879602215]
  残留ネットワーク(ResNet)と密結合ネットワーク(DenseNet)は、ディープ畳み込みニューラルネットワーク(DCNN)のトレーニング効率と性能を大幅に改善した。 両ネットワークの利点を考慮した効率的なネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-04-28T12:16:24Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• Knapsack Pruning with Inner Distillation [11.04321604965426]
  そこで本研究では,プルーンドネットワークの最終精度を最適化する新しいプルーニング手法を提案する。 ネットワークの高レベル構造を維持しながら、ネットワークチャネルを熟考する。 提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。
  論文  参考訳（メタデータ） (2020-02-19T16:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。