論文の概要: Securing Neural Networks with Knapsack Optimization

• arxiv url: http://arxiv.org/abs/2304.10442v2
• Date: Fri, 29 Dec 2023 11:34:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 02:46:27.403221
• Title: Securing Neural Networks with Knapsack Optimization
• Title（参考訳）: Knapsack最適化によるニューラルネットワークのセキュア化
• Authors: Yakir Gorski, Amir Jevnisek, Shai Avidan
• Abstract要約: 本稿では,多くのコンピュータビジョンタスクのバックボーンとして機能するResNetsに焦点を当てる。 我々は、非線形コンポーネント、具体的にはReLUの数を減らすことを目指しています。 そこで我々は,Knapsack問題に対する新たな問題の削減を通じて,最適なパッチサイズを選択するアルゴリズムを考案した。
• 参考スコア（独自算出の注目度）: 12.998637003026273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: MLaaS Service Providers (SPs) holding a Neural Network would like to keep the Neural Network weights secret. On the other hand, users wish to utilize the SPs' Neural Network for inference without revealing their data. Multi-Party Computation (MPC) offers a solution to achieve this. Computations in MPC involve communication, as the parties send data back and forth. Non-linear operations are usually the main bottleneck requiring the bulk of communication bandwidth. In this paper, we focus on ResNets, which serve as the backbone for many Computer Vision tasks, and we aim to reduce their non-linear components, specifically, the number of ReLUs. Our key insight is that spatially close pixels exhibit correlated ReLU responses. Building on this insight, we replace the per-pixel ReLU operation with a ReLU operation per patch. We term this approach 'Block-ReLU'. Since different layers in a Neural Network correspond to different feature hierarchies, it makes sense to allow patch-size flexibility for the various layers of the Neural Network. We devise an algorithm to choose the optimal set of patch sizes through a novel reduction of the problem to the Knapsack Problem. We demonstrate our approach in the semi-honest secure 3-party setting for four problems: Classifying ImageNet using ResNet50 backbone, classifying CIFAR100 using ResNet18 backbone, Semantic Segmentation of ADE20K using MobileNetV2 backbone, and Semantic Segmentation of Pascal VOC 2012 using ResNet50 backbone. Our approach achieves competitive performance compared to a handful of competitors. Our source code is publicly available: https://github.com/yg320/secure_inference.
• Abstract（参考訳）: ニューラルネットワークを持つmlaasサービスプロバイダ(sps)は、ニューラルネットワークの重み付けを秘密にしたいと考えている。 一方で、ユーザはデータを明かすことなく、spsのニューラルネットワークを推論に利用したいと考えている。 マルチパーティ計算(MPC)は、これを実現するためのソリューションを提供する。 MPCの計算は、当事者がデータを行き来するときに通信を伴う。 非線形操作は通常、通信帯域幅の大部分を必要とする主なボトルネックである。 本稿では,多くのコンピュータビジョンタスクのバックボーンとして機能するResNetsに着目し,その非線形成分,具体的にはReLUの数を削減することを目的とする。 我々の重要な洞察は、空間的近接画素は相関したReLU応答を示すことである。 この知見に基づいて、ピクセル当たりのReLU演算をパッチ毎のReLU演算に置き換える。 このアプローチを "Block-ReLU" と呼ぶ。 ニューラルネットワークの異なるレイヤは異なる特徴階層に対応するため、ニューラルネットワークのさまざまなレイヤに対してパッチサイズの柔軟性を実現することは理にかなっている。 そこで我々は,Knapsack問題に対する新たな問題の削減を通じて,最適なパッチサイズを選択するアルゴリズムを考案した。 ResNet50のバックボーンを用いたイメージネットの分類、ResNet18のバックボーンを用いたCIFAR100の分類、MobileNetV2のバックボーンを用いたADE20Kのセマンティックセグメンテーション、ResNet50のバックボーンを用いたPascal VOC 2012のセマンティックセグメンテーションの4つの問題に対するアプローチを示す。 私たちのアプローチは、少数の競合相手に比べて競争力のあるパフォーマンスを実現します。 ソースコードはhttps://github.com/yg320/secure_inferenceで公開しています。

関連論文リスト

• An Exact Mapping From ReLU Networks to Spiking Neural Networks [3.1701886344065255]
  本稿では,Rectified Linear Units (ReLUs) を用いたネットワークから,ニューロン毎のスパイクを正確に1回発射するSNNへの正確なマッピングを提案する。 より一般的には、任意の深部ReLUネットワークが、パフォーマンスを失うことなく、エネルギー効率のよい単一スパイクニューラルネットワークに置き換えられることを示す。
  論文  参考訳（メタデータ） (2022-12-23T18:31:09Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• Lite-HRNet: A Lightweight High-Resolution Network [97.17242913089464]
  人間のポーズ推定に有効な高分解能ネットワークLite-HRNetを提案する。 シャッフルブロックにおける高用量(1x1)の畳み込みが計算ボトルネックとなる。 シャッフルブロックにおけるコストのかかる(1x1)畳み込みを置き換えるために,軽量な条件付きチャネル重み付けを導入する。
  論文  参考訳（メタデータ） (2021-04-13T17:59:31Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• ARIANN: Low-Interaction Privacy-Preserving Deep Learning via Function Secret Sharing [2.6228228854413356]
  AriaNNは、機密データに対するプライベートニューラルネットワークトレーニングと推論のための、低インタラクションのプライバシ保護フレームワークである。 我々は、ReLU、MaxPool、BatchNormといったニューラルネットワークの構築ブロックのためのプリミティブを設計する。 n-party private federated learning をサポートするための拡張として,当社のフレームワークを実装した。
  論文  参考訳（メタデータ） (2020-06-08T13:40:27Z)
• DRU-net: An Efficient Deep Convolutional Neural Network for Medical Image Segmentation [2.3574651879602215]
  残留ネットワーク(ResNet)と密結合ネットワーク(DenseNet)は、ディープ畳み込みニューラルネットワーク(DCNN)のトレーニング効率と性能を大幅に改善した。 両ネットワークの利点を考慮した効率的なネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-04-28T12:16:24Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• Knapsack Pruning with Inner Distillation [11.04321604965426]
  そこで本研究では,プルーンドネットワークの最終精度を最適化する新しいプルーニング手法を提案する。 ネットワークの高レベル構造を維持しながら、ネットワークチャネルを熟考する。 提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。
  論文  参考訳（メタデータ） (2020-02-19T16:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。