論文の概要: Reducing ReLU Count for Privacy-Preserving CNN Speedup
- arxiv url: http://arxiv.org/abs/2101.11835v1
- Date: Thu, 28 Jan 2021 06:49:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-01-31 18:03:42.093877
- Title: Reducing ReLU Count for Privacy-Preserving CNN Speedup
- Title(参考訳): プライバシー保護CNNのスピードアップのためのReLUカウントの削減
- Authors: Inbar Helbitz, Shai Avidan
- Abstract要約: プライバシ保存機械学習アルゴリズムは、分類精度とデータのプライバシのバランスをとる必要がある。
CNNは通常、畳み込み層または線形層と、ReLUのような非線形関数からなる。
最近の研究は、ReLUが通信帯域の大部分を担っていることを示唆している。
具体的には、あるアクティベーションのReLU決定を他の人が利用できるようにし、そのようなアクティベーションのグループに対してReLUを決定する様々な方法を模索する。
- 参考スコア(独自算出の注目度): 25.86435513157795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Privacy-Preserving Machine Learning algorithms must balance classification
accuracy with data privacy. This can be done using a combination of
cryptographic and machine learning tools such as Convolutional Neural Networks
(CNN). CNNs typically consist of two types of operations: a convolutional or
linear layer, followed by a non-linear function such as ReLU. Each of these
types can be implemented efficiently using a different cryptographic tool. But
these tools require different representations and switching between them is
time-consuming and expensive. Recent research suggests that ReLU is responsible
for most of the communication bandwidth. ReLU is usually applied at each pixel
(or activation) location, which is quite expensive. We propose to share ReLU
operations. Specifically, the ReLU decision of one activation can be used by
others, and we explore different ways to group activations and different ways
to determine the ReLU for such a group of activations. Experiments on several
datasets reveal that we can cut the number of ReLU operations by up to three
orders of magnitude and, as a result, cut the communication bandwidth by more
than 50%.
- Abstract(参考訳): プライバシー保護機械学習アルゴリズムは、分類精度とデータプライバシーのバランスをとらなければならない。
これは、Convolutional Neural Networks(CNN)などの暗号および機械学習ツールの組み合わせを使用して行うことができます。
CNNは通常、畳み込み層または線形層と、ReLUのような非線形関数の2種類からなる。
これらのタイプは、異なる暗号ツールを使用して効率的に実装できます。
しかし、これらのツールは異なる表現を必要とし、それらの切り替えには時間と費用がかかります。
最近の研究は、ReLUが通信帯域の大部分を担っていることを示唆している。
ReLUは通常、各ピクセル(またはアクティベーション)の場所で適用されます。
ReLU運用の共有を提案いたします。
具体的には、あるアクティベーションのRELU決定を他のアクティベーションによって使用することができ、そのようなアクティベーションのグループのためのRELUを決定するさまざまな方法と異なる方法を検討する。
いくつかのデータセットでの実験により、最大3桁のReLU操作数を削減でき、その結果、通信帯域幅を50%以上削減できることが明らかになった。
関連論文リスト
- Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳(メタデータ) (2022-02-13T10:54:59Z) - Deep ensembles in bioimage segmentation [74.01883650587321]
本研究では,畳み込みニューラルネットワーク(CNN)のアンサンブルを提案する。
アンサンブル法では、多くの異なるモデルが訓練され、分類に使用され、アンサンブルは単一分類器の出力を集約する。
提案するアンサンブルは,DeepLabV3+とHarDNet環境を用いて,異なるバックボーンネットワークを組み合わせることで実現されている。
論文 参考訳(メタデータ) (2021-12-24T05:54:21Z) - An Exact Poly-Time Membership-Queries Algorithm for Extraction a
three-Layer ReLU Network [38.91075212630913]
機械学習が日々の生活でますます普及するにつれて、多くの組織がブラックボックスとしてニューラルネットベースのサービスを提供している。
学習モデルを隠す理由は、例えば、その行動のコピーを阻止したり、相手がそのメカニズムをリバースエンジニアリングするのを防ぐなど、様々である。
本研究では,ReLUアクティベーションを用いた3層ネットワークの動作を正確に模倣するために,多数のクエリを用いたニューラルネットワークアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-05-20T11:24:08Z) - Invertible Residual Network with Regularization for Effective Medical
Image Segmentation [2.76240219662896]
バックプロパゲーションを用いたニューラルネットワークのトレーニングにおいて、アクティベーションメモリフットプリントを大幅に削減するために、可逆ニューラルネットワークが適用されている。
可逆残存ネットワーク(部分可逆残存ネットワーク, Partially-InvRes)と完全可逆残存ネットワーク(Fully-InvRes)の2つのバージョンを提案する。
この結果から,部分可逆ネットワークをボリュームセグメンテーションの中心として用いることにより,メモリオーバヘッドを削減できるだけでなく,非可逆的3d unetと同等なセグメンテーション性能を実現することができた。
論文 参考訳(メタデータ) (2021-03-16T13:19:59Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳(メタデータ) (2020-12-23T09:33:11Z) - Recurrence-free unconstrained handwritten text recognition using gated
fully convolutional network [2.277447144331876]
制約のない手書きテキスト認識は、ほとんどのドキュメント分析タスクの主要なステップです。
LSTM細胞を使用する別の方法の1つは、畳み込み層を多用して長期記憶損失を補うことである。
我々は、よく知られたCNN+LSTMアーキテクチャの再発のない代替であるGated Fully Convolutional Networkアーキテクチャを紹介します。
論文 参考訳(メタデータ) (2020-12-09T10:30:13Z) - Comparisons among different stochastic selection of activation layers
for convolutional neural networks for healthcare [77.99636165307996]
ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。
ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
論文 参考訳(メタデータ) (2020-11-24T01:53:39Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳(メタデータ) (2020-06-21T08:23:03Z) - Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。
我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
論文 参考訳(メタデータ) (2020-04-24T14:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。