論文の概要: Reducing ReLU Count for Privacy-Preserving CNN Speedup

• arxiv url: http://arxiv.org/abs/2101.11835v1
• Date: Thu, 28 Jan 2021 06:49:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-01-31 18:03:42.093877
• Title: Reducing ReLU Count for Privacy-Preserving CNN Speedup
• Title（参考訳）: プライバシー保護CNNのスピードアップのためのReLUカウントの削減
• Authors: Inbar Helbitz, Shai Avidan
• Abstract要約: プライバシ保存機械学習アルゴリズムは、分類精度とデータのプライバシのバランスをとる必要がある。 CNNは通常、畳み込み層または線形層と、ReLUのような非線形関数からなる。 最近の研究は、ReLUが通信帯域の大部分を担っていることを示唆している。 具体的には、あるアクティベーションのReLU決定を他の人が利用できるようにし、そのようなアクティベーションのグループに対してReLUを決定する様々な方法を模索する。
• 参考スコア（独自算出の注目度）: 25.86435513157795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Privacy-Preserving Machine Learning algorithms must balance classification accuracy with data privacy. This can be done using a combination of cryptographic and machine learning tools such as Convolutional Neural Networks (CNN). CNNs typically consist of two types of operations: a convolutional or linear layer, followed by a non-linear function such as ReLU. Each of these types can be implemented efficiently using a different cryptographic tool. But these tools require different representations and switching between them is time-consuming and expensive. Recent research suggests that ReLU is responsible for most of the communication bandwidth. ReLU is usually applied at each pixel (or activation) location, which is quite expensive. We propose to share ReLU operations. Specifically, the ReLU decision of one activation can be used by others, and we explore different ways to group activations and different ways to determine the ReLU for such a group of activations. Experiments on several datasets reveal that we can cut the number of ReLU operations by up to three orders of magnitude and, as a result, cut the communication bandwidth by more than 50%.
• Abstract（参考訳）: プライバシー保護機械学習アルゴリズムは、分類精度とデータプライバシーのバランスをとらなければならない。 これは、Convolutional Neural Networks(CNN)などの暗号および機械学習ツールの組み合わせを使用して行うことができます。 CNNは通常、畳み込み層または線形層と、ReLUのような非線形関数の2種類からなる。 これらのタイプは、異なる暗号ツールを使用して効率的に実装できます。 しかし、これらのツールは異なる表現を必要とし、それらの切り替えには時間と費用がかかります。 最近の研究は、ReLUが通信帯域の大部分を担っていることを示唆している。 ReLUは通常、各ピクセル(またはアクティベーション)の場所で適用されます。 ReLU運用の共有を提案いたします。 具体的には、あるアクティベーションのRELU決定を他のアクティベーションによって使用することができ、そのようなアクティベーションのグループのためのRELUを決定するさまざまな方法と異なる方法を検討する。 いくつかのデータセットでの実験により、最大3桁のReLU操作数を削減でき、その結果、通信帯域幅を50%以上削減できることが明らかになった。

関連論文リスト

• SwishReLU: A Unified Approach to Activation Functions for Enhanced Deep Neural Networks Performance [1.2724528787590168]
  ディープニューラルネットワークでよく使われるアクティベーション関数であるReLUは、"Dying ReLU"の問題に傾向がある。 ELU、SeLU、Swishなどいくつかの改良版が導入されており、一般的には使われていないと考えられている。 本稿では,ReLUとSwishの要素を組み合わせた新しいアクティベーション機能であるSwishReLUを提案する。
  論文  参考訳（メタデータ） (2024-07-11T07:14:34Z)
• ReLUs Are Sufficient for Learning Implicit Neural Representations [17.786058035763254]
  暗黙的神経表現学習におけるReLUアクティベーション関数の使用について再考する。 2次B-スプラインウェーブレットにインスパイアされ、ディープニューラルネットワーク(DNN)の各層にReLUニューロンに一連の簡単な制約を組み込む。 我々は、一般的な信念とは対照的に、ReLUニューロンのみからなるDNNに基づいて最先端のINRを学習できることを実証した。
  論文  参考訳（メタデータ） (2024-06-04T17:51:08Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Deep ensembles in bioimage segmentation [74.01883650587321]
  本研究では,畳み込みニューラルネットワーク(CNN)のアンサンブルを提案する。 アンサンブル法では、多くの異なるモデルが訓練され、分類に使用され、アンサンブルは単一分類器の出力を集約する。 提案するアンサンブルは,DeepLabV3+とHarDNet環境を用いて,異なるバックボーンネットワークを組み合わせることで実現されている。
  論文  参考訳（メタデータ） (2021-12-24T05:54:21Z)
• An Exact Poly-Time Membership-Queries Algorithm for Extraction a three-Layer ReLU Network [38.91075212630913]
  機械学習が日々の生活でますます普及するにつれて、多くの組織がブラックボックスとしてニューラルネットベースのサービスを提供している。 学習モデルを隠す理由は、例えば、その行動のコピーを阻止したり、相手がそのメカニズムをリバースエンジニアリングするのを防ぐなど、様々である。 本研究では,ReLUアクティベーションを用いた3層ネットワークの動作を正確に模倣するために,多数のクエリを用いたニューラルネットワークアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-20T11:24:08Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。