論文の概要: DeepShare: Sharing ReLU Across Channels and Layers for Efficient Private Inference

• arxiv url: http://arxiv.org/abs/2512.17398v1
• Date: Fri, 19 Dec 2025 09:50:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.335166
• Title: DeepShare: Sharing ReLU Across Channels and Layers for Efficient Private Inference
• Title（参考訳）: DeepShare: 効率的なプライベート推論のためのチャネルとレイヤ間のReLU共有
• Authors: Yonathan Bornfeld, Shai Avidan,
• Abstract要約: プライベート推論(PI)は、暗号化プリミティブを使用して、プライバシ保護機械学習を実行する。 PIの主な計算ボトルネックはゲートの計算(すなわちReLU)である。 本稿では,DRELU操作がチャネルのサブセットでのみ実行される新しいアクティベーションモジュールを提案する。 この定式化により,resnet型ネットワークにおけるDReLU演算数を劇的に削減できることを示す。
• 参考スコア（独自算出の注目度）: 16.43629306994231
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Private Inference (PI) uses cryptographic primitives to perform privacy preserving machine learning. In this setting, the owner of the network runs inference on the data of the client without learning anything about the data and without revealing any information about the model. It has been observed that a major computational bottleneck of PI is the calculation of the gate (i.e., ReLU), so a considerable amount of effort have been devoted to reducing the number of ReLUs in a given network. We focus on the DReLU, which is the non-linear step function of the ReLU and show that one DReLU can serve many ReLU operations. We suggest a new activation module where the DReLU operation is only performed on a subset of the channels (Prototype channels), while the rest of the channels (replicate channels) replicates the DReLU of each of their neurons from the corresponding neurons in one of the prototype channels. We then extend this idea to work across different layers. We show that this formulation can drastically reduce the number of DReLU operations in resnet type network. Furthermore, our theoretical analysis shows that this new formulation can solve an extended version of the XOR problem, using just one non-linearity and two neurons, something that traditional formulations and some PI specific methods cannot achieve. We achieve new SOTA results on several classification setups, and achieve SOTA results on image segmentation.
• Abstract（参考訳）: プライベート推論(PI)は、暗号化プリミティブを使用して、プライバシ保護機械学習を実行する。 この設定では、ネットワークの所有者は、データについて何も学ばず、モデルに関する情報も明らかにせずに、クライアントのデータ上で推論を実行する。 PIの計算ボトルネックはゲート(すなわちReLU)の計算であり、あるネットワークにおけるReLUの削減に相当な労力が費やされている。 本稿では,ReLUの非線形ステップ関数であるDReLUに着目し,DReLUが多数のReLU操作に有効であることを示す。 本稿では、DRELU操作をチャネルのサブセット(Prototype channel)でのみ実行し、残りのチャネル(replicate channel)は、それぞれのニューロンのDRELUを、プロトタイプチャネルの1つのニューロンから複製する新しいアクティベーションモジュールを提案する。 そして、このアイデアをさまざまなレイヤにまたがって機能するように拡張します。 この定式化により,resnet型ネットワークにおけるDReLU演算数を劇的に削減できることを示す。 さらに,この新定式化は,従来の定式化といくつかのPI特定手法では達成できない,1つの非線形性と2つのニューロンのみを用いて,XOR問題の拡張版を解くことができることを示す。 いくつかの分類設定で新たなSOTA結果を得るとともに,画像分割におけるSOTA結果を得る。

関連論文リスト

• PReLU: Yet Another Single-Layer Solution to the XOR Problem [0.0]
  本稿では,Parametric Rectified Linear Unit (PReLU) を用いた単一層ニューラルネットワークが,XOR問題を解くことができることを示す。 以上の結果から, 単層PRELUネットワークは, より広範な学習率で100%の成功率を達成することができることがわかった。
  論文  参考訳（メタデータ） (2024-09-17T01:28:40Z)
• ReLUs Are Sufficient for Learning Implicit Neural Representations [17.786058035763254]
  暗黙的神経表現学習におけるReLUアクティベーション関数の使用について再考する。 2次B-スプラインウェーブレットにインスパイアされ、ディープニューラルネットワーク(DNN)の各層にReLUニューロンに一連の簡単な制約を組み込む。 我々は、一般的な信念とは対照的に、ReLUニューロンのみからなるDNNに基づいて最先端のINRを学習できることを実証した。
  論文  参考訳（メタデータ） (2024-06-04T17:51:08Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Reducing ReLU Count for Privacy-Preserving CNN Speedup [25.86435513157795]
  プライバシ保存機械学習アルゴリズムは、分類精度とデータのプライバシのバランスをとる必要がある。 CNNは通常、畳み込み層または線形層と、ReLUのような非線形関数からなる。 最近の研究は、ReLUが通信帯域の大部分を担っていることを示唆している。 具体的には、あるアクティベーションのReLU決定を他の人が利用できるようにし、そのようなアクティベーションのグループに対してReLUを決定する様々な方法を模索する。
  論文  参考訳（メタデータ） (2021-01-28T06:49:31Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。