論文の概要: Regularized PolyKervNets: Optimizing Expressiveness and Efficiency for
Private Inference in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2312.15229v1
- Date: Sat, 23 Dec 2023 11:37:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 18:58:56.371160
- Title: Regularized PolyKervNets: Optimizing Expressiveness and Efficiency for
Private Inference in Deep Neural Networks
- Title（参考訳）: 正規化されたPolyKervNet:ディープニューラルネットワークにおけるプライベート推論の表現性と効率の最適化
- Authors: Toluwani Aremu
- Abstract要約: より小さなネットワークで動的近似を改善する技術としてよく知られているPolyKervNetsに注目する。
我々の主な目的は、大規模ネットワークにおけるPolyKervNetの性能を高めるために、最適化に基づくトレーニングレシピを実証的に探索することである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Private computation of nonlinear functions, such as Rectified Linear Units
(ReLUs) and max-pooling operations, in deep neural networks (DNNs) poses
significant challenges in terms of storage, bandwidth, and time consumption. To
address these challenges, there has been a growing interest in utilizing
privacy-preserving techniques that leverage polynomial activation functions and
kernelized convolutions as alternatives to traditional ReLUs. However, these
alternative approaches often suffer from a trade-off between achieving faster
private inference (PI) and sacrificing model accuracy. In particular, when
applied to much deeper networks, these methods encounter training
instabilities, leading to issues like exploding gradients (resulting in NaNs)
or suboptimal approximations. In this study, we focus on PolyKervNets, a
technique known for offering improved dynamic approximations in smaller
networks but still facing instabilities in larger and more complex networks.
Our primary objective is to empirically explore optimization-based training
recipes to enhance the performance of PolyKervNets in larger networks. By doing
so, we aim to potentially eliminate the need for traditional nonlinear
activation functions, thereby advancing the state-of-the-art in
privacy-preserving deep neural network architectures. Code can be found on
GitHub at: \url{https://github.com/tolusophy/PolyKervNets/}
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)におけるRectified Linear Units(ReLU)やmax-pooling操作などの非線形関数のプライベートな計算は、ストレージ、帯域幅、時間消費の点で大きな課題を生じさせる。
これらの課題に対処するため、従来のReLUの代替として多項式活性化関数やカーネル化された畳み込みを利用するプライバシー保護技術の利用への関心が高まっている。
しかしながら、これらの代替アプローチは、より高速なプライベート推論(PI)を達成することと、モデルの精度を犠牲にすることの間のトレードオフに悩まされることが多い。
特に、より深いネットワークに適用すると、これらの手法はトレーニングの不安定性に遭遇し、勾配の爆発(nans)や準最適近似といった問題を引き起こす。
本研究では,より小さなネットワークでは動的近似が改善されるが,大規模で複雑なネットワークでは不安定に直面する技術であるpolykervnetsに着目した。
我々の主な目的は、大規模ネットワークにおけるPolyKervNetの性能を高めるために、最適化に基づくトレーニングレシピを実証的に探索することである。
これにより、従来の非線形アクティベーション機能の必要性を排除し、プライバシーを保護したディープニューラルネットワークアーキテクチャの最先端を前進させることを目指している。
コードはgithubにある。 \url{https://github.com/tolusophy/polykervnets/}
関連論文リスト
- RandONet: Shallow-Networks with Random Projections for learning linear and nonlinear operators [0.0]
ランダムプロジェクションに基づく演算子ネットワーク(RandONets)を提案する。
ランダムネット(RandONets)は、線形および非線形作用素を学習するランダムプロジェクションを持つ浅いネットワークである。
このタスクにおいて、RandONetsは数値近似の精度と計算コストの両面で、バニラ"DeepOnetsよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-06-08T13:20:48Z) - Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳（メタデータ） (2023-09-26T17:42:52Z) - Regularization of polynomial networks for image recognition [78.4786845859205]
PN(Polynomial Networks)は、将来性があり、解釈可能性も向上した代替手法として登場した。
6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。
論文 参考訳（メタデータ） (2023-03-24T10:05:22Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。
この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
論文 参考訳（メタデータ） (2022-12-25T15:40:05Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Edge Rewiring Goes Neural: Boosting Network Resilience via Policy
Gradient [62.660451283548724]
ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。
ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
論文 参考訳（メタデータ） (2021-10-18T06:14:28Z) - Wide Network Learning with Differential Privacy [7.453881927237143]
現在のニューラルネットの世代は、最も実質的に関連するプライバシトレーニング体制下で大きな損失を被っている。
プライベートな経験最小化(ERM)の勾配を生かしたこれらのモデルを訓練するための一般的なアプローチを開発する。
同じパラメータの数に従って、ニューラルネットワークをプライベートにトレーニングするための新しいアルゴリズムを提案します。
論文 参考訳（メタデータ） (2021-03-01T20:31:50Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z) - Streaming Probabilistic Deep Tensor Factorization [27.58928876734886]
本稿では,ストリーム確率型Deep tEnsoR分解法であるSPIDERを提案する。
仮定密度フィルタおよび予測伝搬フレームワークにおける効率的な後部推論アルゴリズムを開発した。
実世界の4つのアプリケーションにアプローチの利点を示す。
論文 参考訳（メタデータ） (2020-07-14T21:25:39Z) - Lossless Compression of Deep Neural Networks [17.753357839478575]
ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。
モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。
生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-01-01T15:04:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。