論文の概要: Privacy-preserving Learning via Deep Net Pruning

• arxiv url: http://arxiv.org/abs/2003.01876v1
• Date: Wed, 4 Mar 2020 03:42:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 12:40:37.411715
• Title: Privacy-preserving Learning via Deep Net Pruning
• Title（参考訳）: ディープネットプルーニングによるプライバシー保護学習
• Authors: Yangsibo Huang, Yushan Su, Sachin Ravi, Zhao Song, Sanjeev Arora, Kai Li
• Abstract要約: この論文は、ニューラルネットワークの特定の層をプルーニングすることは、その隠された層活性化に一定の量の微分プライベートノイズを加えることと等価であることを証明している。 その結果、ニューラルネットワークのプルーニングは、ニューラルネットワークに微分プライベートノイズを加えるよりも、より効果的な方法であることが示された。
• 参考スコア（独自算出の注目度）: 41.80633825456656
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper attempts to answer the question whether neural network pruning can be used as a tool to achieve differential privacy without losing much data utility. As a first step towards understanding the relationship between neural network pruning and differential privacy, this paper proves that pruning a given layer of the neural network is equivalent to adding a certain amount of differentially private noise to its hidden-layer activations. The paper also presents experimental results to show the practical implications of the theoretical finding and the key parameter values in a simple practical setting. These results show that neural network pruning can be a more effective alternative to adding differentially private noise for neural networks.
• Abstract（参考訳）: 本稿では,データユーティリティを損なうことなく,ディファレンシャルプライバシを実現するツールとしてニューラルネットワークプルーニングが使用できるか,という疑問に答える。 ニューラルネットワークのプルーニングとディファレンシャルプライバシの関係を理解するための第一歩として,ニューラルネットワークの特定の層をプルーニングすることは,その隠蔽層アクティベーションにある程度のディファレンシャルプライベートノイズを加えることと等価であることを示す。 また,本論文は,理論的発見と鍵パラメータ値の実用的意義を,簡単な実践的設定で示すための実験結果も提示する。 これらの結果は、ニューラルネットワークのプルーニングが、ニューラルネットワークに微分的プライベートノイズを追加するより効果的な選択肢であることを示している。

関連論文リスト

• Neural Network Pruning by Gradient Descent [7.427858344638741]
  我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。 ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。 我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
  論文  参考訳（メタデータ） (2023-11-21T11:12:03Z)
• Using Cooperative Game Theory to Prune Neural Networks [7.3959659158152355]
  本稿では,協調ゲーム理論の解の概念を用いて,ニューラルネットワークの刈り取り問題に対処する方法について述べる。 本稿では,GTAP(Game Theory Assisted Pruning)と呼ばれる,予測精度を維持しつつ,ニューラルネットワークのサイズを小さくする手法を提案する。
  論文  参考訳（メタデータ） (2023-11-17T11:48:10Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• NeuralDP Differentially private neural networks by design [61.675604648670095]
  ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。 本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-30T12:40:19Z)
• Consistent feature selection for neural networks via Adaptive Group Lasso [3.42658286826597]
  ニューラルネットワークの重要な特徴を選択するための適応型グループの使用に関する理論的保証を提案し,確立する。 具体的には,1つの隠蔽層と双曲的タンジェント活性化関数を持つ単一出力フィードフォワードニューラルネットワークに対して,特徴選択法が整合であることを示す。
  論文  参考訳（メタデータ） (2020-05-30T18:50:56Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• Approximation smooth and sparse functions by deep neural networks without saturation [0.6396288020763143]
  本稿では,スムーズかつスパースな関数を近似するために,3つの層を隠蔽したディープニューラルネットワークを構築することを目的とする。 構成したディープネットは, 滑らかかつスパースな関数を制御可能な自由パラメータで近似することで, 最適近似率に達することを証明した。
  論文  参考訳（メタデータ） (2020-01-13T09:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。