論文の概要: Wide Network Learning with Differential Privacy
- arxiv url: http://arxiv.org/abs/2103.01294v1
- Date: Mon, 1 Mar 2021 20:31:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-04 02:48:42.043701
- Title: Wide Network Learning with Differential Privacy
- Title(参考訳): 差分プライバシーを用いた広域ネットワーク学習
- Authors: Huanyu Zhang, Ilya Mironov, Meisam Hejazinia
- Abstract要約: 現在のニューラルネットの世代は、最も実質的に関連するプライバシトレーニング体制下で大きな損失を被っている。
プライベートな経験最小化(ERM)の勾配を生かしたこれらのモデルを訓練するための一般的なアプローチを開発する。
同じパラメータの数に従って、ニューラルネットワークをプライベートにトレーニングするための新しいアルゴリズムを提案します。
- 参考スコア(独自算出の注目度): 7.453881927237143
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite intense interest and considerable effort, the current generation of
neural networks suffers a significant loss of accuracy under most practically
relevant privacy training regimes. One particularly challenging class of neural
networks are the wide ones, such as those deployed for NLP typeahead prediction
or recommender systems.
Observing that these models share something in common--an embedding layer
that reduces the dimensionality of the input--we focus on developing a general
approach towards training these models that takes advantage of the sparsity of
the gradients.
More abstractly, we address the problem of differentially private Empirical
Risk Minimization (ERM) for models that admit sparse gradients.
We demonstrate that for non-convex ERM problems, the loss is logarithmically
dependent on the number of parameters, in contrast with polynomial dependence
for the general case. Following the same intuition, we propose a novel
algorithm for privately training neural networks. Finally, we provide an
empirical study of a DP wide neural network on a real-world dataset, which has
been rarely explored in the previous work.
- Abstract(参考訳): 強い関心とかなりの努力にもかかわらず、現在の世代のニューラルネットワークは、最も実用的なプライバシートレーニング体制の下で、かなりの精度の損失を被っている。
ニューラルネットワークの特に困難なクラスの1つは、NLPタイプの予測やレコメンダーシステム用にデプロイされるような広いものである。
これらのモデルが共有していることを観察する - 入力の次元を減少させる埋め込み層 -- グラデーションのスパース性を利用したモデルトレーニングのための一般的なアプローチの開発に焦点を合わせます。
より抽象的に言えば、スパース勾配を持つモデルに対する微分プライベートな経験的リスク最小化(ERM)の問題に対処する。
非凸ERM問題の場合、損失はパラメータの数に対数的に依存し、一般のケースに対する多項式依存とは対照的に有意である。
同じ直感に続き、ニューラルネットワークをプライベートに訓練するための新しいアルゴリズムを提案する。
最後に、実世界のデータセット上のDPワイドニューラルネットワークの実証的研究を提供するが、これは以前の研究ではめったに検討されていない。
関連論文リスト
- Peer-to-Peer Learning Dynamics of Wide Neural Networks [10.179711440042123]
我々は,一般的なDGDアルゴリズムを用いて学習した広範ニューラルネットワークの学習力学を,明示的で非漸近的に特徴づける。
我々は,誤りや誤りを正確に予測し,分析結果を検証した。
論文 参考訳(メタデータ) (2024-09-23T17:57:58Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳(メタデータ) (2023-01-01T02:11:39Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Precision Machine Learning [5.15188009671301]
様々な関数近似法を比較し,パラメータやデータの増加とともにスケールする方法について検討する。
ニューラルネットワークは、しばしば高次元の例において古典的近似法より優れていることが判明した。
我々は,ニューラルネットワークを極端に低損失に訓練する訓練手法を開発した。
論文 参考訳(メタデータ) (2022-10-24T17:58:30Z) - On-Device Domain Generalization [93.79736882489982]
ドメインの一般化はデバイス上の機械学習アプリケーションにとって重要である。
知識蒸留がこの問題の解決の有力な候補であることがわかった。
本研究では,教師が配布外データをどのように扱えるかを学生に教えることを目的とした,配布外知識蒸留(OKD)という簡単なアイデアを提案する。
論文 参考訳(メタデータ) (2022-09-15T17:59:31Z) - Training Integrable Parameterizations of Deep Neural Networks in the
Infinite-Width Limit [0.0]
大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。
2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。
この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
論文 参考訳(メタデータ) (2021-10-29T07:53:35Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Tensor Networks for Multi-Modal Non-Euclidean Data [24.50116388903113]
本稿では,グラフ,テンソル,ニューラルネットワークの望ましい特性を物理的に有意義でコンパクトな方法で活用する,新しいマルチグラフネットワーク(mgtn)フレームワークを提案する。
これによりMGTNは不規則なデータソースのローカル情報をパラメータの複雑さを大幅に減らすことができる。
MGTNフレームワークの利点、特にテンソルネットワークの固有の低ランク正規化特性による過度な適合を回避する能力が示されている。
論文 参考訳(メタデータ) (2021-03-27T21:33:46Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳(メタデータ) (2020-12-03T10:17:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。