論文の概要: Dropout against Deep Leakage from Gradients

• arxiv url: http://arxiv.org/abs/2108.11106v1
• Date: Wed, 25 Aug 2021 08:06:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-26 17:10:30.930423
• Title: Dropout against Deep Leakage from Gradients
• Title（参考訳）: 勾配からの深い漏れに対するドロップアウト
• Authors: Yanchong Zheng
• Abstract要約: 本稿では,分類器にデータを送る前に,追加のドロップアウト層を用いることを提案する。 トレーニングデータは,5,800エポック後においても小さいRMSEに収束せず,ドロップアウト率が0.5に設定されているため,生データの漏洩を防止するのは非常に効果的である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the scale and size of the data increases significantly nowadays, federal learning (Bonawitz et al. [2019]) for high performance computing and machine learning has been much more important than ever beforeAbadi et al. [2016]. People used to believe that sharing gradients seems to be safe to conceal the local training data during the training stage. However, Zhu et al. [2019] demonstrated that it was possible to recover raw data from the model training data by detecting gradients. They use generated random dummy data and minimise the distance between them and real data. Zhao et al. [2020] pushes the convergence algorithm even further. By replacing the original loss function with cross entropy loss, they achieve better fidelity threshold. In this paper, we propose using an additional dropout (Srivastava et al. [2014]) layer before feeding the data to the classifier. It is very effective in preventing leakage of raw data, as the training data cannot converge to a small RMSE even after 5,800 epochs with dropout rate set to 0.5.
• Abstract（参考訳）: データの規模とサイズが増大するにつれて、連邦学習(Bonawitz et al.)が増加している。 ハイパフォーマンスコンピューティングと機械学習のための[2019]は、これまで以上にずっと重要だった。 [2016]. 勾配を共有することは、トレーニングステージ中にローカルトレーニングデータを隠蔽することが安全である、と以前は信じていた。 しかし、zhuとal。 [2019] は勾配検出によりモデルトレーニングデータから生データを復元できることを実証した。 生成したランダムダミーデータを使用し、実際のデータとの距離を最小化する。 Zhaoら。 [2020]は収束アルゴリズムをさらに推し進める。 元の損失関数をクロスエントロピー損失に置き換えることで、より忠実な閾値が得られる。 本稿では,追加のドロップアウト(srivastava et al)を提案する。 [2014]) データを分類器に渡す前に層。 5,800エポックを0.5に設定しても、トレーニングデータは小さなrmseに収束することができないため、生データの漏洩を防止するのに非常に効果的である。

関連論文リスト

• Learning from Convolution-based Unlearnable Datastes [5.332412565926725]
  ConlearnベースのUnlearnable DAtaset(CUDA)メソッドは、データセット内のすべてのイメージにクラスワイドなぼかしを適用することによって、データを学習不能にすることを目的としている。 本研究は,画像のシャープ化と周波数フィルタリングにより,データが未学習のままであるか否かを評価する。 学習不能なデータを用いて学習したモデルに対して,逆行訓練によるテスト精度の大幅な向上を観察する。
  論文  参考訳（メタデータ） (2024-11-04T01:51:50Z)
• R-CONV: An Analytical Approach for Efficient Data Reconstruction via Convolutional Gradients [40.209183669098735]
  本稿では,畳み込み層の勾配を効率的に利用するための高度なデータ漏洩手法を提案する。 我々の知る限りでは、これは勾配から直接畳み込み層の入力を再構築する最初の分析手法である。
  論文  参考訳（メタデータ） (2024-06-06T16:28:04Z)
• KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
  深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。 我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。 本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
  論文  参考訳（メタデータ） (2023-10-16T06:19:29Z)
• Dropout Reduces Underfitting [85.61466286688385]
  本研究は,トレーニング開始時の不適合を軽減できることを示す。 ドロップアウトは、ミニバッチ間の勾配の方向性のばらつきを低減し、データセット全体の勾配とミニバッチ勾配の整合を支援する。 この結果から,未適合モデルの性能向上のためのソリューションが得られた – 早期のドロップアウト – トレーニングの初期段階でのみドロップアウトが適用され,その後,オフになります。
  論文  参考訳（メタデータ） (2023-03-02T18:59:15Z)
• Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay [52.251188477192336]
  FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。 データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。 本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:30:51Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• When the Curious Abandon Honesty: Federated Learning Is Not Private [36.95590214441999]
  フェデレーション・ラーニング(FL)では、データは機械学習モデルを共同で訓練しているときに個人デバイスを離れない。 我々は、アクティブで不正直な中央組織が受信した勾配からユーザデータを効率的に抽出できる新しいデータ再構成攻撃を示す。
  論文  参考訳（メタデータ） (2021-12-06T10:37:03Z)
• CAFE: Catastrophic Data Leakage in Vertical Federated Learning [65.56360219908142]
  近年の研究では、分散機械学習システムにデプロイされた勾配共有機構を通じて、プライベートトレーニングデータがリークされることが示されている。 本稿では,共有集約勾配からバッチデータを効率よく回収する理論的正当性を持つ高度なデータ漏洩攻撃を提案する。
  論文  参考訳（メタデータ） (2021-10-26T23:22:58Z)
• Reminding the Incremental Language Model via Data-Free Self-Distillation [26.960750314663294]
  擬似データによる増分学習は、ニューラルネットワークにおける破滅的な忘れを軽減できる。 データフリー自己蒸留(DFSD)を用いたインクリメンタル言語モデルを提案する。 我々のDFSDは、擬似データの最大減少率が90%であっても、従来の最先端手法を超えることができる。
  論文  参考訳（メタデータ） (2021-10-17T07:27:43Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Continual Learning for Fake Audio Detection [62.54860236190694]
  本論文では,連続学習に基づく手法である忘れずに偽物を検出することで,モデルに新たなスプーフィング攻撃をインクリメンタルに学習させる手法を提案する。 ASVspoof 2019データセットで実験が行われる。
  論文  参考訳（メタデータ） (2021-04-15T07:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。