論文の概要: Depth-2 Neural Networks Under a Data-Poisoning Attack

• arxiv url: http://arxiv.org/abs/2005.01699v3
• Date: Wed, 29 Jun 2022 17:31:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 00:28:36.093983
• Title: Depth-2 Neural Networks Under a Data-Poisoning Attack
• Title（参考訳）: 奥行き2 データポゾン攻撃によるニューラルネットワーク
• Authors: Sayar Karmakar, Anirbit Mukherjee and Theodore Papamarkou
• Abstract要約: 本研究では,浅層ニューラルネットワークをレグレッション・セットアップでトレーニングしながら,データ中毒攻撃に対する防御の可能性について検討する。 本研究では,深度2有限幅ニューラルネットワークのクラスに対して教師あり学習を行うことに焦点をあてる。
• 参考スコア（独自算出の注目度）: 2.105564340986074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we study the possibility of defending against data-poisoning attacks while training a shallow neural network in a regression setup. We focus on doing supervised learning for a class of depth-2 finite-width neural networks, which includes single-filter convolutional networks. In this class of networks, we attempt to learn the network weights in the presence of a malicious oracle doing stochastic, bounded and additive adversarial distortions on the true output during training. For the non-gradient stochastic algorithm that we construct, we prove worst-case near-optimal trade-offs among the magnitude of the adversarial attack, the weight approximation accuracy, and the confidence achieved by the proposed algorithm. As our algorithm uses mini-batching, we analyze how the mini-batch size affects convergence. We also show how to utilize the scaling of the outer layer weights to counter output-poisoning attacks depending on the probability of attack. Lastly, we give experimental evidence demonstrating how our algorithm outperforms stochastic gradient descent under different input data distributions, including instances of heavy-tailed distributions.
• Abstract（参考訳）: 本研究では,浅層ニューラルネットワークをレグレッション・セットアップでトレーニングしながら,データ消去攻撃に対する防御の可能性を検討する。 本研究では,単一フィルタ畳み込みネットワークを含む深さ2有限幅ニューラルネットワークの教師あり学習を行う。 この種のネットワークでは、トレーニング中の真の出力に対する確率的・有界・加法的逆歪を行う悪意あるオラクルの存在下で、ネットワーク重みを学習しようとする。 構築した非段階確率的アルゴリズムでは, 対向攻撃の大きさ, 重み近似精度, 提案アルゴリズムが達成した信頼度のうち, 最悪の場合, ほぼ最適トレードオフを証明できる。 提案手法では,ミニバッチサイズが収束に与える影響を解析する。 また,攻撃の確率に応じて,外層重みのスケーリングを利用して,出力汚染攻撃に対処する方法も示す。 最後に,重み付き分布を含む異なる入力データ分布下での確率的勾配降下にアルゴリズムが勝ることを示す実験的な証拠を与える。

関連論文リスト

• On Neural Network approximation of ideal adversarial attack and convergence of adversarial training [3.553493344868414]
  逆攻撃は通常、入力データとモデルに対する勾配に基づく操作で表現される。 本研究では,さらに計算を行わずに,敵攻撃を訓練可能な関数として表現するという考え方を固める。
  論文  参考訳（メタデータ） (2023-07-30T01:04:36Z)
• Wasserstein distributional robustness of neural networks [9.79503506460041]
  ディープニューラルネットワークは敵攻撃(AA)に弱いことが知られている 画像認識タスクでは、元の小さな摂動によって画像が誤分類される可能性がある。 本稿では,Wassersteinの分散ロバスト最適化(DRO)技術を用いて問題を再検討し,新しいコントリビューションを得た。
  論文  参考訳（メタデータ） (2023-06-16T13:41:24Z)
• On the Robustness of Bayesian Neural Networks to Adversarial Attacks [11.277163381331137]
  敵対的攻撃に対する脆弱性は、安全クリティカルなアプリケーションでディープラーニングを採用する上で、大きなハードルのひとつです。 データ分布の縮退の結果、勾配に基づく攻撃に対する脆弱性が生じることを示す。 BNN後部分布に対する損失の予測勾配は、後部からサンプリングされた各ニューラルネットワークが勾配に基づく攻撃に対して脆弱である場合でも消滅していることを示す。
  論文  参考訳（メタデータ） (2022-07-13T12:27:38Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
  我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。 我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。 得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
  論文  参考訳（メタデータ） (2022-01-23T21:18:17Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
  インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。 敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。 実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
  論文  参考訳（メタデータ） (2021-05-18T17:48:15Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• Targeted Attack against Deep Neural Networks via Flipping Limited Weight Bits [55.740716446995805]
  我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。 私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。 整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
  論文  参考訳（メタデータ） (2021-02-21T03:13:27Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。