論文の概要: May the Noise be with you: Adversarial Training without Adversarial Examples

• arxiv url: http://arxiv.org/abs/2312.08877v1
• Date: Tue, 12 Dec 2023 08:22:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 22:23:39.946666
• Title: May the Noise be with you: Adversarial Training without Adversarial Examples
• Title（参考訳）: 騒音はあなたにあるかもしれない:敵の例のない敵の訓練
• Authors: Ayoub Arous, Andres F Lopez-Lopera, Nael Abu-Ghazaleh, Ihsen Alouani
• Abstract要約: 我々は、敵の訓練を受けずに敵の訓練を受けたモデルを得ることができるかという疑問を調査する。 提案手法は,訓練時にNNモデルの層にガウス雑音を埋め込むことによって固有性を取り入れる。 我々の研究は、全く異なるアプローチで敵の訓練を受けたネットワークに貢献し、敵の訓練と経験的に類似した堅牢性を持つ。
• 参考スコア（独自算出の注目度）: 3.4673556247932225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the following question: Can we obtain adversarially-trained models without training on adversarial examples? Our intuition is that training a model with inherent stochasticity, i.e., optimizing the parameters by minimizing a stochastic loss function, yields a robust expectation function that is non-stochastic. In contrast to related methods that introduce noise at the input level, our proposed approach incorporates inherent stochasticity by embedding Gaussian noise within the layers of the NN model at training time. We model the propagation of noise through the layers, introducing a closed-form stochastic loss function that encapsulates a noise variance parameter. Additionally, we contribute a formalized noise-aware gradient, enabling the optimization of model parameters while accounting for stochasticity. Our experimental results confirm that the expectation model of a stochastic architecture trained on benign distribution is adversarially robust. Interestingly, we find that the impact of the applied Gaussian noise's standard deviation on both robustness and baseline accuracy closely mirrors the impact of the noise magnitude employed in adversarial training. Our work contributes adversarially trained networks using a completely different approach, with empirically similar robustness to adversarial training.
• Abstract（参考訳）: 本稿では, 実例を学習することなく, 敵対的学習モデルを得ることができるか, という疑問について検討する。 我々の直感は、固有確率性を持つモデル、すなわち、確率損失関数を最小化することでパラメータを最適化し、非確率的な頑健な期待関数を生成することである。 入力レベルでノイズを導入する関連手法とは対照的に,本提案手法は訓練時にNNモデルの層にガウス雑音を埋め込むことにより,固有確率性を取り入れる。 ノイズ分散パラメータをカプセル化した閉形式確率損失関数を導入し, 層内雑音の伝搬をモデル化する。 さらに,確率性を考慮したモデルパラメータの最適化を実現するために,定式化雑音認識勾配を寄与する。 実験結果から,良性分布をトレーニングした確率的アーキテクチャの予測モデルが逆向きに堅牢であることが確認された。 興味深いことに,適用されたガウス雑音の標準偏差が強靭性およびベースライン精度に与える影響は,対向訓練における雑音の大きさの影響をよく反映している。 我々の研究は、全く異なるアプローチで敵の訓練を受けたネットワークに貢献する。

関連論文リスト

• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Robust Estimation of Causal Heteroscedastic Noise Models [7.568978862189266]
  学生の$t$-distributionは、より小さなサンプルサイズと極端な値で、全体の分布形態を著しく変えることなく、サンプル変数をサンプリングすることの堅牢さで知られている。 我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。
  論文  参考訳（メタデータ） (2023-12-15T02:26:35Z)
• Stable Unlearnable Example: Enhancing the Robustness of Unlearnable Examples via Stable Error-Minimizing Noise [31.586389548657205]
  データにある種の知覚不能ノイズを加えることにより、モデルの一般化性能を著しく低下させる非学習不可能な例を提案する。 本稿では,時間を要する対向的摂動ではなく,ランダムな摂動に対する防御音を訓練する安定型誤り最小化ノイズ(SEM)を導入する。 SEMは、CIFAR-10、CIFAR-100、ImageNet Subset上で、最先端の新たなパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-22T01:43:57Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
  我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。 実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-18T03:57:12Z)
• Self-Adapting Noise-Contrastive Estimation for Energy-Based Models [0.0]
  ノイズコントラスト推定(NCE)を用いたトレーニングエネルギーベースモデルは理論的には実現可能であるが、実際は困難である。 従来の研究は、別個の生成モデルとしてノイズ分布をモデル化し、EBMでこのノイズモデルを同時に訓練してきた。 本論文では,EMMの静的なインスタンスを学習軌道に沿って雑音分布として利用する自己適応型NCEアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-03T15:17:43Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Stochastic Perturbations of Tabular Features for Non-Deterministic Inference with Automunge [0.0]
  ガウス雑音を訓練特徴に注入することは正規化特性を持つことが知られている。 本稿では, 数値的, カテゴリー的な表型特徴に対する雑音注入について, 推論に渡されるものとして考察する。
  論文  参考訳（メタデータ） (2022-02-18T15:24:03Z)
• Towards Robust Waveform-Based Acoustic Models [41.82019240477273]
  本研究では,実験条件とトレーニング条件のミスマッチを特徴とする,ロバストな音響モデル学習手法を提案する。 本手法は,入力空間上の経験的密度を定義するデルタ関数を,トレーニングサンプル近傍の限界人口密度の近似で置き換えることにより,トレーニング中のリスク推定を改善することを目的としている。
  論文  参考訳（メタデータ） (2021-10-16T18:21:34Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。