論文の概要: Adversarial Parameter Defense by Multi-Step Risk Minimization
- arxiv url: http://arxiv.org/abs/2109.02889v1
- Date: Tue, 7 Sep 2021 06:13:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-08 14:32:35.404656
- Title: Adversarial Parameter Defense by Multi-Step Risk Minimization
- Title（参考訳）: 多段階リスク最小化による逆パラメータ防御
- Authors: Zhiyuan Zhang, Ruixuan Luo, Xuancheng Ren, Qi Su, Liangyou Li, Xu Sun
- Abstract要約: パラメータ汚職の概念を導入し,多段階逆汚職アルゴリズムを提案する。
提案アルゴリズムは,ニューラルネットワークのパラメータの堅牢性と精度を両立させることができることを示す。
- 参考スコア（独自算出の注目度）: 22.25435138723355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Previous studies demonstrate DNNs' vulnerability to adversarial examples and
adversarial training can establish a defense to adversarial examples. In
addition, recent studies show that deep neural networks also exhibit
vulnerability to parameter corruptions. The vulnerability of model parameters
is of crucial value to the study of model robustness and generalization. In
this work, we introduce the concept of parameter corruption and propose to
leverage the loss change indicators for measuring the flatness of the loss
basin and the parameter robustness of neural network parameters. On such basis,
we analyze parameter corruptions and propose the multi-step adversarial
corruption algorithm. To enhance neural networks, we propose the adversarial
parameter defense algorithm that minimizes the average risk of multiple
adversarial parameter corruptions. Experimental results show that the proposed
algorithm can improve both the parameter robustness and accuracy of neural
networks.
- Abstract（参考訳）: 以前の研究では、dnnsの敵の例に対する脆弱性が示されており、敵の訓練は敵の例に対する防御を確立することができる。
さらに、最近の研究では、ディープニューラルネットワークはパラメータ破壊の脆弱性も示している。
モデルパラメータの脆弱性は、モデル堅牢性と一般化の研究にとって重要な価値である。
本研究では,パラメータ劣化の概念を導入し,損失流域の平坦度とニューラルネットワークパラメータのパラメータロバスト性を測定するために,損失変化指標を活用することを提案する。
そこで本研究では,パラメータの破損を分析し,多段階逆汚職アルゴリズムを提案する。
ニューラルネットワークを強化するために,複数のパラメータ破壊のリスクを最小化する,逆パラメータ防御アルゴリズムを提案する。
実験の結果,提案手法はニューラルネットワークのパラメータロバスト性と精度を両立できることがわかった。
関連論文リスト
- Over-parameterization and Adversarial Robustness in Neural Networks: An Overview and Empirical Analysis [25.993502776271022]
大きなパラメータ空間を持つことは、敵の例に対するニューラルネットワークの脆弱性の主な疑念の1つと考えられている。
従来の研究は、検討されたモデルによっては、敵の例を生成するアルゴリズムが適切に機能しないことを示した。
論文 参考訳（メタデータ） (2024-06-14T14:47:06Z) - Improving Adversarial Robustness to Sensitivity and Invariance Attacks
with Deep Metric Learning [80.21709045433096]
対向ロバスト性の標準的な方法は、サンプルを最小に摂動させることによって作られたサンプルに対して防御する枠組みを仮定する。
距離学習を用いて、最適輸送問題として逆正則化をフレーム化する。
予備的な結果から, 変分摂動の規則化は, 変分防御と敏感防御の両方を改善することが示唆された。
論文 参考訳（メタデータ） (2022-11-04T13:54:02Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Masking Adversarial Damage: Finding Adversarial Saliency for Robust and
Sparse Network [33.18197518590706]
敵対的な例は、ディープニューラルネットワークの弱い信頼性と潜在的なセキュリティ問題を引き起こす。
本稿では, 対向的損失の2次情報を利用した新しい対向的プルーニング手法, Masking Adversarial damage (MAD)を提案する。
我々は,MADが敵の強靭性を損なうことなく敵の訓練網を効果的に突破し,従来の敵のプルーニング手法よりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2022-04-06T11:28:06Z) - Membership Inference Attacks and Defenses in Neural Network Pruning [5.856147967309101]
ニューラルネットワークのプルーニングにおいて、プライバシリスクを初めて分析する。
具体的には,ニューラルネットワークのプルーニングがデータプライバシのトレーニングに与える影響について検討する。
本稿では,予測分岐を緩和し,刈り込みプロセスを保護するための新しい防御機構を提案する。
論文 参考訳（メタデータ） (2022-02-07T16:31:53Z) - Searching for an Effective Defender: Benchmarking Defense against
Adversarial Word Substitution [83.84968082791444]
ディープニューラルネットワークは、意図的に構築された敵の例に対して脆弱である。
ニューラルNLPモデルに対する敵対的単語置換攻撃を防御する様々な方法が提案されている。
論文 参考訳（メタデータ） (2021-08-29T08:11:36Z) - Pruning in the Face of Adversaries [0.0]
ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。
その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。
分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
論文 参考訳（メタデータ） (2021-08-19T09:06:16Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳（メタデータ） (2021-06-18T16:34:23Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - A Hamiltonian Monte Carlo Method for Probabilistic Adversarial Attack
and Learning [122.49765136434353]
本稿では,HMCAM (Acumulated Momentum) を用いたハミルトニアンモンテカルロ法を提案する。
また, 対数的対数的対数的学習(Contrastive Adversarial Training, CAT)と呼ばれる新たな生成法を提案し, 対数的例の平衡分布にアプローチする。
いくつかの自然画像データセットと実用システムに関する定量的および定性的な解析により、提案アルゴリズムの優位性が確認された。
論文 参考訳（メタデータ） (2020-10-15T16:07:26Z) - Exploring the Vulnerability of Deep Neural Networks: A Study of
Parameter Corruption [40.76024057426747]
本稿では,ニューラルネットワークパラメータのロバスト性を評価する指標を提案する。
現実的な目的のために、ランダムな汚職裁判よりもはるかに効果的である勾配に基づく評価を与える。
論文 参考訳（メタデータ） (2020-06-10T02:29:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。