論文の概要: Parameterizing Activation Functions for Adversarial Robustness
- arxiv url: http://arxiv.org/abs/2110.05626v1
- Date: Mon, 11 Oct 2021 21:31:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-13 13:11:08.165975
- Title: Parameterizing Activation Functions for Adversarial Robustness
- Title（参考訳）: 逆ロバスト性のためのパラメータ化アクティベーション関数
- Authors: Sihui Dai, Saeed Mahloujifar, Prateek Mittal
- Abstract要約: 本研究では,学習可能なPAFを用いて,対人訓練と併用して頑健性を向上させる方法について検討した。
私たちはParametric Shifted Sigmoidal Linear Unit (PSSiLU)と呼ばれる新しいPAFを作成します。
また,PSSiLUはResNet-18ではReLUに対して4.54%,WRN-28-10では2.69%の精度向上を実現している。
- 参考スコア（独自算出の注目度）: 28.615161643320825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks are known to be vulnerable to adversarially perturbed
inputs. A commonly used defense is adversarial training, whose performance is
influenced by model capacity. While previous works have studied the impact of
varying model width and depth on robustness, the impact of increasing capacity
by using learnable parametric activation functions (PAFs) has not been studied.
We study how using learnable PAFs can improve robustness in conjunction with
adversarial training. We first ask the question: how should we incorporate
parameters into activation functions to improve robustness? To address this, we
analyze the direct impact of activation shape on robustness through PAFs and
observe that activation shapes with positive outputs on negative inputs and
with high finite curvature can increase robustness. We combine these properties
to create a new PAF, which we call Parametric Shifted Sigmoidal Linear Unit
(PSSiLU). We then combine PAFs (including PReLU, PSoftplus and PSSiLU) with
adversarial training and analyze robust performance. We find that PAFs optimize
towards activation shape properties found to directly affect robustness.
Additionally, we find that while introducing only 1-2 learnable parameters into
the network, smooth PAFs can significantly increase robustness over ReLU. For
instance, when trained on CIFAR-10 with additional synthetic data, PSSiLU
improves robust accuracy by 4.54% over ReLU on ResNet-18 and 2.69% over ReLU on
WRN-28-10 in the $\ell_{\infty}$ threat model while adding only 2 additional
parameters into the network architecture. The PSSiLU WRN-28-10 model achieves
61.96% AutoAttack accuracy, improving over the state-of-the-art robust accuracy
on RobustBench (Croce et al., 2020).
- Abstract（参考訳）: ディープニューラルネットワークは、敵対的な摂動入力に弱いことが知られている。
一般的に用いられる防御は敵の訓練であり、その性能はモデルの能力に影響される。
従来, モデル幅と深度の違いがロバスト性に与える影響について検討されてきたが, 学習可能なパラメトリックアクティベーション関数(PAF)を用いて, キャパシティの増大の影響は研究されていない。
本研究では,学習可能なPAFを用いて,対人訓練とともに頑健性を向上させる方法について検討した。
まず、ロバスト性を改善するために、どうやってパラメータをアクティベーション関数に組み込むべきか?
そこで我々は, PAFによる活性化形状の強靭性に対する直接的影響を解析し, 負の入力に対する正の出力と高い有限曲率の活性化形状がロバスト性を高めることを観察した。
これらの特性を組み合わせて新しいPAFを作成し、Parametric Shifted Sigmoidal Linear Unit (PSSiLU) と呼ぶ。
PRELU,PSoftplus,PSSiLUを含むPAFと対向訓練を併用し,ロバストな性能解析を行った。
PAFが活性化形状特性に最適化されることが,ロバスト性に直接影響を及ぼすことがわかった。
さらに,ネットワークに学習可能なパラメータを1-2だけ導入することで,スムースpafがreluよりもロバスト性を大幅に向上できることがわかった。
例えば、追加の合成データでCIFAR-10でトレーニングされた場合、PSSiLUはResNet-18でReLUで4.54%、WRN-28-10でReLUで2.69%、ネットワークアーキテクチャに2つのパラメータを追加するだけで堅牢な精度を向上する。
PSSiLU WRN-28-10モデルは61.96%のオートアタック精度を実現し、RobostBench(Croce et al., 2020)の最先端の堅牢な精度を改善した。
関連論文リスト
- Learn from the Past: A Proxy Guided Adversarial Defense Framework with
Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。
AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。
汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文 参考訳（メタデータ） (2023-10-19T13:13:41Z) - A Non-monotonic Smooth Activation Function [4.269446061678759]
活性化関数は、ネットワークに非線形性を導入するため、ディープラーニングモデルにおいて不可欠である。
本研究では,非単調かつ滑らかな機能であるSqishと呼ばれる新しいアクティベーション関数を提案する。
分類,物体検出,セグメンテーションタスク,対向ロバストネス実験において,その優位性を示した。
論文 参考訳（メタデータ） (2023-10-16T07:09:47Z) - Robust Feature Inference: A Test-time Defense Strategy using Spectral Projections [12.807619042576018]
我々はロバスト特徴推論(RFI)と呼ばれる新しいテスト時間防衛戦略を提案する。
RFIは、追加のテスト時間計算なしで既存の(ロバストな)トレーニング手順と簡単に統合できる。
RFIは、適応攻撃や転送攻撃によるロバスト性を継続的に改善することを示す。
論文 参考訳（メタデータ） (2023-07-21T16:18:58Z) - Towards a robust and reliable deep learning approach for detection of
compact binary mergers in gravitational wave data [0.0]
我々は、段階的に深層学習モデルを開発し、その堅牢性と信頼性の向上に取り組みます。
我々はGAN(Generative Adversarial Network)を含む新しいフレームワークでモデルを再訓練する。
絶対ロバスト性は事実上達成できないが、そのような訓練によって得られるいくつかの根本的な改善を実証する。
論文 参考訳（メタデータ） (2023-06-20T18:00:05Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Scaling & Shifting Your Features: A New Baseline for Efficient Model
Tuning [126.84770886628833]
既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。
そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
論文 参考訳（メタデータ） (2022-10-17T08:14:49Z) - Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。
任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。
本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文 参考訳（メタデータ） (2021-05-31T17:01:05Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T08:02:27Z) - Adversarial Feature Stacking for Accurate and Robust Predictions [4.208059346198116]
Adversarial Feature Stacking (AFS)モデルは、さまざまなレベルの堅牢性と精度を持つ機能を共同で活用することができる。
CIFAR-10およびCIFAR-100データセット上でのAFSモデルの評価を行った。
論文 参考訳（メタデータ） (2021-03-24T12:01:24Z) - Improved Adversarial Training via Learned Optimizer [101.38877975769198]
対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。
共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
論文 参考訳（メタデータ） (2020-04-25T20:15:53Z) - Cooperative Initialization based Deep Neural Network Training [35.14235994478142]
本手法では,ネットワークのトレーニング中に,全ての重みパラメータの更新に複数のアクティベーション関数を用いる。
提案手法は,様々なベースラインに優れ,同時に分類や検出など,さまざまなタスクに対して優れた性能を発揮する。
論文 参考訳（メタデータ） (2020-01-05T14:08:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。