論文の概要: Robust Regularization with Adversarial Labelling of Perturbed Samples
- arxiv url: http://arxiv.org/abs/2105.13745v1
- Date: Fri, 28 May 2021 11:26:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-31 13:55:37.559370
- Title: Robust Regularization with Adversarial Labelling of Perturbed Samples
- Title(参考訳): 摂動サンプルの逆ラベリングによるロバスト正規化
- Authors: Xiaohui Guo, Richong Zhang, Yaowei Zheng, Yongyi Mao
- Abstract要約: 本稿では、正規化手法として、ALPS(Adversarial Labelling of Perturbed Samples)を提案する。
ALPSはニューラルネットワークを、それぞれの真正な入力サンプルを、逆向きに割り当てられたラベルとともに、別のものに向かって摂動することによって形成された合成サンプルで訓練する。
SVHN、CIFAR-10、CIFAR-100、Tiny-ImageNetのデータセットによる実験は、ALPSが最先端の正規化性能を持っていることを示している。
- 参考スコア(独自算出の注目度): 22.37046166576859
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent researches have suggested that the predictive accuracy of neural
network may contend with its adversarial robustness. This presents challenges
in designing effective regularization schemes that also provide strong
adversarial robustness. Revisiting Vicinal Risk Minimization (VRM) as a
unifying regularization principle, we propose Adversarial Labelling of
Perturbed Samples (ALPS) as a regularization scheme that aims at improving the
generalization ability and adversarial robustness of the trained model. ALPS
trains neural networks with synthetic samples formed by perturbing each
authentic input sample towards another one along with an adversarially assigned
label. The ALPS regularization objective is formulated as a min-max problem, in
which the outer problem is minimizing an upper-bound of the VRM loss, and the
inner problem is L$_1$-ball constrained adversarial labelling on perturbed
sample. The analytic solution to the induced inner maximization problem is
elegantly derived, which enables computational efficiency. Experiments on the
SVHN, CIFAR-10, CIFAR-100 and Tiny-ImageNet datasets show that the ALPS has a
state-of-the-art regularization performance while also serving as an effective
adversarial training scheme.
- Abstract(参考訳): 近年の研究では、ニューラルネットワークの予測精度が敵の強靭性と競合する可能性が示唆されている。
これは、強い敵の堅牢性を提供する効果的な正則化スキームを設計する際の課題を示す。
リスク最小化(VRM)を統一正規化の原則として再考し、トレーニングモデルの一般化能力と対向ロバスト性の向上を目的とした正規化スキームとして、摂動サンプルの対向ラベリング(ALPS)を提案する。
ALPSはニューラルネットワークを、それぞれの真正な入力サンプルを、逆向きに割り当てられたラベルとともに、別のものに向かって摂動することによって形成された合成サンプルで訓練する。
alps正則化の目的をmin-max問題として定式化し、外的問題はvrm損失の上限を最小化し、内的問題は摂動標本上のl$_1$-ball制約付き逆ラベリングである。
誘導内最大化問題に対する解析解はエレガントに導出され、計算効率が向上する。
SVHN、CIFAR-10、CIFAR-100、Tiny-ImageNetのデータセットの実験では、ALPSは最先端の正規化性能を持ち、効果的な敵の訓練スキームとしても機能している。
関連論文リスト
- Matrix Completion-Informed Deep Unfolded Equilibrium Models for
Self-Supervised k-Space Interpolation in MRI [8.33626757808923]
正規化モデル駆動型ディープラーニング(DL)は,DLの強力な表現能力を活用する能力から注目されている。
理論的に保証され,完全サンプリングラベルに依存しない加速MRIのための自己教師型DLアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-24T07:25:06Z) - TSFool: Crafting Highly-Imperceptible Adversarial Time Series through
Multi-Objective Attack [6.698263855886704]
TSFoolと呼ばれる効率的な手法を提案する。
中心となる考え方は、「カモフラージュ係数」(Camouflage Coefficient)と呼ばれる新しい大域的な最適化目標であり、クラス分布から反対サンプルの非受容性を捉えるものである。
11のUCRデータセットとUEAデータセットの実験では、TSFoolは6つのホワイトボックスと3つのブラックボックスベンチマークアタックを著しく上回っている。
論文 参考訳(メタデータ) (2022-09-14T03:02:22Z) - {\delta}-SAM: Sharpness-Aware Minimization with Dynamic Reweighting [17.50856935207308]
対人訓練は、敵に選択された摂動の上にある損失の変化を規則化し、一般化を改善する効果を示した。
最近提案されたシャープネス対応最小化(SAM)アルゴリズムは、逆方向の重みの摂動を採用し、モデルが平坦なミニマに収束することを奨励する。
本稿では,各バッチ内の動的再重み付き摂動について,非ガード型インスタンスが高重み付きである場合,インスタンスごとの摂動より優れた近似法として機能することを提案する。
論文 参考訳(メタデータ) (2021-12-16T10:36:35Z) - Simple Adaptive Projection with Pretrained Features for Anomaly
Detection [0.0]
本稿では,単純な線形変換と自己注意を含む新しい適応フレームワークを提案する。
事前訓練した特徴を持つ簡易適応投影法(SAP2)により,新しい異常検出基準が得られた。
論文 参考訳(メタデータ) (2021-12-05T15:29:59Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳(メタデータ) (2021-10-21T07:28:11Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳(メタデータ) (2021-10-20T06:15:45Z) - Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。
我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文 参考訳(メタデータ) (2021-06-21T21:42:08Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳(メタデータ) (2021-02-23T20:59:30Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳(メタデータ) (2020-12-03T10:17:30Z) - Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。
既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。
本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文 参考訳(メタデータ) (2020-02-14T12:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。