論文の概要: Soften to Defend: Towards Adversarial Robustness via Self-Guided Label Refinement
- arxiv url: http://arxiv.org/abs/2403.09101v1
- Date: Thu, 14 Mar 2024 04:48:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 21:47:12.295358
- Title: Soften to Defend: Towards Adversarial Robustness via Self-Guided Label Refinement
- Title（参考訳）: Soften to Defend: 自己ガイドラベルリファインメントによる対人ロバストネスを目指して
- Authors: Daiwei Yu, Zhuorong Li, Lina Wei, Canghong Jin, Yun Zhang, Sixian Chan,
- Abstract要約: 敵対的訓練(AT)は、敵対的攻撃に対するディープニューラルネットワークの堅牢性を得る最も効果的な方法の1つである。
AT法は頑健なオーバーフィッティング、すなわちトレーニング曲線とテスト曲線の間の大きな一般化ギャップに悩まされている。
本稿では,AT のラベルリファインメント手法を提案する。この手法は,高信頼のハードラベルから,より正確かつ情報的なラベル分布を自己定義する。
- 参考スコア（独自算出の注目度）: 5.865750284677784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adversarial training (AT) is currently one of the most effective ways to obtain the robustness of deep neural networks against adversarial attacks. However, most AT methods suffer from robust overfitting, i.e., a significant generalization gap in adversarial robustness between the training and testing curves. In this paper, we first identify a connection between robust overfitting and the excessive memorization of noisy labels in AT from a view of gradient norm. As such label noise is mainly caused by a distribution mismatch and improper label assignments, we are motivated to propose a label refinement approach for AT. Specifically, our Self-Guided Label Refinement first self-refines a more accurate and informative label distribution from over-confident hard labels, and then it calibrates the training by dynamically incorporating knowledge from self-distilled models into the current model and thus requiring no external teachers. Empirical results demonstrate that our method can simultaneously boost the standard accuracy and robust performance across multiple benchmark datasets, attack types, and architectures. In addition, we also provide a set of analyses from the perspectives of information theory to dive into our method and suggest the importance of soft labels for robust generalization.
- Abstract（参考訳）: 敵対的トレーニング(AT)は、現在、敵対的攻撃に対するディープニューラルネットワークの堅牢性を得る最も効果的な方法の1つである。
しかし、ほとんどのAT手法は頑健なオーバーフィッティング、すなわちトレーニング曲線とテスト曲線の間の対角的ロバスト性において重要な一般化ギャップに悩まされている。
本稿では、まず、勾配ノルムの観点から、頑健なオーバーフィッティングとATにおける雑音ラベルの過剰な記憶との関係を同定する。
このようなラベルノイズは、主に分布ミスマッチと不適切なラベル割り当てによって引き起こされるため、我々はATのラベル改善アプローチを提案する動機がある。
具体的には、まず、自信過剰なラベルから、より正確で情報的なラベルの分布を自己定義し、それから、自己拡散モデルからの知識を現在のモデルに動的に取り入れて、外部教師を必要とせず、トレーニングを校正する。
実験により,本手法は複数のベンチマークデータセット,アタックタイプ,アーキテクチャにおいて,標準精度とロバストな性能を同時に向上できることを示す。
さらに,情報理論の立場から分析を行い,本手法を応用し,堅牢な一般化のためのソフトラベルの重要性を示唆する。
関連論文リスト
- Mitigating Label Noise through Data Ambiguation [9.51828574518325]
表現力の高い大型モデルは、誤ったラベルを記憶する傾向があるため、一般化性能を損なう。
本稿では,対象情報の「曖昧化」により,両手法の欠点に対処することを提案する。
より正確には、いわゆる超集合学習の枠組みを利用して、信頼度閾値に基づいて設定値の目標を構築する。
論文 参考訳（メタデータ） (2023-05-23T07:29:08Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳（メタデータ） (2023-01-26T03:53:25Z) - Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly
Supervised Video Anomaly Detection [149.23913018423022]
弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。
2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。
本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-08T05:53:53Z) - Unsupervised Domain Adaptive Salient Object Detection Through
Uncertainty-Aware Pseudo-Label Learning [104.00026716576546]
そこで本研究では,手動のアノテーションを使わずに,自然に高いピクセルラベル品質を有する合成・クリーンなラベルから,サリエンスを学習することを提案する。
提案手法は,複数のベンチマークデータセット上で,既存の最先端の深層教師なしSOD法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-26T16:03:55Z) - Debiased Pseudo Labeling in Self-Training [77.83549261035277]
ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。
ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。
疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
論文 参考訳（メタデータ） (2022-02-15T02:14:33Z) - Label Noise in Adversarial Training: A Novel Perspective to Study Robust
Overfitting [45.58217741522973]
逆行訓練においてラベルノイズが存在することを示す。
このようなラベルノイズは、正反対例の真のラベル分布とクリーン例から受け継いだラベルとのミスマッチに起因する。
本稿では,ラベルノイズと頑健なオーバーフィッティングに対処するため,ラベルの自動校正手法を提案する。
論文 参考訳（メタデータ） (2021-10-07T01:15:06Z) - Exploring Memorization in Adversarial Training [58.38336773082818]
本稿では, 能力, 収束, 一般化, 特に強靭なオーバーフィッティングの深い理解を促進するための, 対人訓練(AT)における記憶効果について検討する。
本稿では,詳細な記憶分析を動機とした新たな緩和アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-03T05:39:57Z) - STRUDEL: Self-Training with Uncertainty Dependent Label Refinement
across Domains [4.812718493682454]
ホワイトマター高輝度(WMH)セグメンテーションのための非監視領域適応(UDA)アプローチを提案する。
疑似ラベルの不確かさを予測し,不確かさの高いラベルを強調する不確実性誘導損失関数をトレーニングプロセスに統合する。
We results on WMH segmentation across datasets showed the significant improvement of STRUDEL on standard self-training。
論文 参考訳（メタデータ） (2021-04-23T13:46:26Z) - Noisy Concurrent Training for Efficient Learning under Label Noise [13.041607703862724]
ディープニューラルネットワーク(DNN)はラベルノイズの下で効果的に学習することができず、その性能に影響を与えるランダムなラベルを記憶することが示されている。
我々は,単独で学習すること,ワンホット符号化ラベルを唯一の監督源として使用すること,および標準訓練手順の主な欠点として記憶を阻害するための正規化の欠如を考察する。
協調学習を活用して2つのモデル間のコンセンサスを新たな監督源として活用するノイズコンカレントトレーニング(NCT)を提案する。
論文 参考訳（メタデータ） (2020-09-17T14:22:17Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。