論文の概要: Improving Model Generalization by On-manifold Adversarial Augmentation
in the Frequency Domain
- arxiv url: http://arxiv.org/abs/2302.14302v1
- Date: Tue, 28 Feb 2023 04:31:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 18:04:38.403704
- Title: Improving Model Generalization by On-manifold Adversarial Augmentation
in the Frequency Domain
- Title(参考訳): 周波数領域における逆数拡大によるモデル一般化の改善
- Authors: Chang Liu, Wenzhao Xiang, Yuan He, Hui Xue, Shibao Zheng, Hang Su
- Abstract要約: 深層ニューラルネットワーク(DNN)は、トレーニングデータとテストデータが異なる基礎ディストリビューションである場合、大幅に劣化するパフォーマンスに悩まされる可能性がある。
近年の研究では、OODの一般化を改善するために正反対あるいは外逆の例が利用可能であることが示されている。
本稿では Wavelet モジュール (AdvWavAug) によるデータ拡張手法を提案する。
- 参考スコア(独自算出の注目度): 29.011911113321098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) may suffer from significantly degenerated
performance when the training and test data are of different underlying
distributions. Despite the importance of model generalization to
out-of-distribution (OOD) data, the accuracy of state-of-the-art (SOTA) models
on OOD data can plummet. Recent work has demonstrated that regular or
off-manifold adversarial examples, as a special case of data augmentation, can
be used to improve OOD generalization. Inspired by this, we theoretically prove
that on-manifold adversarial examples can better benefit OOD generalization.
Nevertheless, it is nontrivial to generate on-manifold adversarial examples
because the real manifold is generally complex. To address this issue, we
proposed a novel method of Augmenting data with Adversarial examples via a
Wavelet module (AdvWavAug), an on-manifold adversarial data augmentation
technique that is simple to implement. In particular, we project a benign image
into a wavelet domain. With the assistance of the sparsity characteristic of
wavelet transformation, we can modify an image on the estimated data manifold.
We conduct adversarial augmentation based on AdvProp training framework.
Extensive experiments on different models and different datasets, including
ImageNet and its distorted versions, demonstrate that our method can improve
model generalization, especially on OOD data. By integrating AdvWavAug into the
training process, we have achieved SOTA results on some recent
transformer-based models.
- Abstract(参考訳): 深層ニューラルネットワーク(DNN)は、トレーニングデータとテストデータが異なる基盤分布である場合、大幅に劣化する。
オフ・オブ・ディストリビューション(OOD)データへのモデル一般化の重要性にもかかわらず、OODデータ上の最先端(SOTA)モデルの精度は低下する可能性がある。
近年の研究では、OODの一般化を改善するために、データ拡張の特別な例として、正規あるいはオフマニフォールドの逆数例が利用可能であることが示されている。
これに触発されて、理論上、on-manifold adversarial examples は ood の一般化に役立つことを証明している。
それでも、実多様体は概して複素であるため、多様体上の逆例を生成することは自明ではない。
この問題に対処するため,我々は,実装が容易なon-manifoldadversarialデータ拡張手法であるwavelet module (advwavaug) を用いて,逆行例によるデータ拡張手法を提案する。
特に、良性画像をウェーブレット領域に投影する。
ウェーブレット変換の空間特性を補助することにより、推定したデータ多様体上の画像を修正できる。
我々は,advprop トレーニングフレームワークを基盤とした敵意強化を行う。
ImageNetとその歪みバージョンを含む、異なるモデルと異なるデータセットに対する大規模な実験により、本手法がモデル一般化、特にOODデータにおいて改善できることが実証された。
トレーニングプロセスにAdvWavAugを統合することで、最近のトランスフォーマーモデルでSOTAの結果を得た。
関連論文リスト
- Enhancing Generalization in Medical Visual Question Answering Tasks via
Gradient-Guided Model Perturbation [16.22199565010318]
本稿では,事前学習と微調整の両段階における多モードモデルの視覚エンコーダに勾配誘導摂動を組み込む手法を提案する。
その結果,訓練前の画像キャプションデータセットが大幅に小さくても,本手法は競合的な結果が得られることがわかった。
論文 参考訳(メタデータ) (2024-03-05T06:57:37Z) - Robustness of Deep Neural Networks for Micro-Doppler Radar
Classification [1.3654846342364308]
同じデータでトレーニングされ、テストされた2つの深い畳み込みアーキテクチャが評価される。
モデルは敵の例に影響を受けやすい。
ドップラー時間よりもケイデンス速度図の表現は、自然に敵の例に対して免疫的であることが示されている。
論文 参考訳(メタデータ) (2024-02-21T09:37:17Z) - Learning Generalizable Models via Disentangling Spurious and Enhancing
Potential Correlations [28.38895118573957]
ドメイン一般化 (Domain Generalization, DG) は、任意の未知のターゲットドメインに適切に一般化できるように、複数のソースドメイン上でモデルをトレーニングすることを目的としている。
サンプルや機能など、複数の視点を採用することは、効果的であることが証明されている。
本稿では,サンプルと特徴の両方の観点から,ドメイン不変表現の獲得を促すことによって,モデルの一般化能力の向上に焦点をあてる。
論文 参考訳(メタデータ) (2024-01-11T09:00:22Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-03-06T11:51:28Z) - When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。
本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。
我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。
本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
論文 参考訳(メタデータ) (2022-12-01T20:15:15Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-05-30T13:34:46Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳(メタデータ) (2021-11-26T11:58:51Z) - Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。
G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。
分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
論文 参考訳(メタデータ) (2020-04-24T06:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。