論文の概要: Improving Model Generalization by On-manifold Adversarial Augmentation
in the Frequency Domain
- arxiv url: http://arxiv.org/abs/2302.14302v1
- Date: Tue, 28 Feb 2023 04:31:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 18:04:38.403704
- Title: Improving Model Generalization by On-manifold Adversarial Augmentation
in the Frequency Domain
- Title（参考訳）: 周波数領域における逆数拡大によるモデル一般化の改善
- Authors: Chang Liu, Wenzhao Xiang, Yuan He, Hui Xue, Shibao Zheng, Hang Su
- Abstract要約: 深層ニューラルネットワーク(DNN)は、トレーニングデータとテストデータが異なる基礎ディストリビューションである場合、大幅に劣化するパフォーマンスに悩まされる可能性がある。
近年の研究では、OODの一般化を改善するために正反対あるいは外逆の例が利用可能であることが示されている。
本稿では Wavelet モジュール (AdvWavAug) によるデータ拡張手法を提案する。
- 参考スコア（独自算出の注目度）: 29.011911113321098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) may suffer from significantly degenerated
performance when the training and test data are of different underlying
distributions. Despite the importance of model generalization to
out-of-distribution (OOD) data, the accuracy of state-of-the-art (SOTA) models
on OOD data can plummet. Recent work has demonstrated that regular or
off-manifold adversarial examples, as a special case of data augmentation, can
be used to improve OOD generalization. Inspired by this, we theoretically prove
that on-manifold adversarial examples can better benefit OOD generalization.
Nevertheless, it is nontrivial to generate on-manifold adversarial examples
because the real manifold is generally complex. To address this issue, we
proposed a novel method of Augmenting data with Adversarial examples via a
Wavelet module (AdvWavAug), an on-manifold adversarial data augmentation
technique that is simple to implement. In particular, we project a benign image
into a wavelet domain. With the assistance of the sparsity characteristic of
wavelet transformation, we can modify an image on the estimated data manifold.
We conduct adversarial augmentation based on AdvProp training framework.
Extensive experiments on different models and different datasets, including
ImageNet and its distorted versions, demonstrate that our method can improve
model generalization, especially on OOD data. By integrating AdvWavAug into the
training process, we have achieved SOTA results on some recent
transformer-based models.
- Abstract（参考訳）: 深層ニューラルネットワーク(DNN)は、トレーニングデータとテストデータが異なる基盤分布である場合、大幅に劣化する。
オフ・オブ・ディストリビューション(OOD)データへのモデル一般化の重要性にもかかわらず、OODデータ上の最先端(SOTA)モデルの精度は低下する可能性がある。
近年の研究では、OODの一般化を改善するために、データ拡張の特別な例として、正規あるいはオフマニフォールドの逆数例が利用可能であることが示されている。
これに触発されて、理論上、on-manifold adversarial examples は ood の一般化に役立つことを証明している。
それでも、実多様体は概して複素であるため、多様体上の逆例を生成することは自明ではない。
この問題に対処するため,我々は,実装が容易なon-manifoldadversarialデータ拡張手法であるwavelet module (advwavaug) を用いて,逆行例によるデータ拡張手法を提案する。
特に、良性画像をウェーブレット領域に投影する。
ウェーブレット変換の空間特性を補助することにより、推定したデータ多様体上の画像を修正できる。
我々は,advprop トレーニングフレームワークを基盤とした敵意強化を行う。
ImageNetとその歪みバージョンを含む、異なるモデルと異なるデータセットに対する大規模な実験により、本手法がモデル一般化、特にOODデータにおいて改善できることが実証された。
トレーニングプロセスにAdvWavAugを統合することで、最近のトランスフォーマーモデルでSOTAの結果を得た。
関連論文リスト
- Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
拡散モデルは、生成的モデリングに大きな進歩をもたらした。
しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。
本稿では,テキスト・インフルエンス・ファンクション・フレームワークを開発することにより,このような課題に対処することを目的とする。
論文 参考訳（メタデータ） (2024-10-17T17:59:02Z) - Sub-graph Based Diffusion Model for Link Prediction [43.15741675617231]
拡散確率モデル(Denoising Diffusion Probabilistic Models, DDPM)は、例外的な品質を持つ同時代の生成モデルである。
本研究では,ベイズ式による確率推定過程を分解するために,専用設計を用いたリンク予測のための新しい生成モデルを構築した。
提案手法は,(1)再トレーニングを伴わないデータセット間の転送可能性,(2)限られたトレーニングデータに対する有望な一般化,(3)グラフ敵攻撃に対する堅牢性など,多くの利点を示す。
論文 参考訳（メタデータ） (2024-09-13T02:23:55Z) - Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。
因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
論文 参考訳（メタデータ） (2024-06-07T14:29:21Z) - DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。
セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。
本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
論文 参考訳（メタデータ） (2024-03-20T04:58:03Z) - Enhancing Generalization in Medical Visual Question Answering Tasks via
Gradient-Guided Model Perturbation [16.22199565010318]
本稿では,事前学習と微調整の両段階における多モードモデルの視覚エンコーダに勾配誘導摂動を組み込む手法を提案する。
その結果,訓練前の画像キャプションデータセットが大幅に小さくても,本手法は競合的な結果が得られることがわかった。
論文 参考訳（メタデータ） (2024-03-05T06:57:37Z) - Robustness of Deep Neural Networks for Micro-Doppler Radar
Classification [1.3654846342364308]
同じデータでトレーニングされ、テストされた2つの深い畳み込みアーキテクチャが評価される。
モデルは敵の例に影響を受けやすい。
ドップラー時間よりもケイデンス速度図の表現は、自然に敵の例に対して免疫的であることが示されている。
論文 参考訳（メタデータ） (2024-02-21T09:37:17Z) - Learning Generalizable Models via Disentangling Spurious and Enhancing
Potential Correlations [28.38895118573957]
ドメイン一般化 (Domain Generalization, DG) は、任意の未知のターゲットドメインに適切に一般化できるように、複数のソースドメイン上でモデルをトレーニングすることを目的としている。
サンプルや機能など、複数の視点を採用することは、効果的であることが証明されている。
本稿では,サンプルと特徴の両方の観点から,ドメイン不変表現の獲得を促すことによって,モデルの一般化能力の向上に焦点をあてる。
論文 参考訳（メタデータ） (2024-01-11T09:00:22Z) - When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。
本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。
我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。
本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
論文 参考訳（メタデータ） (2022-12-01T20:15:15Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳（メタデータ） (2021-11-26T11:58:51Z) - Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。
G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。
分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
論文 参考訳（メタデータ） (2020-04-24T06:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。