論文の概要: Towards Combating Frequency Simplicity-biased Learning for Domain Generalization
- arxiv url: http://arxiv.org/abs/2410.16146v1
- Date: Mon, 21 Oct 2024 16:17:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:19:57.256635
- Title: Towards Combating Frequency Simplicity-biased Learning for Domain Generalization
- Title（参考訳）: ドメイン一般化のための周波数単純性バイアス学習の議論に向けて
- Authors: Xilin He, Jingyu Hu, Qinliang Lin, Cheng Luo, Weicheng Xie, Siyang Song, Muhammad Haris Khan, Linlin Shen,
- Abstract要約: ドメイン一般化手法は、未知のターゲットドメインによく一般化できるソースドメインから、転送可能な知識を学習することを目的としている。
近年の研究では、ニューラルネットワークはしばしば、特定の周波数セットに対する過度な信頼につながる単純さに偏った学習行動に悩まされていることが示されている。
本稿では,データセットの周波数特性を協調的かつ適応的に調整する2つの効果的なデータ拡張モジュールを提案する。
- 参考スコア（独自算出の注目度）: 36.777767173275336
- License:
- Abstract: Domain generalization methods aim to learn transferable knowledge from source domains that can generalize well to unseen target domains. Recent studies show that neural networks frequently suffer from a simplicity-biased learning behavior which leads to over-reliance on specific frequency sets, namely as frequency shortcuts, instead of semantic information, resulting in poor generalization performance. Despite previous data augmentation techniques successfully enhancing generalization performances, they intend to apply more frequency shortcuts, thereby causing hallucinations of generalization improvement. In this paper, we aim to prevent such learning behavior of applying frequency shortcuts from a data-driven perspective. Given the theoretical justification of models' biased learning behavior on different spatial frequency components, which is based on the dataset frequency properties, we argue that the learning behavior on various frequency components could be manipulated by changing the dataset statistical structure in the Fourier domain. Intuitively, as frequency shortcuts are hidden in the dominant and highly dependent frequencies of dataset structure, dynamically perturbating the over-reliance frequency components could prevent the application of frequency shortcuts. To this end, we propose two effective data augmentation modules designed to collaboratively and adaptively adjust the frequency characteristic of the dataset, aiming to dynamically influence the learning behavior of the model and ultimately serving as a strategy to mitigate shortcut learning. Code is available at AdvFrequency (https://github.com/C0notSilly/AdvFrequency).
- Abstract（参考訳）: ドメイン一般化手法は、未知のターゲットドメインによく一般化できるソースドメインから、転送可能な知識を学習することを目的としている。
近年の研究では、ニューラルネットワークは、意味情報ではなく、特定の周波数セット、すなわち周波数ショートカットへの過度な依存につながる単純さに偏った学習行動にしばしば悩まされ、一般化性能が低下することが示されている。
従来のデータ拡張技術は一般化性能の向上に成功していたが、彼らはより多くの周波数ショートカットを適用し、一般化改善の幻覚を引き起こすつもりであった。
本稿では,データ駆動の観点から周波数ショートカットを適用することによる,そのような学習行動を防止することを目的とする。
データセット周波数特性に基づく空間周波数成分のモデル偏り学習挙動の理論的正当性を考えると、フーリエ領域のデータセット統計構造を変化させることで、様々な周波数成分の学習挙動を操作できると論じる。
直感的には、周波数ショートカットがデータセット構造の支配的かつ高依存的な周波数に隠されているため、過度な周波数成分を動的に摂動させることは周波数ショートカットの適用を妨げうる。
そこで本研究では、データセットの周波数特性を協調的かつ適応的に調整し、モデルの学習行動に動的に影響を与え、最終的にはショートカット学習を緩和する戦略として機能する2つの効果的なデータ拡張モジュールを提案する。
コードはAdvFrequency(https://github.com/C0notSilly/AdvFrequency)で入手できる。
関連論文リスト
- Tuning Frequency Bias of State Space Models [48.60241978021799]
状態空間モデル(SSM)は、線形時間不変(LTI)システムを利用して、長距離依存のシーケンスを学習する。
その結果,SSMは低周波成分を高周波成分よりも効果的に捕捉する傾向を示した。
論文 参考訳（メタデータ） (2024-10-02T21:04:22Z) - Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z) - DFM-X: Augmentation by Leveraging Prior Knowledge of Shortcut Learning [3.9858496473361402]
本稿では,周波数ショートカットに関する知識を活用するデータ拡張戦略DFM-Xを提案する。
我々は,あるクラスの学習画像をランダムに選択し,他のクラスのDFMに含まれる周波数を保持することによって処理する。
実験の結果,DFM-Xは一般的な汚職や敵攻撃に対する堅牢性を向上することが示された。
論文 参考訳（メタデータ） (2023-08-12T17:39:10Z) - What do neural networks learn in image classification? A frequency
shortcut perspective [3.9858496473361402]
本研究では,ニューラルネットワーク(NN)における周波数ショートカットの学習力学を実験的に研究する。
NNは、分類のための単純な解を見つける傾向があり、訓練中に最初に何を学ぶかは、最も特徴的な周波数特性に依存する。
本稿では,クラスワイズ周波数特性を測定するための指標と,周波数ショートカットの同定方法を提案する。
論文 参考訳（メタデータ） (2023-07-19T08:34:25Z) - Towards Building More Robust Models with Frequency Bias [8.510441741759758]
本稿では,中間特徴表現の低周波成分と高周波成分を適応的に再構成するプラグイン・アンド・プレイ・モジュールを提案する。
実験により,提案するモジュールは,任意の対戦型トレーニングフレームワークに容易に組み込むことができることが示された。
論文 参考訳（メタデータ） (2023-07-19T05:46:56Z) - A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳（メタデータ） (2023-05-16T20:06:01Z) - Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。
我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-03-27T14:25:52Z) - Deep Frequency Filtering for Domain Generalization [55.66498461438285]
Deep Neural Networks(DNN)は、学習プロセスにおいて、いくつかの周波数成分を優先する。
本稿では、ドメイン一般化可能な特徴を学習するためのDeep Frequency Filtering (DFF)を提案する。
提案したDFFをベースラインに適用すると,ドメインの一般化タスクにおける最先端の手法よりも優れることを示す。
論文 参考訳（メタデータ） (2022-03-23T05:19:06Z) - Understanding robustness and generalization of artificial neural
networks through Fourier masks [8.94889125739046]
近年の文献では、画像の低周波処理には、優れた一般化特性を持つロバストネットワークが偏っていることが示唆されている。
トレーニングされたネットワークの性能を維持するのに必要な入力周波数を強調した変調マスクを学習するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-03-16T17:32:00Z) - Robust Learning with Frequency Domain Regularization [1.370633147306388]
モデルのフィルタの周波数スペクトルを制約し,新しい正規化手法を提案する。
本研究では,(1)対向的摂動を抑えること,(2)異なるアーキテクチャにおける一般化のギャップを小さくすること,(3)微調整を伴わない伝達学習シナリオにおける一般化能力を向上させることによる正規化の有効性を実証する。
論文 参考訳（メタデータ） (2020-07-07T07:29:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。