論文の概要: Robust Learning with Frequency Domain Regularization
- arxiv url: http://arxiv.org/abs/2007.03244v1
- Date: Tue, 7 Jul 2020 07:29:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 18:48:03.666926
- Title: Robust Learning with Frequency Domain Regularization
- Title(参考訳): 周波数領域正規化によるロバスト学習
- Authors: Weiyu Guo, Yidong Ouyang
- Abstract要約: モデルのフィルタの周波数スペクトルを制約し,新しい正規化手法を提案する。
本研究では,(1)対向的摂動を抑えること,(2)異なるアーキテクチャにおける一般化のギャップを小さくすること,(3)微調整を伴わない伝達学習シナリオにおける一般化能力を向上させることによる正規化の有効性を実証する。
- 参考スコア(独自算出の注目度): 1.370633147306388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolution neural networks have achieved remarkable performance in many
tasks of computing vision. However, CNN tends to bias to low frequency
components. They prioritize capturing low frequency patterns which lead them
fail when suffering from application scenario transformation. While adversarial
example implies the model is very sensitive to high frequency perturbations. In
this paper, we introduce a new regularization method by constraining the
frequency spectra of the filter of the model. Different from band-limit
training, our method considers the valid frequency range probably entangles in
different layers rather than continuous and trains the valid frequency range
end-to-end by backpropagation. We demonstrate the effectiveness of our
regularization by (1) defensing to adversarial perturbations; (2) reducing the
generalization gap in different architecture; (3) improving the generalization
ability in transfer learning scenario without fine-tune.
- Abstract(参考訳): 畳み込みニューラルネットワークは、コンピュータビジョンの多くのタスクにおいて顕著な性能を達成した。
しかし、CNNは低周波成分に偏りがある。
アプリケーションシナリオの変換に苦しむ場合にフェールする低頻度パターンのキャプチャを優先する。
逆の例は、モデルが高周波摂動に対して非常に敏感であることを示している。
本稿では,モデルのフィルタの周波数スペクトルを制約することにより,新たな正規化手法を提案する。
帯域制限トレーニングと異なり,連続的ではなく異なる層で有効な周波数範囲が絡み合っており,バックプロパゲーションによりエンドツーエンドで有効な周波数範囲を訓練する。
本研究は,(1)逆摂動に対する防御,(2)異なるアーキテクチャにおける一般化ギャップの低減、(3)微調整を伴わない転向学習シナリオにおける一般化能力の向上による正規化の有効性を示す。
関連論文リスト
- What do neural networks learn in image classification? A frequency
shortcut perspective [3.9858496473361402]
本研究では,ニューラルネットワーク(NN)における周波数ショートカットの学習力学を実験的に研究する。
NNは、分類のための単純な解を見つける傾向があり、訓練中に最初に何を学ぶかは、最も特徴的な周波数特性に依存する。
本稿では,クラスワイズ周波数特性を測定するための指標と,周波数ショートカットの同定方法を提案する。
論文 参考訳(メタデータ) (2023-07-19T08:34:25Z) - Frequency Domain Adversarial Training for Robust Volumetric Medical
Segmentation [111.61781272232646]
医療などの重要な応用において、ディープラーニングモデルの堅牢性を確保することが不可欠である。
本稿では,ボリューム医療画像分割モデルに対する3次元周波数領域対逆攻撃について述べる。
論文 参考訳(メタデータ) (2023-07-14T10:50:43Z) - A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳(メタデータ) (2023-05-16T20:06:01Z) - Incremental Spatial and Spectral Learning of Neural Operators for
Solving Large-Scale PDEs [86.35471039808023]
Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。
iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。
提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
論文 参考訳(メタデータ) (2022-11-28T09:57:15Z) - Frequency Dropout: Feature-Level Regularization via Randomized Filtering [24.53978165468098]
深層畳み込みニューラルネットワークは、トレーニング信号から急激な相関を拾うことができる。
本稿では、畳み込みニューラルネットワークが周波数固有の画像特徴を学習するのを防ぐためのトレーニング戦略である周波数ドロップアウトを提案する。
提案手法は,予測精度の向上だけでなく,ドメインシフトに対する堅牢性の向上も示唆している。
論文 参考訳(メタデータ) (2022-09-20T16:42:21Z) - Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。
我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-03-27T14:25:52Z) - Spectral Bias in Practice: The Role of Function Frequency in
Generalization [10.7218588164913]
現代の画像分類網におけるスペクトルバイアスを測定する手法を提案する。
一般化するネットワークは、データの適合に十分な複雑さを持つと同時に、過度な適合を避けるのに十分な単純さとバランスをとっています。
我々の研究は、画像分類に使用されるニューラルネットワークのスペクトル挙動の測定と制御を可能にする。
論文 参考訳(メタデータ) (2021-10-06T00:16:10Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳(メタデータ) (2021-10-05T11:36:25Z) - Dense Pruning of Pointwise Convolutions in the Frequency Domain [10.58456555092086]
本研究では,各点層を離散コサイン変換(DCT)でラップする手法を提案する。
スパース演算子に依存する重み打ち法とは異なり、連続周波数帯打ち法は完全な密度計算をもたらす。
提案手法をMobileNetV2に適用することにより,計算時間を22%削減し,精度を1%向上させる。
論文 参考訳(メタデータ) (2021-09-16T04:02:45Z) - Frequency Gating: Improved Convolutional Neural Networks for Speech
Enhancement in the Time-Frequency Domain [37.722450363816144]
本稿では、CNNのカーネルの乗算重みを計算するために、周波数ゲーティングと呼ばれる手法を提案する。
スキップ接続を用いたオートエンコーダニューラルネットワークの実験では、局所的および周波数的にゲーティングの両方がベースラインを上回っている。
拡張短時間客観的インテリジェンススコア(ESTOI)に基づく損失関数を導入し、標準平均二乗誤差(MSE)損失関数より優れていることを示す。
論文 参考訳(メタデータ) (2020-11-08T22:04:00Z) - WaveTransform: Crafting Adversarial Examples via Input Decomposition [69.01794414018603]
本稿では,低周波サブバンドと高周波サブバンドに対応する逆雑音を生成するWaveTransformを紹介する。
実験により,提案攻撃は防衛アルゴリズムに対して有効であり,CNN間での転送も可能であることが示された。
論文 参考訳(メタデータ) (2020-10-29T17:16:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。