論文の概要: Frequency Dropout: Feature-Level Regularization via Randomized Filtering
- arxiv url: http://arxiv.org/abs/2209.09844v1
- Date: Tue, 20 Sep 2022 16:42:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 18:44:48.718221
- Title: Frequency Dropout: Feature-Level Regularization via Randomized Filtering
- Title（参考訳）: 周波数降下:ランダムフィルタによる特徴レベル正規化
- Authors: Mobarakol Islam and Ben Glocker
- Abstract要約: 深層畳み込みニューラルネットワークは、トレーニング信号から急激な相関を拾うことができる。
本稿では、畳み込みニューラルネットワークが周波数固有の画像特徴を学習するのを防ぐためのトレーニング戦略である周波数ドロップアウトを提案する。
提案手法は,予測精度の向上だけでなく,ドメインシフトに対する堅牢性の向上も示唆している。
- 参考スコア（独自算出の注目度）: 24.53978165468098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep convolutional neural networks have shown remarkable performance on
various computer vision tasks, and yet, they are susceptible to picking up
spurious correlations from the training signal. So called `shortcuts' can occur
during learning, for example, when there are specific frequencies present in
the image data that correlate with the output predictions. Both high and low
frequencies can be characteristic of the underlying noise distribution caused
by the image acquisition rather than in relation to the task-relevant
information about the image content. Models that learn features related to this
characteristic noise will not generalize well to new data.
In this work, we propose a simple yet effective training strategy, Frequency
Dropout, to prevent convolutional neural networks from learning
frequency-specific imaging features. We employ randomized filtering of feature
maps during training which acts as a feature-level regularization. In this
study, we consider common image processing filters such as Gaussian smoothing,
Laplacian of Gaussian, and Gabor filtering. Our training strategy is
model-agnostic and can be used for any computer vision task. We demonstrate the
effectiveness of Frequency Dropout on a range of popular architectures and
multiple tasks including image classification, domain adaptation, and semantic
segmentation using both computer vision and medical imaging datasets. Our
results suggest that the proposed approach does not only improve predictive
accuracy but also improves robustness against domain shift.
- Abstract（参考訳）: 深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて顕著な性能を示してきたが、トレーニング信号から急激な相関関係を拾うことができる。
いわゆる「ショートカット」は、例えば、出力予測と相関する画像データに特定の周波数が存在する場合、学習中に発生する。
高周波数と低周波数は、画像内容に関するタスク関連情報よりも、画像取得によって引き起こされる基礎的なノイズ分布に特徴付けられる。
この特性ノイズに関する特徴を学習するモデルは、新しいデータにうまく一般化しません。
本研究では、畳み込みニューラルネットワークが周波数固有の画像特徴を学習するのを防ぐため、シンプルで効果的なトレーニング戦略である周波数降下法を提案する。
我々は,機能レベルの正規化として機能する特徴マップをランダムにフィルタリングする。
本研究ではgaussian smoothing, laplacian of gaussian, gabor filterなどの画像処理フィルタについて検討する。
私たちのトレーニング戦略はモデルに依存しず、あらゆるコンピュータビジョンタスクに使用できる。
本研究では,画像分類,ドメイン適応,意味セグメンテーションなどのタスクにおいて,コンピュータビジョンと医用画像データセットの双方を用いた周波数ドロップアウトの有効性を示す。
提案手法は,予測精度の向上だけでなく,ドメインシフトに対する堅牢性の向上も示唆している。
関連論文リスト
- Frequency-Guided Masking for Enhanced Vision Self-Supervised Learning [49.275450836604726]
本稿では、事前学習の有効性を大幅に向上させる、新しい周波数ベースの自己監視学習(SSL)手法を提案する。
我々は、知識蒸留によって強化された2ブランチのフレームワークを使用し、モデルがフィルタされた画像と原画像の両方を入力として取り込むことを可能にする。
論文 参考訳（メタデータ） (2024-09-16T15:10:07Z) - Augmenting Deep Learning Adaptation for Wearable Sensor Data through
Combined Temporal-Frequency Image Encoding [4.458210211781739]
本稿では、時間領域情報と周波数領域情報をシームレスに統合した、新しい修正繰り返しプロットベースの画像表現を提案する。
加速度センサを用いた活動認識データと事前訓練されたResNetモデルを用いて提案手法の評価を行い,既存の手法と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2023-07-03T09:29:27Z) - Masked Image Training for Generalizable Deep Image Denoising [53.03126421917465]
本稿では,デノナイジングネットワークの一般化性能を高めるための新しい手法を提案する。
提案手法では,入力画像のランダムなピクセルをマスキングし,学習中に欠落した情報を再構成する。
提案手法は,他のディープラーニングモデルよりも優れた一般化能力を示し,実世界のシナリオに直接適用可能である。
論文 参考訳（メタデータ） (2023-03-23T09:33:44Z) - Preservation of High Frequency Content for Deep Learning-Based Medical
Image Classification [74.84221280249876]
大量の胸部ラジオグラフィーの効率的な分析は、医師や放射線技師を助けることができる。
本稿では,視覚情報の効率的な識別と符号化のための離散ウェーブレット変換(DWT)を提案する。
論文 参考訳（メタデータ） (2022-05-08T15:29:54Z) - Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。
提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
論文 参考訳（メタデータ） (2021-04-26T19:31:21Z) - An Effective Anti-Aliasing Approach for Residual Networks [27.962502376542588]
周波数エイリアス(英: Frequency aliasing)とは、画像や特徴マップなどの信号のサブサンプリング時に発生する現象であり、サブサンプリング出力の歪みを引き起こす。
トレーニング不能なぼかしフィルタを配置し,キー位置でスムーズなアクティベーション関数を用いることで,この効果を緩和できることを示す。
これらの単純なアーキテクチャ変更は、ImageNet-C上の自然な汚職による画像分類とMeta-Datasetでの少数ショット学習の両方において、アウト・オブ・ディストリビューションの一般化を大幅に改善する。
論文 参考訳（メタデータ） (2020-11-20T22:55:57Z) - WaveTransform: Crafting Adversarial Examples via Input Decomposition [69.01794414018603]
本稿では,低周波サブバンドと高周波サブバンドに対応する逆雑音を生成するWaveTransformを紹介する。
実験により,提案攻撃は防衛アルゴリズムに対して有効であり,CNN間での転送も可能であることが示された。
論文 参考訳（メタデータ） (2020-10-29T17:16:59Z) - Robust Learning with Frequency Domain Regularization [1.370633147306388]
モデルのフィルタの周波数スペクトルを制約し,新しい正規化手法を提案する。
本研究では,(1)対向的摂動を抑えること,(2)異なるアーキテクチャにおける一般化のギャップを小さくすること,(3)微調整を伴わない伝達学習シナリオにおける一般化能力を向上させることによる正規化の有効性を実証する。
論文 参考訳（メタデータ） (2020-07-07T07:29:20Z) - Frequency learning for image classification [1.9336815376402716]
本稿では、トレーニング可能な周波数フィルタからなる入力画像のフーリエ変換を探索する新しい手法を提案する。
画像ブロックの周波数領域表現からグローバル特徴とローカル特徴の両方を学習するスライシング手法を提案する。
論文 参考訳（メタデータ） (2020-06-28T00:32:47Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳（メタデータ） (2020-03-03T07:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。