論文の概要: Robust Learning with Frequency Domain Regularization

• arxiv url: http://arxiv.org/abs/2007.03244v1
• Date: Tue, 7 Jul 2020 07:29:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 18:48:03.666926
• Title: Robust Learning with Frequency Domain Regularization
• Title（参考訳）: 周波数領域正規化によるロバスト学習
• Authors: Weiyu Guo, Yidong Ouyang
• Abstract要約: モデルのフィルタの周波数スペクトルを制約し,新しい正規化手法を提案する。 本研究では,(1)対向的摂動を抑えること,(2)異なるアーキテクチャにおける一般化のギャップを小さくすること,(3)微調整を伴わない伝達学習シナリオにおける一般化能力を向上させることによる正規化の有効性を実証する。
• 参考スコア（独自算出の注目度）: 1.370633147306388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolution neural networks have achieved remarkable performance in many tasks of computing vision. However, CNN tends to bias to low frequency components. They prioritize capturing low frequency patterns which lead them fail when suffering from application scenario transformation. While adversarial example implies the model is very sensitive to high frequency perturbations. In this paper, we introduce a new regularization method by constraining the frequency spectra of the filter of the model. Different from band-limit training, our method considers the valid frequency range probably entangles in different layers rather than continuous and trains the valid frequency range end-to-end by backpropagation. We demonstrate the effectiveness of our regularization by (1) defensing to adversarial perturbations; (2) reducing the generalization gap in different architecture; (3) improving the generalization ability in transfer learning scenario without fine-tune.
• Abstract（参考訳）: 畳み込みニューラルネットワークは、コンピュータビジョンの多くのタスクにおいて顕著な性能を達成した。 しかし、CNNは低周波成分に偏りがある。 アプリケーションシナリオの変換に苦しむ場合にフェールする低頻度パターンのキャプチャを優先する。 逆の例は、モデルが高周波摂動に対して非常に敏感であることを示している。 本稿では,モデルのフィルタの周波数スペクトルを制約することにより,新たな正規化手法を提案する。 帯域制限トレーニングと異なり,連続的ではなく異なる層で有効な周波数範囲が絡み合っており,バックプロパゲーションによりエンドツーエンドで有効な周波数範囲を訓練する。 本研究は,(1)逆摂動に対する防御,(2)異なるアーキテクチャにおける一般化ギャップの低減、(3)微調整を伴わない転向学習シナリオにおける一般化能力の向上による正規化の有効性を示す。

関連論文リスト

• Towards Combating Frequency Simplicity-biased Learning for Domain Generalization [36.777767173275336]
  ドメイン一般化手法は、未知のターゲットドメインによく一般化できるソースドメインから、転送可能な知識を学習することを目的としている。 近年の研究では、ニューラルネットワークはしばしば、特定の周波数セットに対する過度な信頼につながる単純さに偏った学習行動に悩まされていることが示されている。 本稿では,データセットの周波数特性を協調的かつ適応的に調整する2つの効果的なデータ拡張モジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:17:01Z)
• Accelerating Inference of Networks in the Frequency Domain [8.125023712173686]
  本稿では,周波数パラメータが疎いネットワークを高速化するために,周波数領域におけるネットワーク推論を提案する。 特に、空間領域におけるネットワーク推論に双対な周波数推論連鎖を提案する。 提案手法は,高速比(100倍以上)の場合の精度を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-06T03:34:38Z)
• Tuning Frequency Bias of State Space Models [48.60241978021799]
  状態空間モデル(SSM)は、線形時間不変(LTI)システムを利用して、長距離依存のシーケンスを学習する。 その結果,SSMは低周波成分を高周波成分よりも効果的に捕捉する傾向を示した。
  論文  参考訳（メタデータ） (2024-10-02T21:04:22Z)
• What do neural networks learn in image classification? A frequency shortcut perspective [3.9858496473361402]
  本研究では,ニューラルネットワーク(NN)における周波数ショートカットの学習力学を実験的に研究する。 NNは、分類のための単純な解を見つける傾向があり、訓練中に最初に何を学ぶかは、最も特徴的な周波数特性に依存する。 本稿では,クラスワイズ周波数特性を測定するための指標と,周波数ショートカットの同定方法を提案する。
  論文  参考訳（メタデータ） (2023-07-19T08:34:25Z)
• Frequency Domain Adversarial Training for Robust Volumetric Medical Segmentation [111.61781272232646]
  医療などの重要な応用において、ディープラーニングモデルの堅牢性を確保することが不可欠である。 本稿では,ボリューム医療画像分割モデルに対する3次元周波数領域対逆攻撃について述べる。
  論文  参考訳（メタデータ） (2023-07-14T10:50:43Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Frequency Dropout: Feature-Level Regularization via Randomized Filtering [24.53978165468098]
  深層畳み込みニューラルネットワークは、トレーニング信号から急激な相関を拾うことができる。 本稿では、畳み込みニューラルネットワークが周波数固有の画像特徴を学習するのを防ぐためのトレーニング戦略である周波数ドロップアウトを提案する。 提案手法は,予測精度の向上だけでなく,ドメインシフトに対する堅牢性の向上も示唆している。
  論文  参考訳（メタデータ） (2022-09-20T16:42:21Z)
• Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
  本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。 我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-27T14:25:52Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Dense Pruning of Pointwise Convolutions in the Frequency Domain [10.58456555092086]
  本研究では,各点層を離散コサイン変換(DCT)でラップする手法を提案する。 スパース演算子に依存する重み打ち法とは異なり、連続周波数帯打ち法は完全な密度計算をもたらす。 提案手法をMobileNetV2に適用することにより,計算時間を22%削減し,精度を1%向上させる。
  論文  参考訳（メタデータ） (2021-09-16T04:02:45Z)
• WaveTransform: Crafting Adversarial Examples via Input Decomposition [69.01794414018603]
  本稿では,低周波サブバンドと高周波サブバンドに対応する逆雑音を生成するWaveTransformを紹介する。 実験により,提案攻撃は防衛アルゴリズムに対して有効であり,CNN間での転送も可能であることが示された。
  論文  参考訳（メタデータ） (2020-10-29T17:16:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。