論文の概要: Understanding robustness and generalization of artificial neural networks through Fourier masks

• arxiv url: http://arxiv.org/abs/2203.08822v1
• Date: Wed, 16 Mar 2022 17:32:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-19 09:11:36.098995
• Title: Understanding robustness and generalization of artificial neural networks through Fourier masks
• Title（参考訳）: フーリエマスクによるニューラルネットワークのロバスト性理解と一般化
• Authors: Nikos Karantzas, Emma Besier, Josue Ortega Caro, Xaq Pitkow, Andreas S. Tolias, Ankit B. Patel, Fabio Anselmi
• Abstract要約: 近年の文献では、画像の低周波処理には、優れた一般化特性を持つロバストネットワークが偏っていることが示唆されている。 トレーニングされたネットワークの性能を維持するのに必要な入力周波数を強調した変調マスクを学習するアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 8.94889125739046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the enormous success of artificial neural networks (ANNs) in many disciplines, the characterization of their computations and the origin of key properties such as generalization and robustness remain open questions. Recent literature suggests that robust networks with good generalization properties tend to be biased towards processing low frequencies in images. To explore the frequency bias hypothesis further, we develop an algorithm that allows us to learn modulatory masks highlighting the essential input frequencies needed for preserving a trained network's performance. We achieve this by imposing invariance in the loss with respect to such modulations in the input frequencies. We first use our method to test the low-frequency preference hypothesis of adversarially trained or data-augmented networks. Our results suggest that adversarially robust networks indeed exhibit a low-frequency bias but we find this bias is also dependent on directions in frequency space. However, this is not necessarily true for other types of data augmentation. Our results also indicate that the essential frequencies in question are effectively the ones used to achieve generalization in the first place. Surprisingly, images seen through these modulatory masks are not recognizable and resemble texture-like patterns.
• Abstract（参考訳）: 多くの分野におけるニューラルネットワーク(ann)の成功にもかかわらず、それらの計算の特徴と一般化やロバスト性といった重要な特性の起源は未解決のままである。 最近の文献では、高一般化特性を持つロバストネットワークは、画像の低周波処理に偏りがちであることが示唆されている。 さらに周波数バイアス仮説を探索するため、トレーニングされたネットワークの性能を維持するのに必要な入力周波数を強調する変調マスクを学習できるアルゴリズムを開発した。 入力周波数におけるそのような変調に対する損失の不変性を示唆してこれを実現できる。 まず,本手法を用いて,逆訓練ネットワークやデータ提示ネットワークの低周波選好仮説を検証した。 以上の結果から,対向ロバストなネットワークは低周波バイアスを示すが,このバイアスは周波数空間の方向にも依存することがわかった。 しかし、これは必ずしも他の種類のデータ拡張には当てはまらない。 また,本研究の結果から,本質的な周波数はそもそもの一般化に有効であることが示唆された。 驚くべきことに、これらの変調マスクを通して見る画像は認識できず、テクスチャのようなパターンに似ている。

関連論文リスト

• Towards Combating Frequency Simplicity-biased Learning for Domain Generalization [36.777767173275336]
  ドメイン一般化手法は、未知のターゲットドメインによく一般化できるソースドメインから、転送可能な知識を学習することを目的としている。 近年の研究では、ニューラルネットワークはしばしば、特定の周波数セットに対する過度な信頼につながる単純さに偏った学習行動に悩まされていることが示されている。 本稿では,データセットの周波数特性を協調的かつ適応的に調整する2つの効果的なデータ拡張モジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:17:01Z)
• Accelerating Inference of Networks in the Frequency Domain [8.125023712173686]
  本稿では,周波数パラメータが疎いネットワークを高速化するために,周波数領域におけるネットワーク推論を提案する。 特に、空間領域におけるネットワーク推論に双対な周波数推論連鎖を提案する。 提案手法は,高速比(100倍以上)の場合の精度を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-06T03:34:38Z)
• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• Model-based learning for location-to-channel mapping [0.0]
  本稿では,ターゲットマッピング関数の高周波成分から低周波を分離するフラガー型モデルベースネットワークを提案する。 これにより、ニューラルネットワークは、高周波成分の辞書において、低周波スパース係数のみを学習するハイパーネットワークアーキテクチャが得られる。 シミュレーションの結果,提案したニューラルネットワークは,現実的な合成データに対する標準的なアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-28T07:39:53Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Masked Frequency Modeling for Self-Supervised Visual Pre-Training [102.89756957704138]
  MFM(Masked Frequency Modeling)は、視覚モデルの自己教師付き事前学習のための統合周波数領域に基づくアプローチである。 MFMはまず入力画像の周波数成分の一部をマスクアウトし、周波数スペクトルの欠落周波数を予測する。 MFMは初めて、ViTとCNNの両方で、単純な非シームフレームワークは、以下のものを使って意味のある表現を学習できることを示した。
  論文  参考訳（メタデータ） (2022-06-15T17:58:30Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• WaveTransform: Crafting Adversarial Examples via Input Decomposition [69.01794414018603]
  本稿では,低周波サブバンドと高周波サブバンドに対応する逆雑音を生成するWaveTransformを紹介する。 実験により,提案攻撃は防衛アルゴリズムに対して有効であり,CNN間での転送も可能であることが示された。
  論文  参考訳（メタデータ） (2020-10-29T17:16:59Z)
• Local Convolutions Cause an Implicit Bias towards High Frequency Adversarial Examples [15.236551149698496]
  敵攻撃は依然としてニューラルネットワークにとって重要な課題である。 近年の研究では、逆行性摂動は一般的に高周波の特徴を含むことが示されている。 我々は、現在のニューラルネットワークで一般的に使用される局所的な(すなわち有界幅)畳み込み操作は、暗黙的にバイアスを受け、高周波の特徴を学習する、という仮説を立てる。
  論文  参考訳（メタデータ） (2020-06-19T23:50:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。