論文の概要: Local Convolutions Cause an Implicit Bias towards High Frequency
Adversarial Examples
- arxiv url: http://arxiv.org/abs/2006.11440v4
- Date: Wed, 8 Dec 2021 00:10:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 04:05:08.890535
- Title: Local Convolutions Cause an Implicit Bias towards High Frequency
Adversarial Examples
- Title（参考訳）: 高周波対応事例に対する急激なバイアスを引き起こす局所的畳み込み
- Authors: Josue Ortega Caro, Yilong Ju, Ryan Pyle, Sourav Dey, Wieland Brendel,
Fabio Anselmi, Ankit Patel
- Abstract要約: 敵攻撃は依然としてニューラルネットワークにとって重要な課題である。
近年の研究では、逆行性摂動は一般的に高周波の特徴を含むことが示されている。
我々は、現在のニューラルネットワークで一般的に使用される局所的な(すなわち有界幅)畳み込み操作は、暗黙的にバイアスを受け、高周波の特徴を学習する、という仮説を立てる。
- 参考スコア（独自算出の注目度）: 15.236551149698496
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adversarial Attacks are still a significant challenge for neural networks.
Recent work has shown that adversarial perturbations typically contain
high-frequency features, but the root cause of this phenomenon remains unknown.
Inspired by theoretical work on linear full-width convolutional models, we
hypothesize that the local (i.e. bounded-width) convolutional operations
commonly used in current neural networks are implicitly biased to learn high
frequency features, and that this is one of the root causes of high frequency
adversarial examples. To test this hypothesis, we analyzed the impact of
different choices of linear and nonlinear architectures on the implicit bias of
the learned features and the adversarial perturbations, in both spatial and
frequency domains. We find that the high-frequency adversarial perturbations
are critically dependent on the convolution operation because the
spatially-limited nature of local convolutions induces an implicit bias towards
high frequency features. The explanation for the latter involves the Fourier
Uncertainty Principle: a spatially-limited (local in the space domain) filter
cannot also be frequency-limited (local in the frequency domain). Furthermore,
using larger convolution kernel sizes or avoiding convolutions (e.g. by using
Vision Transformers architecture) significantly reduces this high frequency
bias, but not the overall susceptibility to attacks. Looking forward, our work
strongly suggests that understanding and controlling the implicit bias of
architectures will be essential for achieving adversarial robustness.
- Abstract（参考訳）: 敵攻撃は依然としてニューラルネットワークにとって重要な課題である。
近年の研究では、逆向摂動は一般的に高周波の特徴を含むことが示されているが、この現象の根本原因は不明である。
線形全幅畳み込みモデルの理論的な研究から着想を得た我々は、現在のニューラルネットワークでよく用いられる局所的(有界幅)畳み込み操作は、暗黙的に高周波数特性を学習するために偏りがあり、これは高周波対向例の根本原因の1つであると仮定する。
この仮説を検証するために,空間領域と周波数領域の両方において,線形および非線形アーキテクチャの異なる選択が学習特徴の暗黙的バイアスと逆摂動に与える影響を解析した。
局所畳み込みの空間的限定性は高周波特性に対して暗黙のバイアスを生じさせるため,高周波逆向摂動は畳み込み操作に致命的に依存することがわかった。
後者の説明はフーリエ不確実性原理(英語版)(Fourier Uncertainty Principle)であり、空間的に制限されたフィルタ(空間領域では局所)は周波数制限されない(周波数領域では局所)。
さらに、より大きな畳み込みカーネルサイズを使用するか、あるいは畳み込みを避ける(ビジョントランスフォーマーアーキテクチャを使用するなど)ことで、この高周波バイアスは大幅に減少するが、攻撃に対する全体的な感受性は低下しない。
将来的には,アーキテクチャの暗黙のバイアスの理解と制御が,敵対的堅牢性を達成する上で不可欠であることを強く示唆する。
関連論文リスト
- Spatial-Frequency Discriminability for Revealing Adversarial Perturbations [53.279716307171604]
敵の摂動に対するディープニューラルネットワークの脆弱性は、コンピュータビジョンコミュニティで広く認識されている。
現在のアルゴリズムは、通常、自然および敵対的なデータの識別的分解を通じて、敵のパターンを検出する。
空間周波数Krawtchouk分解に基づく識別検出器を提案する。
論文 参考訳（メタデータ） (2023-05-18T10:18:59Z) - A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳（メタデータ） (2023-05-16T20:06:01Z) - Understanding the Spectral Bias of Coordinate Based MLPs Via Training
Dynamics [2.9443230571766854]
本稿では,ReLUネットワークの計算結果と勾配勾配収束速度の関連性について検討する。
次に、この定式化を用いて、低次元設定におけるスペクトルバイアスの重症度と位置符号化がこれを克服する方法について研究する。
論文 参考訳（メタデータ） (2023-01-14T04:21:25Z) - Reminiscence of classical chaos in driven transmons [117.851325578242]
共振器外ドライブでさえ、トランスモンスペクトルの構造に強い変化をもたらし、その大部分がカオスであることを示す。
その結果、カオス誘起量子分解効果の出現を特徴付ける光子数しきい値が導かれる。
論文 参考訳（メタデータ） (2022-07-19T16:04:46Z) - Understanding robustness and generalization of artificial neural
networks through Fourier masks [8.94889125739046]
近年の文献では、画像の低周波処理には、優れた一般化特性を持つロバストネットワークが偏っていることが示唆されている。
トレーニングされたネットワークの性能を維持するのに必要な入力周波数を強調した変調マスクを学習するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-03-16T17:32:00Z) - A Frequency Perspective of Adversarial Robustness [72.48178241090149]
理論的および経験的知見を参考に,周波数に基づく対向例の理解について述べる。
分析の結果,逆転例は高周波でも低周波成分でもないが,単にデータセット依存であることがわかった。
本稿では、一般に観測される精度対ロバスト性トレードオフの周波数に基づく説明法を提案する。
論文 参考訳（メタデータ） (2021-10-26T19:12:34Z) - Spectral Bias in Practice: The Role of Function Frequency in
Generalization [10.7218588164913]
現代の画像分類網におけるスペクトルバイアスを測定する手法を提案する。
一般化するネットワークは、データの適合に十分な複雑さを持つと同時に、過度な適合を避けるのに十分な単純さとバランスをとっています。
我々の研究は、画像分類に使用されるニューラルネットワークのスペクトル挙動の測定と制御を可能にする。
論文 参考訳（メタデータ） (2021-10-06T00:16:10Z) - F-FADE: Frequency Factorization for Anomaly Detection in Edge Streams [53.70940420595329]
エッジストリームにおける異常検出のための新しいアプローチであるF-FADEを提案する。
ノード対間の相互作用の周波数の時間進化分布を効率的にモデル化するために、新しい周波数分解技術を用いる。
F-FADEは、一定メモリしか必要とせず、時間的および構造的な変化を伴う幅広い種類の異常をオンラインストリーミング環境で処理できる。
論文 参考訳（メタデータ） (2020-11-09T19:55:40Z) - WaveTransform: Crafting Adversarial Examples via Input Decomposition [69.01794414018603]
本稿では,低周波サブバンドと高周波サブバンドに対応する逆雑音を生成するWaveTransformを紹介する。
実験により,提案攻撃は防衛アルゴリズムに対して有効であり,CNN間での転送も可能であることが示された。
論文 参考訳（メタデータ） (2020-10-29T17:16:59Z) - Spatial Frequency Bias in Convolutional Generative Adversarial Networks [14.564246294896396]
畳み込みGANが分布を学習する能力は、下層のキャリア信号の空間周波数に大きく影響していることを示す。
このバイアスは、単に自然画像における高頻度の欠如の結果であるだけでなく、データセットの優位性に関わらず、高頻度の学習を妨げる体系的バイアスであることを示す。
論文 参考訳（メタデータ） (2020-10-04T03:05:29Z) - Robust Learning with Frequency Domain Regularization [1.370633147306388]
モデルのフィルタの周波数スペクトルを制約し,新しい正規化手法を提案する。
本研究では,(1)対向的摂動を抑えること,(2)異なるアーキテクチャにおける一般化のギャップを小さくすること,(3)微調整を伴わない伝達学習シナリオにおける一般化能力を向上させることによる正規化の有効性を実証する。
論文 参考訳（メタデータ） (2020-07-07T07:29:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。