論文の概要: FrequencyLowCut Pooling -- Plug & Play against Catastrophic Overfitting
- arxiv url: http://arxiv.org/abs/2204.00491v1
- Date: Fri, 1 Apr 2022 14:51:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-04 15:22:29.402277
- Title: FrequencyLowCut Pooling -- Plug & Play against Catastrophic Overfitting
- Title（参考訳）: 周波数LowCut Pooling -- 破滅的なオーバーフィッティングに対するプラグ&プレイ
- Authors: Julia Grabinski, Steffen Jung, Janis Keuper and Margret Keuper
- Abstract要約: 本稿では,任意のCNNアーキテクチャに簡単に接続可能な,自由なダウンサンプリング操作を提案する。
実験の結果,単純かつ高速なFGSM逆行訓練と組み合わせることで,超パラメータフリー演算子がモデルロバスト性を大幅に向上することがわかった。
- 参考スコア（独自算出の注目度）: 12.062691258844628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over the last years, Convolutional Neural Networks (CNNs) have been the
dominating neural architecture in a wide range of computer vision tasks. From
an image and signal processing point of view, this success might be a bit
surprising as the inherent spatial pyramid design of most CNNs is apparently
violating basic signal processing laws, i.e. Sampling Theorem in their
down-sampling operations. However, since poor sampling appeared not to affect
model accuracy, this issue has been broadly neglected until model robustness
started to receive more attention. Recent work [17] in the context of
adversarial attacks and distribution shifts, showed after all, that there is a
strong correlation between the vulnerability of CNNs and aliasing artifacts
induced by poor down-sampling operations. This paper builds on these findings
and introduces an aliasing free down-sampling operation which can easily be
plugged into any CNN architecture: FrequencyLowCut pooling. Our experiments
show, that in combination with simple and fast FGSM adversarial training, our
hyper-parameter free operator significantly improves model robustness and
avoids catastrophic overfitting.
- Abstract（参考訳）: 過去数年間、畳み込みニューラルネットワーク(cnns)は、幅広いコンピュータビジョンタスクにおいて、ニューラルネットワークアーキテクチャを支配してきた。
画像と信号処理の観点からすると、ほとんどのcnnの固有の空間ピラミッド設計は、サンプリング定理のような基本的な信号処理法則に違反しているように見えるため、この成功は少々驚きかもしれない。
しかし, モデル精度に悪影響を及ぼさないため, モデルロバスト性が注目されるようになるまで, この問題は広く無視されてきた。
敵対的攻撃と分布シフトの文脈における最近の研究[17]は、結局、cnnの脆弱性と、ダウンサンプリング操作の貧弱さによって引き起こされたエイリアスアーティファクトとの間に強い相関があることを示した。
本稿では,これらの知見に基づいて,任意のCNNアーキテクチャに簡単に接続可能なフリーダウンサンプリング操作を提案する。
我々の実験は、単純かつ高速なFGSM逆行訓練と組み合わせることで、ハイパーパラメータフリーオペレーターがモデル堅牢性を大幅に改善し、破滅的なオーバーフィッティングを回避することを示した。
関連論文リスト
- Transferability of Convolutional Neural Networks in Stationary Learning
Tasks [96.00428692404354]
本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。
このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。
以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
論文 参考訳（メタデータ） (2023-07-21T13:51:45Z) - Fix your downsampling ASAP! Be natively more robust via Aliasing and
Spectral Artifact free Pooling [11.72025865314187]
畳み込みニューラルネットワークは、画像に一連の畳み込み、正規化、非線形性、およびダウンサンプリング操作をエンコードする。
以前の研究では、サンプリング中のわずかなミスでさえエイリアスに繋がる可能性があることが、ネットワークの堅牢性の欠如に直接起因していることが示された。
本稿では,アーティファクトを含まないアーティファクト・プール・ショートASAPを提案する。
論文 参考訳（メタデータ） (2023-07-19T07:47:23Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳（メタデータ） (2023-06-14T01:24:42Z) - On the effectiveness of partial variance reduction in federated learning
with heterogeneous data [27.527995694042506]
クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。
そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。
同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
論文 参考訳（メタデータ） (2022-12-05T11:56:35Z) - Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。
最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。
我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
論文 参考訳（メタデータ） (2022-11-24T19:09:44Z) - Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討
信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。
一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
論文 参考訳（メタデータ） (2022-02-14T07:45:51Z) - Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。
本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。
最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文 参考訳（メタデータ） (2021-08-16T03:58:00Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-07-07T16:59:14Z) - How Convolutional Neural Networks Deal with Aliasing [0.0]
画像分類器cnnは、原則としてアンチエイリアスフィルタを実装できるが、中間層でエイリアスが発生するのを防げないことを示す。
まず,入力時の発振を識別するCNNの能力を評価し,中間チャネルの冗長性がタスクの成功に重要な役割を担っていることを示す。
第2に、画像分類器CNNは、原則として、アンチエイリアスフィルタを実装することができるが、中間層でエイリアスを行うのを妨げないことを示す。
論文 参考訳（メタデータ） (2021-02-15T18:52:47Z) - Generating Black-Box Adversarial Examples in Sparse Domain [2.879036956042183]
ブラックボックスの敵対攻撃は、攻撃者がモデルやトレーニングデータセットに関する知識を持っていない攻撃の一種です。
画像の最も重要な情報が観察できる一方で,スパース領域においてブラックボックス攻撃を発生させる新しい手法を提案する。
論文 参考訳（メタデータ） (2021-01-22T20:45:33Z) - When to Use Convolutional Neural Networks for Inverse Problems [40.60063929073102]
本稿では,畳み込みニューラルネットワークを,畳み込みスパース符号問題に対する近似解とみなすことができることを示す。
ある種の逆問題に対して、CNN近似は性能の低下につながると論じる。
具体的には、JPEGアーチファクトの低減と非剛性軌道再構成をCNNの逆問題として同定する。
論文 参考訳（メタデータ） (2020-03-30T21:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。