論文の概要: Measuring Overfitting in Convolutional Neural Networks using Adversarial
Perturbations and Label Noise
- arxiv url: http://arxiv.org/abs/2209.13382v1
- Date: Tue, 27 Sep 2022 13:40:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 15:59:18.734672
- Title: Measuring Overfitting in Convolutional Neural Networks using Adversarial
Perturbations and Label Noise
- Title（参考訳）: 逆摂動とラベルノイズを用いた畳み込みニューラルネットワークのオーバーフィッティング計測
- Authors: Svetlana Pavlitskaya, Jo\"el Oswald and J.Marius Z\"ollner
- Abstract要約: 過度に適合したニューラルネットワークは、目に見えないデータに一般化するよりも、トレーニングデータのノイズを記憶する傾向がある。
本稿では,VGG と ResNet に基づくアーキテクチャにおけるオーバーフィッティング対策について紹介する。
モデルプール外における複数のCNNアーキテクチャの過適合度を測定することにより,提案手法の適用性を評価する。
- 参考スコア（独自算出の注目度）: 3.395452700023097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although numerous methods to reduce the overfitting of convolutional neural
networks (CNNs) exist, it is still not clear how to confidently measure the
degree of overfitting. A metric reflecting the overfitting level might be,
however, extremely helpful for the comparison of different architectures and
for the evaluation of various techniques to tackle overfitting. Motivated by
the fact that overfitted neural networks tend to rather memorize noise in the
training data than generalize to unseen data, we examine how the training
accuracy changes in the presence of increasing data perturbations and study the
connection to overfitting. While previous work focused on label noise only, we
examine a spectrum of techniques to inject noise into the training data,
including adversarial perturbations and input corruptions. Based on this, we
define two new metrics that can confidently distinguish between correct and
overfitted models. For the evaluation, we derive a pool of models for which the
overfitting behavior is known beforehand. To test the effect of various
factors, we introduce several anti-overfitting measures in architectures based
on VGG and ResNet and study their impact, including regularization techniques,
training set size, and the number of parameters. Finally, we assess the
applicability of the proposed metrics by measuring the overfitting degree of
several CNN architectures outside of our model pool.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)の過剰フィッティングを減らす多くの方法が存在するが、オーバーフィッティングの程度を自信を持って測定する方法はまだ明確ではない。
しかし、オーバーフィッティングレベルを反映したメトリックは、異なるアーキテクチャの比較やオーバーフィッティングに取り組むための様々なテクニックの評価に非常に役立つかもしれない。
過適合ニューラルネットワークは,非知覚データよりもトレーニングデータにノイズを記憶する傾向が強いため,データ摂動増加の有無でトレーニング精度がどう変化するのかを検証し,オーバーフィッティングとの関連について検討する。
従来の研究はラベルノイズのみに焦点を絞ったものだったが、敵の摂動や入力の破損などを含むトレーニングデータにノイズを注入する手法のスペクトルについて検討した。
これに基づいて、正しいモデルと過剰なモデルとを自信を持って区別できる2つの新しいメトリクスを定義します。
評価のために、オーバーフィッティング動作が事前に分かっているモデルのプールを導出する。
様々な要因の影響を検証すべく,vggとresnetに基づくアーキテクチャにおいて,いくつかのオーバーフィット対策を導入し,正規化手法,トレーニングセットサイズ,パラメータ数など,その影響について検討した。
最後に,モデルプール外の複数のcnnアーキテクチャのオーバーフィット度を測定することにより,提案手法の適用性を評価する。
関連論文リスト
- Uncertainty estimation via ensembles of deep learning models and dropout layers for seismic traces [27.619194576741673]
本研究では, 第一運動極性に基づく地震波形の分類を行うために, 畳み込みニューラルネットワーク(CNN)を開発した。
我々は不確実性を推定するためにネットワークのアンサンブルを構築した。
ネットワークのアンサンブルの不確実性推定能力は,ドロップアウト層を用いて向上することができる。
論文 参考訳（メタデータ） (2024-10-08T15:22:15Z) - Systematic Evaluation of Synthetic Data Augmentation for Multi-class NetFlow Traffic [2.5182419298876857]
マルチクラス分類モデルは特定のタイプの攻撃を識別し、より標的的で効果的なインシデント応答を可能にする。
最近の進歩は、生成モデルがデータの増大を補助し、不均衡なデータセットに対して優れたソリューションを提供すると主張することを示唆している。
本実験は,トレーニングデータのバランスをとる再サンプリング手法が,分類性能を確実に向上させるものではないことを示唆している。
論文 参考訳（メタデータ） (2024-08-28T12:44:07Z) - On the Condition Monitoring of Bolted Joints through Acoustic Emission and Deep Transfer Learning: Generalization, Ordinal Loss and Super-Convergence [0.12289361708127876]
本稿では, 畳み込みニューラルネットワーク(CNN)を用いた深部伝達学習を用いて, 音響放射を用いたボルト付き関節のモニタリングを行う。
3本のボルトで接続された2本の細いビームからなる構造であるORION-AEベンチマークを用いて,本手法の性能評価を行った。
論文 参考訳（メタデータ） (2024-05-29T13:07:21Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - Pre-training via Denoising for Molecular Property Prediction [53.409242538744444]
本稿では,3次元分子構造の大規模データセットを平衡に利用した事前学習手法について述べる。
近年のノイズレギュラー化の進展に触発されて, 事前学習の目的は, 雑音の除去に基づくものである。
論文 参考訳（メタデータ） (2022-05-31T22:28:34Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳（メタデータ） (2022-03-25T19:57:19Z) - On the benefits of robust models in modulation recognition [53.391095789289736]
畳み込み層を用いたディープニューラルネットワーク(DNN)は、通信における多くのタスクにおいて最先端である。
画像分類のような他の領域では、DNNは敵の摂動に弱いことが示されている。
最新モデルの堅牢性をテストするための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-27T19:58:06Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳（メタデータ） (2020-12-03T10:17:30Z) - Solving Inverse Problems With Deep Neural Networks -- Robustness
Included? [3.867363075280544]
近年の研究では、複数の画像再構成タスクにおけるディープニューラルネットワークの不安定性が指摘されている。
分類における敵対的攻撃と類似して、入力領域のわずかな歪みが深刻な成果物を生じさせる可能性が示された。
本稿では、未決定の逆問題を解決するためのディープラーニングベースのアルゴリズムの堅牢性について広範な研究を行うことにより、この懸念に新たな光を当てる。
論文 参考訳（メタデータ） (2020-11-09T09:33:07Z) - Ramifications of Approximate Posterior Inference for Bayesian Deep
Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。
予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
論文 参考訳（メタデータ） (2020-09-03T16:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。