論文の概要: A Systematic Approach to Robustness Modelling for Deep Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2401.13751v1
• Date: Wed, 24 Jan 2024 19:12:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 16:34:26.743291
• Title: A Systematic Approach to Robustness Modelling for Deep Convolutional Neural Networks
• Title（参考訳）: 深部畳み込みニューラルネットワークのロバスト性モデリングへの体系的アプローチ
• Authors: Charles Meyers, Mohammad Reza Saleh Sedghpour, Tommy L\"ofstedt, Erik Elmroth
• Abstract要約: 最近の研究は、より大きなモデルが制御された列車やテストセット外のデータに一般化できるかどうかという疑問を提起している。 本稿では,障害発生確率を時間関数としてモデル化する手法を提案する。 コスト、ロバスト性、レイテンシ、信頼性のトレードオフについて検討し、より大きなモデルが敵のロバスト性に大きく寄与しないことを示す。
• 参考スコア（独自算出の注目度）: 0.294944680995069
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Convolutional neural networks have shown to be widely applicable to a large number of fields when large amounts of labelled data are available. The recent trend has been to use models with increasingly larger sets of tunable parameters to increase model accuracy, reduce model loss, or create more adversarially robust models -- goals that are often at odds with one another. In particular, recent theoretical work raises questions about the ability for even larger models to generalize to data outside of the controlled train and test sets. As such, we examine the role of the number of hidden layers in the ResNet model, demonstrated on the MNIST, CIFAR10, CIFAR100 datasets. We test a variety of parameters including the size of the model, the floating point precision, and the noise level of both the training data and the model output. To encapsulate the model's predictive power and computational cost, we provide a method that uses induced failures to model the probability of failure as a function of time and relate that to a novel metric that allows us to quickly determine whether or not the cost of training a model outweighs the cost of attacking it. Using this approach, we are able to approximate the expected failure rate using a small number of specially crafted samples rather than increasingly larger benchmark datasets. We demonstrate the efficacy of this technique on both the MNIST and CIFAR10 datasets using 8-, 16-, 32-, and 64-bit floating-point numbers, various data pre-processing techniques, and several attacks on five configurations of the ResNet model. Then, using empirical measurements, we examine the various trade-offs between cost, robustness, latency, and reliability to find that larger models do not significantly aid in adversarial robustness despite costing significantly more to train.
• Abstract（参考訳）: 畳み込みニューラルネットワークは、大量のラベル付きデータがある場合、多くのフィールドに広く適用可能であることが示されている。 最近のトレンドは、より大きく調整可能なパラメータセットを持つモデルを使用して、モデルの精度を高めたり、モデル損失を減らしたり、より敵対的に頑健なモデルを作成したりしている。 特に、最近の理論的研究は、より大きなモデルが制御された列車やテストセット外のデータに一般化する能力について疑問を投げかける。 そこで我々は,MNIST, CIFAR10, CIFAR100データセット上で実証されたResNetモデルにおける隠蔽層数の役割について検討した。 モデルのサイズ、浮動小数点精度、トレーニングデータとモデル出力の両方のノイズレベルなど、さまざまなパラメータをテストする。 モデルの予測能力と計算コストをカプセル化するために、誘導故障を利用して障害の確率を時間関数としてモデル化し、モデルのトレーニングコストがそれを攻撃するコストを上回るか否かを迅速に判断できる新しいメトリクスと関連づける手法を提供する。 このアプローチを用いることで、より大規模なベンチマークデータセットではなく、少数の特殊なサンプルを使用して、予想される失敗率を近似することができる。 8ビット、16ビット、32ビット、64ビットの浮動小数点数、様々なデータプリプロセッシング技術、resnetモデルの5つの構成に対するいくつかの攻撃を用いて、mnistとcifar10の両方でこの手法の有効性を実証する。 そして,実験的な測定値を用いて,コスト,ロバスト性,レイテンシ,信頼性の相違点を検討した。

関連論文リスト

• A Cost-Aware Approach to Adversarial Robustness in Neural Networks [1.622320874892682]
  本稿では,ハードウェア選択,バッチサイズ,エポック数,テストセット精度の影響を測定するために,高速化された故障時間モデルを提案する。 我々は、複数のGPUタイプを評価し、モデルの堅牢性を最大化し、モデル実行時間を同時に最小化するためにTree Parzen Estimatorを使用します。
  論文  参考訳（メタデータ） (2024-09-11T20:43:59Z)
• Robust Feature Inference: A Test-time Defense Strategy using Spectral Projections [12.807619042576018]
  我々はロバスト特徴推論(RFI)と呼ばれる新しいテスト時間防衛戦略を提案する。 RFIは、追加のテスト時間計算なしで既存の(ロバストな)トレーニング手順と簡単に統合できる。 RFIは、適応攻撃や転送攻撃によるロバスト性を継続的に改善することを示す。
  論文  参考訳（メタデータ） (2023-07-21T16:18:58Z)
• Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries [69.53730499849023]
  また, 予測誤差を誘導するために, 逆例を独立に学習した別のモデルに移すことが可能であることを示す。 本稿では,頑健な伝達可能な特徴抽出器(RTFE)と呼ばれる,ディープラーニングに基づく事前処理機構を提案する。
  論文  参考訳（メタデータ） (2022-09-14T21:09:34Z)
• Latent Boundary-guided Adversarial Training [61.43040235982727]
  モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。 本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:40:55Z)
• Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
  敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。 最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。 我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
  論文  参考訳（メタデータ） (2022-03-18T01:12:18Z)
• A Frequency Perspective of Adversarial Robustness [72.48178241090149]
  理論的および経験的知見を参考に,周波数に基づく対向例の理解について述べる。 分析の結果,逆転例は高周波でも低周波成分でもないが,単にデータセット依存であることがわかった。 本稿では、一般に観測される精度対ロバスト性トレードオフの周波数に基づく説明法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T19:12:34Z)
• Consistent Counterfactuals for Deep Models [25.1271020453651]
  ファクトファクトの例は、金融や医療診断といった重要な領域における機械学習モデルの予測を説明するために使用される。 本稿では,初期訓練条件に小さな変更を加えた深層ネットワークにおける実例に対するモデル予測の整合性について検討する。
  論文  参考訳（メタデータ） (2021-10-06T23:48:55Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Detection Defense Against Adversarial Attacks with Saliency Map [7.736844355705379]
  ニューラルネットワークは、人間の視覚にほとんど受容できない敵の例に弱いことがよく確認されている。 既存の防衛は、敵の攻撃に対するモデルの堅牢性を強化する傾向にある。 本稿では,新たな雑音と組み合わせた新しい手法を提案し,不整合戦略を用いて敵のサンプルを検出する。
  論文  参考訳（メタデータ） (2020-09-06T13:57:17Z)
• Regularizers for Single-step Adversarial Training [49.65499307547198]
  本稿では,1ステップの対数学習手法を用いて,ロバストモデル学習を支援する3種類の正則化器を提案する。 正規化器は、ロバストモデルと擬ロバストモデルとを区別する特性を利用することにより、勾配マスキングの効果を緩和する。
  論文  参考訳（メタデータ） (2020-02-03T09:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。