論文の概要: An Overview of Structural Coverage Metrics for Testing Neural Networks
- arxiv url: http://arxiv.org/abs/2208.03407v1
- Date: Fri, 5 Aug 2022 23:37:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 12:51:23.895565
- Title: An Overview of Structural Coverage Metrics for Testing Neural Networks
- Title(参考訳): ニューラルネットワークテストのための構造的カバレッジ指標の概要
- Authors: Muhammad Usman, Youcheng Sun, Divya Gopinath, Rishi Dange, Luca
Manolache, Corina S. Pasareanu
- Abstract要約: ディープニューラルネットワーク(DNN)モデルは、さまざまなシナリオで確実に機能するように、徹底的にテストする必要がある。
我々は、DNNモデルをテストするための構造的カバレッジ指標について概説する。例えば、ニューロンカバレッジ(NC)、kマルチセクションニューロンカバレッジ(kMNC)、トップkニューロンカバレッジ(TKNC)、ニューロン境界カバレッジ(NBC)、強いニューロンアクティベーションカバレッジ(SNAC)、修正条件/決定カバレッジ(MC/DC)である。
また、これらのメトリクスに対するテストカバレッジを測定するツールであるDNNCovも提供しています。
- 参考スコア(独自算出の注目度): 15.75167816958815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural network (DNN) models, including those used in safety-critical
domains, need to be thoroughly tested to ensure that they can reliably perform
well in different scenarios. In this article, we provide an overview of
structural coverage metrics for testing DNN models, including neuron coverage
(NC), k-multisection neuron coverage (kMNC), top-k neuron coverage (TKNC),
neuron boundary coverage (NBC), strong neuron activation coverage (SNAC) and
modified condition/decision coverage (MC/DC). We evaluate the metrics on
realistic DNN models used for perception tasks (including LeNet-1, LeNet-4,
LeNet-5, and ResNet20) as well as on networks used in autonomy (TaxiNet). We
also provide a tool, DNNCov, which can measure the testing coverage for all
these metrics. DNNCov outputs an informative coverage report to enable
researchers and practitioners to assess the adequacy of DNN testing, compare
different coverage measures, and to more conveniently inspect the model's
internals during testing.
- Abstract(参考訳): 安全クリティカルなドメインで使用されるものを含むディープニューラルネットワーク(DNN)モデルは、さまざまなシナリオで確実に機能するように、徹底的にテストする必要がある。
本稿では、DNNモデルをテストするための構造的カバレッジ指標について概説する。例えば、ニューロンカバレッジ(NC)、kマルチセクションニューロンカバレッジ(kMNC)、トップkニューロンカバレッジ(TKNC)、ニューロン境界カバレッジ(NBC)、強いニューロンアクティベーションカバレッジ(SNAC)、条件/決定カバレッジ(MC/DC)である。
我々は,認識タスク(LeNet-1,LeNet-4,LeNet-5,ResNet20を含む)に使用される現実的なDNNモデルと,自律性(TaxiNet)に使用されるネットワークのメトリクスを評価する。
また、これらのメトリクスに対するテストカバレッジを測定するツールであるDNNCovも提供しています。
DNNCovは、研究者や実践者がDNNテストの妥当性を評価し、異なるカバレッジ対策を比較し、テスト中のモデルの内部をより便利に検査できるように、情報的なカバレッジレポートを出力する。
関連論文リスト
- NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。
我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。
さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文 参考訳(メタデータ) (2024-08-28T02:17:58Z) - Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。
動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。
以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
論文 参考訳(メタデータ) (2024-08-08T16:48:33Z) - Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。
完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。
予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文 参考訳(メタデータ) (2024-01-19T23:48:04Z) - Explainable Cost-Sensitive Deep Neural Networks for Brain Tumor
Detection from Brain MRI Images considering Data Imbalance [0.0]
CNN、ResNet50、InceptionV3、EfficientNetB0、NASNetMobileの5つのモデルを含む自動パイプラインが提案されている。
提案アーキテクチャの性能はバランスの取れたデータセットで評価され、微調整されたInceptionV3モデルに対して99.33%の精度が得られた。
トレーニングプロセスをさらに最適化するために、不均衡なデータセットを扱うために、コストに敏感なニューラルネットワークアプローチが提案されている。
論文 参考訳(メタデータ) (2023-08-01T15:35:06Z) - Model-Agnostic Reachability Analysis on Deep Neural Networks [25.54542656637704]
我々はDeepAgnと呼ばれるモデルに依存しない検証フレームワークを開発した。
FNN、リカレントニューラルネットワーク(RNN)、あるいは両者の混合に適用することができる。
レイヤやパラメータといったネットワークの内部構造にアクセスする必要はない。
論文 参考訳(メタデータ) (2023-04-03T09:01:59Z) - Black-Box Testing of Deep Neural Networks through Test Case Diversity [1.4700751484033807]
ブラックボックスの入力多様性指標を,ホワイトボックスのカバレッジ基準の代替として検討した。
実験により,テスト入力セットに埋め込まれた画像特徴の多様性に依存することが,カバレッジ基準よりも信頼性の高い指標であることが確認された。
論文 参考訳(メタデータ) (2021-12-20T20:12:53Z) - Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。
我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。
逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
論文 参考訳(メタデータ) (2021-11-16T16:14:44Z) - Explore the Knowledge contained in Network Weights to Obtain Sparse
Neural Networks [2.649890751459017]
本稿では,ニューラルネットワーク(NN)における疎結合層の自動獲得のための新しい学習手法を提案する。
タスクニューラルネットワーク(TNN)の構造を最適化するためにスイッチングニューラルネットワーク(SNN)を設計する。
論文 参考訳(メタデータ) (2021-03-26T11:29:40Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳(メタデータ) (2021-03-14T20:43:19Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳(メタデータ) (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。