論文の概要: On the Robustness and Anomaly Detection of Sparse Neural Networks

• arxiv url: http://arxiv.org/abs/2207.04227v1
• Date: Sat, 9 Jul 2022 09:03:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 15:22:47.656152
• Title: On the Robustness and Anomaly Detection of Sparse Neural Networks
• Title（参考訳）: スパースニューラルネットワークのロバスト性と異常検出について
• Authors: Morgane Ayle, Bertrand Charpentier, John Rachwan, Daniel Z\"ugner, Simon Geisler, Stephan G\"unnemann
• Abstract要約: スパシティーによってネットワークがより堅牢になり、異常検知がより良くなることを示す。 また, 構造的疎水性は, 高価なロバスト性および検出方法の複雑さを低減するのに大いに有効であることを示す。 本稿では,適切な刈り取り法から得られた重みの感度を利用して異常サンプルを検出する新しい手法であるSensNormを紹介する。
• 参考スコア（独自算出の注目度）: 28.832060124537843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The robustness and anomaly detection capability of neural networks are crucial topics for their safe adoption in the real-world. Moreover, the over-parameterization of recent networks comes with high computational costs and raises questions about its influence on robustness and anomaly detection. In this work, we show that sparsity can make networks more robust and better anomaly detectors. To motivate this even further, we show that a pre-trained neural network contains, within its parameter space, sparse subnetworks that are better at these tasks without any further training. We also show that structured sparsity greatly helps in reducing the complexity of expensive robustness and detection methods, while maintaining or even improving their results on these tasks. Finally, we introduce a new method, SensNorm, which uses the sensitivity of weights derived from an appropriate pruning method to detect anomalous samples in the input.
• Abstract（参考訳）: ニューラルネットワークの堅牢性と異常検出能力は、現実世界での安全な採用にとって重要なトピックである。 さらに、最近のネットワークの過剰パラメータ化は高い計算コストを伴い、そのロバスト性や異常検出への影響について疑問を投げかけている。 本研究では,sparsityがネットワークをより堅牢にし,異常検出能力を向上させることを示す。 さらにこれを動機づけるために、事前学習されたニューラルネットワークは、パラメータ空間内で、これらのタスクでより優れたスパースサブネットを含んでいることを示す。 また,高コストなロバスト性や検出手法の複雑さを低減しつつ,これらのタスクにおける結果の維持や改善にも有効であることを示す。 最後に,適切な刈り取り法から得られた重みの感度を利用して,入力中の異常サンプルを検出する新しい手法であるSensNormを提案する。

関連論文リスト

• Automated Design of Linear Bounding Functions for Sigmoidal Nonlinearities in Neural Networks [23.01933325606068]
  既存の完全検証技術は、すべての堅牢性クエリに対して証明可能な保証を提供するが、小さなニューラルネットワークを超えてスケールするのに苦労する。 本稿では,これらの線形近似の品質向上のためのパラメータ探索手法を提案する。 具体的には、最先端のアルゴリズム構成手法によって与えられた検証問題に慎重に適応する単純な探索手法を用いることで、最先端技術よりも平均で25%のグローバルローバウンドを向上することを示す。
  論文  参考訳（メタデータ） (2024-06-14T16:16:26Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Enhancing Robustness of Neural Networks through Fourier Stabilization [18.409463838775558]
  本稿では,二元入力を用いた回避ロバストニューラルネットワークの設計のための新しいアプローチであるemphFourier安定化を提案する。 提案手法の有効性を実験的に検証し,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2021-06-08T15:12:31Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Towards Robust Neural Networks via Close-loop Control [12.71446168207573]
  深層ニューラルネットワークは、ブラックボックスの性質のため、様々な摂動に弱い。 近年の研究では、入力データが知覚不可能な量で摂動しても、ディープニューラルネットワークがデータを誤分類できることが示されている。
  論文  参考訳（メタデータ） (2021-02-03T03:50:35Z)
• Increasing the Confidence of Deep Neural Networks by Coverage Analysis [71.57324258813674]
  本稿では、異なる安全でない入力に対してモデルを強化するために、カバレッジパラダイムに基づく軽量な監視アーキテクチャを提案する。 実験結果から,提案手法は強力な対向例とアウト・オブ・ディストリビューション・インプットの両方を検出するのに有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-01-28T16:38:26Z)
• Noise Sensitivity-Based Energy Efficient and Robust Adversary Detection in Neural Networks [3.125321230840342]
  逆の例は、愚かな分類器ネットワークに注意深く浸透した入力であり、一方で人間には変化がない。 本稿では,深層ニューラルネットワーク(DNN)を検出器サブネットワークで拡張する構造化手法を提案する。 本手法は,実例に対する最先端検出器のロバスト性が向上することを示す。
  論文  参考訳（メタデータ） (2021-01-05T14:31:53Z)
• ResGCN: Attention-based Deep Residual Modeling for Anomaly Detection on Attributed Networks [10.745544780660165]
  ResGCN(Residual Graph Convolutional Network)は、注目に基づくディープ・残差モデリング手法である。 ResGCNは属性ネットワーク内の異常ノードを効果的に検出できることを示す。
  論文  参考訳（メタデータ） (2020-09-30T15:24:51Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。