論文の概要: RoMA: a Method for Neural Network Robustness Measurement and Assessment
- arxiv url: http://arxiv.org/abs/2110.11088v1
- Date: Thu, 21 Oct 2021 12:01:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-22 14:32:53.126274
- Title: RoMA: a Method for Neural Network Robustness Measurement and Assessment
- Title（参考訳）: RoMA: ニューラルネットワークのロバスト性測定と評価方法
- Authors: Natan Levy and Guy Katz
- Abstract要約: ロバストネス測定・評価(RoMA)と呼ばれる新しい統計手法を提案する。
RoMAは、ランダムな入力摂動が誤分類を引き起こす可能性を決定する。
この研究を通じて得られた興味深い洞察の1つは、分類ネットワークにおいて、異なる出力ラベルが全く異なる堅牢性レベルを示すことができることである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural network models have become the leading solution for a large variety of
tasks, such as classification, language processing, protein folding, and
others. However, their reliability is heavily plagued by adversarial inputs:
small input perturbations that cause the model to produce erroneous outputs.
Adversarial inputs can occur naturally when the system's environment behaves
randomly, even in the absence of a malicious adversary, and are a severe cause
for concern when attempting to deploy neural networks within critical systems.
In this paper, we present a new statistical method, called Robustness
Measurement and Assessment (RoMA), which can measure the expected robustness of
a neural network model. Specifically, RoMA determines the probability that a
random input perturbation might cause misclassification. The method allows us
to provide formal guarantees regarding the expected frequency of errors that a
trained model will encounter after deployment. Our approach can be applied to
large-scale, black-box neural networks, which is a significant advantage
compared to recently proposed verification methods. We apply our approach in
two ways: comparing the robustness of different models, and measuring how a
model's robustness is affected by the magnitude of input perturbation. One
interesting insight obtained through this work is that, in a classification
network, different output labels can exhibit very different robustness levels.
We term this phenomenon categorial robustness. Our ability to perform risk and
robustness assessments on a categorial basis opens the door to risk mitigation,
which may prove to be a significant step towards neural network certification
in safety-critical applications.
- Abstract（参考訳）: ニューラルネットワークモデルは、分類、言語処理、タンパク質の折り畳みなど、さまざまなタスクにおいて主要なソリューションになっています。
しかし、その信頼性は、モデルが誤った出力を発生させる小さな入力摂動という、逆入力に悩まされている。
悪意のある敵がいなくても、システムの環境がランダムに振る舞うと、逆入力は自然に起こり、重要なシステムにニューラルネットワークをデプロイしようとする場合、深刻な原因となる。
本稿では,ニューラルネットワークモデルの期待ロバスト性を測定するためのロバストネス測定・評価(roma)と呼ばれる新しい統計手法を提案する。
特に、romaはランダムな入力摂動が誤分類を引き起こす確率を決定する。
この方法では、トレーニングされたモデルがデプロイ後に遭遇するエラーの予測頻度に関する正式な保証を提供することができる。
我々のアプローチは,最近提案された検証手法に比べて大きな利点を持つ大規模ブラックボックスニューラルネットワークに適用できる。
我々は、異なるモデルのロバスト性を比較し、入力摂動の大きさによってモデルのロバスト性がどのように影響を受けるかを測定する。
この研究を通じて得られた興味深い洞察は、分類ネットワークにおいて、異なる出力ラベルが全く異なる堅牢性レベルを示すことができることである。
この現象を分類的堅牢性と呼ぶ。
我々のリスク評価とロバスト性評価をカテゴリベースで行う能力は、リスク軽減への扉を開く。
関連論文リスト
- How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。
ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。
実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
論文 参考訳（メタデータ） (2023-09-07T12:02:00Z) - Towards Certified Probabilistic Robustness with High Accuracy [3.957941698534126]
Adrialの例は、ニューラルネットワーク上に構築された多くのクリティカルシステムに対して、セキュリティ上の脅威となる。
確実に堅牢で正確なニューラルネットワークモデルを構築する方法はまだオープンな問題だ。
本稿では,高い精度と高い確率ロバスト性を実現することを目的とした新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-02T09:39:47Z) - CC-Cert: A Probabilistic Approach to Certify General Robustness of
Neural Networks [58.29502185344086]
安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。
意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。
我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
論文 参考訳（メタデータ） (2021-09-22T12:46:04Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳（メタデータ） (2021-06-18T16:34:23Z) - Generating Probabilistic Safety Guarantees for Neural Network
Controllers [30.34898838361206]
ダイナミクスモデルを使用して、ニューラルネットワークコントローラが安全に動作するために保持する必要がある出力プロパティを決定します。
ニューラルネットワークポリシの近似を効率的に生成するための適応的検証手法を開発した。
本手法は,航空機衝突回避ニューラルネットワークの確率的安全性を保証することができることを示す。
論文 参考訳（メタデータ） (2021-03-01T18:48:21Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳（メタデータ） (2020-12-03T10:17:30Z) - Ramifications of Approximate Posterior Inference for Bayesian Deep
Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。
予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
論文 参考訳（メタデータ） (2020-09-03T16:58:15Z) - Gradients as a Measure of Uncertainty in Neural Networks [16.80077149399317]
本稿では,学習モデルの不確かさの定量化にバックプロパゲート勾配を用いることを提案する。
本研究では,AUROC スコアの4.8% を非分布検出において,勾配法が最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-08-18T16:58:46Z) - Hidden Cost of Randomized Smoothing [72.93630656906599]
本稿では、現在のランダム化平滑化による副作用を指摘する。
具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
論文 参考訳（メタデータ） (2020-03-02T23:37:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。