論文の概要: Evaluating Deep Neural Networks in Deployment (A Comparative and Replicability Study)
- arxiv url: http://arxiv.org/abs/2407.08730v1
- Date: Thu, 11 Jul 2024 17:58:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 16:09:12.606190
- Title: Evaluating Deep Neural Networks in Deployment (A Comparative and Replicability Study)
- Title（参考訳）: デプロイにおけるディープニューラルネットワークの評価(比較と再現性の検討)
- Authors: Eduard Pinconschi, Divya Gopinath, Rui Abreu, Corina S. Pasareanu,
- Abstract要約: ディープニューラルネットワーク(DNN)は、安全クリティカルなアプリケーションでますます利用されている。
デプロイにおけるDNNの信頼性を評価するために提案されている最近のアプローチについて検討する。
複製パッケージ上でこれらのアプローチの結果を実行して再現することは困難であり、それ自身以外のアーティファクト上でも実行することがさらに困難であることに気付きました。
- 参考スコア（独自算出の注目度）: 11.242083685224554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As deep neural networks (DNNs) are increasingly used in safety-critical applications, there is a growing concern for their reliability. Even highly trained, high-performant networks are not 100% accurate. However, it is very difficult to predict their behavior during deployment without ground truth. In this paper, we provide a comparative and replicability study on recent approaches that have been proposed to evaluate the reliability of DNNs in deployment. We find that it is hard to run and reproduce the results for these approaches on their replication packages and even more difficult to run them on artifacts other than their own. Further, it is difficult to compare the effectiveness of the approaches, due to the lack of clearly defined evaluation metrics. Our results indicate that more effort is needed in our research community to obtain sound techniques for evaluating the reliability of neural networks in safety-critical domains. To this end, we contribute an evaluation framework that incorporates the considered approaches and enables evaluation on common benchmarks, using common metrics.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、安全クリティカルなアプリケーションでますます利用されているため、信頼性に対する懸念が高まっている。
高度に訓練された高性能ネットワークでさえ100%正確ではない。
しかし,本質的な真実を示さずに,展開中の行動を予測することは極めて困難である。
本稿では,DNNのデプロイメントにおける信頼性を評価するために提案されている最近のアプローチについて,比較と再現性について検討する。
複製パッケージ上でこれらのアプローチの結果を実行して再現することは困難であり、それ自身以外のアーティファクト上でも実行することがさらに困難であることに気付きました。
さらに、明確に定義された評価指標が欠如していることから、アプローチの有効性を比較することは困難である。
我々の研究コミュニティでは、安全クリティカルドメインにおけるニューラルネットワークの信頼性を評価するための音響技術を得るために、より多くの努力が必要であることを示唆している。
この目的のために,検討されたアプローチを取り入れた評価フレームワークを提供し,共通指標を用いて,共通ベンチマークの評価を可能にする。
関連論文リスト
- Towards Evaluating Transfer-based Attacks Systematically, Practically,
and Fairly [79.07074710460012]
ディープニューラルネットワーク(DNN)の敵対的脆弱性に大きな注目を集めている。
ブラックボックスDNNモデルを騙すための転送ベース手法が増えている。
30以上のメソッドを実装した転送ベースアタックベンチマーク(TA-Bench)を確立する。
論文 参考訳（メタデータ） (2023-11-02T15:35:58Z) - APPRAISER: DNN Fault Resilience Analysis Employing Approximation Errors [1.1091582432763736]
安全クリティカルなアプリケーションにおけるディープニューラルネットワーク(DNN)は、新たな信頼性の懸念を引き起こす。
エミュレーションによる断層注入の最先端手法は, 時間, 設計, 制御・複雑度の問題を引き起こす。
APPRAISERは、非伝統的な目的に関数近似を適用し、近似計算誤差を用いる。
論文 参考訳（メタデータ） (2023-05-31T10:53:46Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Generalizability of Adversarial Robustness Under Distribution Shifts [57.767152566761304]
本研究は, 実証的, 証明された敵対的堅牢性間の相互作用と, ドメインの一般化を両立させるための第一歩を踏み出した。
複数のドメインでロバストモデルをトレーニングし、その正確性とロバスト性を評価する。
本研究は, 現実の医療応用をカバーするために拡張され, 敵の増大は, クリーンデータ精度に最小限の影響を伴って, 強靭性の一般化を著しく促進する。
論文 参考訳（メタデータ） (2022-09-29T18:25:48Z) - On the Relationship Between Adversarial Robustness and Decision Region
in Deep Neural Network [26.656444835709905]
敵攻撃時のモデルロバスト性に影響を与えるディープニューラルネットワーク(DNN)の内部特性について検討する。
本稿では,より頻度の高いトレーニングサンプルを配置するPRS(Populated Region Set)の概念を提案する。
論文 参考訳（メタデータ） (2022-07-07T16:06:34Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。
DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文 参考訳（メタデータ） (2021-07-01T17:59:07Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳（メタデータ） (2021-06-18T16:34:23Z) - Data-Driven Assessment of Deep Neural Networks with Random Input
Uncertainty [14.191310794366075]
我々は,ネットワーク出力の安全性を同時に証明し,ローカライズ可能なデータ駆動最適化手法を開発した。
深部ReLUネットワークにおける提案手法の有効性とトラクタビリティを実験的に実証した。
論文 参考訳（メタデータ） (2020-10-02T19:13:35Z) - Confidence-Aware Learning for Deep Neural Networks [4.9812879456945]
本稿では,新たな損失関数であるCorrectness Ranking Lossを用いたディープニューラルネットワークのトレーニング手法を提案する。
クラス確率を明示的に規則化し、信頼度に応じて順序付けされたランキングでより良い信頼度の推定を行う。
従来の深層分類器とほぼ同じ計算コストを持ち、1つの推論で信頼性のある予測を出力する。
論文 参考訳（メタデータ） (2020-07-03T02:00:35Z) - Debona: Decoupled Boundary Network Analysis for Tighter Bounds and
Faster Adversarial Robustness Proofs [2.1320960069210484]
ニューラルネットワークは、安全クリティカルな現実世界のアプリケーションで一般的に使用される。
このような敵の例が存在しないこと、あるいは具体的な例を提供することは、安全なアプリケーションを保証するために不可欠である。
畳み込みネットワークにおける最大プーリング層上層と下層の境界の厳密な証明を行う。
論文 参考訳（メタデータ） (2020-06-16T10:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。