論文の概要: Can we Defend Against the Unknown? An Empirical Study About Threshold Selection for Neural Network Monitoring
- arxiv url: http://arxiv.org/abs/2405.08654v2
- Date: Tue, 21 May 2024 07:38:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 17:43:12.955309
- Title: Can we Defend Against the Unknown? An Empirical Study About Threshold Selection for Neural Network Monitoring
- Title（参考訳）: 未知を擁護できるか? ニューラルネットワークモニタリングのための閾値選択に関する実証的研究
- Authors: Khoi Tran Dang, Kevin Delmas, Jérémie Guiochet, Joris Guérin,
- Abstract要約: 実行時モニタリングは、推論中に安全でない予測を拒否するために必須である。
安全と安全でない予測の分布の分離性を最大化する拒絶スコアを確立するために様々な技術が出現している。
実世界のアプリケーションでは、効果的なモニターは、これらのスコアを意味のあるバイナリ決定に変換するための適切なしきい値を特定する必要がある。
- 参考スコア（独自算出の注目度）: 6.8734954619801885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the increasing use of neural networks in critical systems, runtime monitoring becomes essential to reject unsafe predictions during inference. Various techniques have emerged to establish rejection scores that maximize the separability between the distributions of safe and unsafe predictions. The efficacy of these approaches is mostly evaluated using threshold-agnostic metrics, such as the area under the receiver operating characteristic curve. However, in real-world applications, an effective monitor also requires identifying a good threshold to transform these scores into meaningful binary decisions. Despite the pivotal importance of threshold optimization, this problem has received little attention. A few studies touch upon this question, but they typically assume that the runtime data distribution mirrors the training distribution, which is a strong assumption as monitors are supposed to safeguard a system against potentially unforeseen threats. In this work, we present rigorous experiments on various image datasets to investigate: 1. The effectiveness of monitors in handling unforeseen threats, which are not available during threshold adjustments. 2. Whether integrating generic threats into the threshold optimization scheme can enhance the robustness of monitors.
- Abstract（参考訳）: クリティカルシステムにおけるニューラルネットワークの利用の増加に伴い、推論中に安全でない予測を拒否するためには、ランタイム監視が不可欠である。
安全と安全でない予測の分布の分離性を最大化する拒絶スコアを確立するために様々な技術が出現している。
これらの手法の有効性は、主にレシーバーの動作特性曲線の下の領域のような閾値に依存しない測定値を用いて評価される。
しかし、実世界のアプリケーションでは、効果的なモニターはこれらのスコアを意味のあるバイナリ決定に変換するための適切なしきい値を特定する必要がある。
しきい値最適化の重要さにもかかわらず、この問題はほとんど注目されていない。
この問題にはいくつかの研究が触れているが、一般的には、実行時のデータ配信がトレーニングの配布を反映していると仮定する。
本稿では,様々な画像データセットに関する厳密な実験について述べる。
1. しきい値調整時に利用できない、予期せぬ脅威に対処するモニターの有効性。
2) 総合的な脅威をしきい値最適化手法に組み込むことで, モニターの堅牢性を高めることができるか。
関連論文リスト
- Verification of Neural Reachable Tubes via Scenario Optimization and Conformal Prediction [10.40899456282141]
Hamilton-Jacobiリーチビリティ分析は、そのような保証を提供するための一般的な形式的検証ツールである。
DeepReachは、高次元システムのための到達可能なチューブと安全コントローラの合成に使用されている。
本稿では,確率論的安全性を保証するために,頑健なシナリオ最適化と共形予測に基づく2つの検証手法を提案する。
論文 参考訳（メタデータ） (2023-12-14T02:03:36Z) - Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。
提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
論文 参考訳（メタデータ） (2023-01-17T01:46:45Z) - Out-Of-Distribution Detection Is Not All You Need [0.0]
我々は,OOD検出は効率的なランタイムモニタの設計に適したフレームワークではないと主張している。
OOD設定におけるモニタの学習は誤解を招く可能性があることを示す。
また、誤ったトレーニングデータサンプルを削除することで、より良いモニターをトレーニングできることも示しています。
論文 参考訳（メタデータ） (2022-11-29T12:40:06Z) - Tracking the risk of a deployed model and detecting harmful distribution
shifts [105.27463615756733]
実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。
我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
論文 参考訳（メタデータ） (2021-10-12T17:21:41Z) - Learning Uncertainty For Safety-Oriented Semantic Segmentation In
Autonomous Driving [77.39239190539871]
自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。
相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。
本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
論文 参考訳（メタデータ） (2021-05-28T09:23:05Z) - Exploring Robustness of Unsupervised Domain Adaptation in Semantic
Segmentation [74.05906222376608]
クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。
i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
論文 参考訳（メタデータ） (2021-05-23T01:50:44Z) - Increasing the Confidence of Deep Neural Networks by Coverage Analysis [71.57324258813674]
本稿では、異なる安全でない入力に対してモデルを強化するために、カバレッジパラダイムに基づく軽量な監視アーキテクチャを提案する。
実験結果から,提案手法は強力な対向例とアウト・オブ・ディストリビューション・インプットの両方を検出するのに有効であることが示唆された。
論文 参考訳（メタデータ） (2021-01-28T16:38:26Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Anomaly Detection in Unsupervised Surveillance Setting Using Ensemble of
Multimodal Data with Adversarial Defense [0.3867363075280543]
本稿では,実時間画像とIMUセンサデータの異常度を推定するアンサンブル検出機構を提案する。
提案手法は,IEEE SP Cup-2020データセットで97.8%の精度で良好に動作する。
論文 参考訳（メタデータ） (2020-07-17T20:03:02Z) - An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear
Analysis [68.8204255655161]
人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。
シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
論文 参考訳（メタデータ） (2020-07-14T15:47:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。