論文の概要: Towards Precise Observations of Neural Model Robustness in Classification
- arxiv url: http://arxiv.org/abs/2404.16457v1
- Date: Thu, 25 Apr 2024 09:37:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 14:09:25.182957
- Title: Towards Precise Observations of Neural Model Robustness in Classification
- Title(参考訳): 分類におけるニューラルモデルロバストネスの精密観察に向けて
- Authors: Wenchuan Mu, Kwan Hui Lim,
- Abstract要約: ディープラーニングアプリケーションでは、ロバストネスは入力データのわずかな変化を処理するニューラルネットワークの能力を測定する。
私たちのアプローチは、安全クリティカルなアプリケーションにおけるモデルロバストネスのより深い理解に寄与します。
- 参考スコア(独自算出の注目度): 2.127049691404299
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In deep learning applications, robustness measures the ability of neural models that handle slight changes in input data, which could lead to potential safety hazards, especially in safety-critical applications. Pre-deployment assessment of model robustness is essential, but existing methods often suffer from either high costs or imprecise results. To enhance safety in real-world scenarios, metrics that effectively capture the model's robustness are needed. To address this issue, we compare the rigour and usage conditions of various assessment methods based on different definitions. Then, we propose a straightforward and practical metric utilizing hypothesis testing for probabilistic robustness and have integrated it into the TorchAttacks library. Through a comparative analysis of diverse robustness assessment methods, our approach contributes to a deeper understanding of model robustness in safety-critical applications.
- Abstract(参考訳): ディープラーニングアプリケーションでは、ロバストネスは入力データのわずかな変更を処理するニューラルモデルの性能を測定し、特に安全クリティカルなアプリケーションにおいて、潜在的な安全性の危険をもたらす可能性がある。
モデルロバスト性の事前デプロイ評価は不可欠であるが、既存の手法は高コストまたは不正確な結果に悩まされることが多い。
現実世界のシナリオの安全性を高めるためには、モデルの堅牢性を効果的に捉えるメトリクスが必要である。
この問題に対処するために、異なる定義に基づいて様々な評価手法の厳密さと使用状況を比較した。
そこで本研究では,確率的ロバスト性に対する仮説テストを利用した簡易かつ実用的な尺度を提案し,それをTorchAttacksライブラリに統合した。
各種ロバスト性評価手法の比較分析を通じて, 本手法は安全クリティカルなアプリケーションにおけるモデルロバスト性に関する深い理解に寄与する。
関連論文リスト
- Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。
本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
論文 参考訳(メタデータ) (2024-07-10T09:13:11Z) - Towards Certified Probabilistic Robustness with High Accuracy [3.957941698534126]
Adrialの例は、ニューラルネットワーク上に構築された多くのクリティカルシステムに対して、セキュリティ上の脅威となる。
確実に堅牢で正確なニューラルネットワークモデルを構築する方法はまだオープンな問題だ。
本稿では,高い精度と高い確率ロバスト性を実現することを目的とした新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-02T09:39:47Z) - Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。
本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。
新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
論文 参考訳(メタデータ) (2023-07-19T12:11:15Z) - SoK: Modeling Explainability in Security Analytics for Interpretability,
Trustworthiness, and Usability [2.656910687062026]
高信頼のセキュリティアプリケーションにおいて、解釈可能性、信頼性、およびユーザビリティが重要な考慮事項である。
ディープラーニングモデルは、分類や予測につながる重要な特徴や要因を特定するブラックボックスとして振る舞う。
ほとんどの説明法は矛盾した説明を提供し、忠実度は低く、敵の操作に影響を受けやすい。
論文 参考訳(メタデータ) (2022-10-31T15:01:49Z) - Quantifying Robustness to Adversarial Word Substitutions [24.164523751390053]
深層学習に基づくNLPモデルは単語置換摂動に弱いことが判明した。
単語レベルの堅牢性を評価するための形式的枠組みを提案する。
メトリックは、BERTのような最先端のモデルが、いくつかの単語置換によって簡単に騙される理由を理解するのに役立ちます。
論文 参考訳(メタデータ) (2022-01-11T08:18:39Z) - Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。
本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文 参考訳(メタデータ) (2021-05-17T08:36:18Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z) - Evaluating the Safety of Deep Reinforcement Learning Models using
Semi-Formal Verification [81.32981236437395]
本稿では,区間分析に基づく半形式的意思決定手法を提案する。
本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。
提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
論文 参考訳(メタデータ) (2020-10-19T11:18:06Z) - Neural Bridge Sampling for Evaluating Safety-Critical Autonomous Systems [34.945482759378734]
シミュレーションの安全性評価には確率論的アプローチを用いており、危険事象の確率を計算することに関心がある。
探索, 利用, 最適化技術を組み合わせて, 故障モードを見つけ, 発生率を推定する新しいレアイベントシミュレーション手法を開発した。
論文 参考訳(メタデータ) (2020-08-24T17:46:27Z) - SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。
我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。
アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
論文 参考訳(メタデータ) (2020-06-12T10:40:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。