論文の概要: SoK: Modeling Explainability in Security Analytics for Interpretability,
Trustworthiness, and Usability
- arxiv url: http://arxiv.org/abs/2210.17376v2
- Date: Tue, 13 Jun 2023 00:19:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 18:12:02.133363
- Title: SoK: Modeling Explainability in Security Analytics for Interpretability,
Trustworthiness, and Usability
- Title（参考訳）: SoK: 解釈可能性、信頼性、ユーザビリティのためのセキュリティ分析における説明可能性のモデリング
- Authors: Dipkamal Bhusal, Rosalyn Shin, Ajay Ashok Shewale, Monish Kumar
Manikya Veerabhadran, Michael Clifford, Sara Rampazzi, Nidhi Rastogi
- Abstract要約: 高信頼のセキュリティアプリケーションにおいて、解釈可能性、信頼性、およびユーザビリティが重要な考慮事項である。
ディープラーニングモデルは、分類や予測につながる重要な特徴や要因を特定するブラックボックスとして振る舞う。
ほとんどの説明法は矛盾した説明を提供し、忠実度は低く、敵の操作に影響を受けやすい。
- 参考スコア（独自算出の注目度）: 2.656910687062026
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interpretability, trustworthiness, and usability are key considerations in
high-stake security applications, especially when utilizing deep learning
models. While these models are known for their high accuracy, they behave as
black boxes in which identifying important features and factors that led to a
classification or a prediction is difficult. This can lead to uncertainty and
distrust, especially when an incorrect prediction results in severe
consequences. Thus, explanation methods aim to provide insights into the inner
working of deep learning models. However, most explanation methods provide
inconsistent explanations, have low fidelity, and are susceptible to
adversarial manipulation, which can reduce model trustworthiness. This paper
provides a comprehensive analysis of explainable methods and demonstrates their
efficacy in three distinct security applications: anomaly detection using
system logs, malware prediction, and detection of adversarial images. Our
quantitative and qualitative analysis reveals serious limitations and concerns
in state-of-the-art explanation methods in all three applications. We show that
explanation methods for security applications necessitate distinct
characteristics, such as stability, fidelity, robustness, and usability, among
others, which we outline as the prerequisites for trustworthy explanation
methods.
- Abstract（参考訳）: 解釈性、信頼性、ユーザビリティは、特にディープラーニングモデルを利用する場合において、高度なセキュリティアプリケーションにおいて重要な考慮事項である。
これらのモデルは高い精度で知られているが、分類や予測につながる重要な特徴や要因を特定するブラックボックスとして振る舞うことは困難である。
これは不確実性と不信感につながり、特に誤った予測が深刻な結果をもたらす場合である。
このように説明手法は、ディープラーニングモデルの内部動作に関する洞察を提供することを目的としている。
しかし、ほとんどの説明法は矛盾した説明を提供し、忠実度は低く、敵の操作に敏感であり、モデルの信頼性を低下させる。
本稿では,システムログを用いた異常検出,マルウェアの予測,敵画像の検出という3つの異なるセキュリティ応用において,説明可能な手法の総合的解析を行い,その効果を実証する。
我々の量的および質的な分析は、3つの応用すべてにおいて最先端の説明手法の重大な限界と懸念を明らかにする。
セキュリティアプリケーションの説明方法は,信頼性,忠実性,堅牢性,ユーザビリティなど,異なる特性を必要とすることを示し,信頼性の高い説明方法の前提条件として概説する。
関連論文リスト
- Towards Precise Observations of Neural Model Robustness in Classification [2.127049691404299]
ディープラーニングアプリケーションでは、ロバストネスは入力データのわずかな変化を処理するニューラルネットワークの能力を測定する。
私たちのアプローチは、安全クリティカルなアプリケーションにおけるモデルロバストネスのより深い理解に寄与します。
論文 参考訳（メタデータ） (2024-04-25T09:37:44Z) - Beyond Fidelity: Explaining Vulnerability Localization of Learning-based
Detectors [10.316819421902363]
近年,ディープラーニング(DL)モデルに基づく脆弱性検出装置の有効性が証明されている。
これらの検出器の意思決定プロセスを取り巻く不透明さは、セキュリティアナリストの理解を困難にしている。
グラフおよびシーケンス表現に基づく脆弱性検出のための10種類の説明手法の性能評価を行った。
論文 参考訳（メタデータ） (2024-01-05T07:37:35Z) - On the Onset of Robust Overfitting in Adversarial Training [66.27055915739331]
Adversarial Training (AT)は、堅牢なニューラルネットワークを構築するために広く使われているアルゴリズムである。
ATは、堅牢なオーバーフィッティングの問題に悩まされているが、その基本的なメカニズムはまだ不明だ。
論文 参考訳（メタデータ） (2023-10-01T07:57:03Z) - Exploring the Trade-off between Plausibility, Change Intensity and
Adversarial Power in Counterfactual Explanations using Multi-objective
Optimization [73.89239820192894]
自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。
本稿では, 対実例生成のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-20T15:02:53Z) - Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards
Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。
正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。
人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
論文 参考訳（メタデータ） (2022-01-27T22:15:56Z) - On the Trustworthiness of Tree Ensemble Explainability Methods [0.9558392439655014]
特徴重要度法(ゲインやSHAPなど)は、このニーズに対処する最も一般的な説明可能性法の一つである。
信頼できる、意味のある説明可能性のテクニックは、正確で安定した説明を提供する必要があります。
シミュレーションと4つの実世界のデータセットを用いた包括的実験により,グローバルな特徴重要度手法の精度と安定性を評価する。
論文 参考訳（メタデータ） (2021-09-30T20:56:37Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳（メタデータ） (2020-11-15T17:26:14Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z) - Reliable Post hoc Explanations: Modeling Uncertainty in Explainability [44.9824285459365]
ブラックボックスの説明は、高レベルの設定でモデルの信頼性を確立するために、ますます採用されている。
先行研究では、最先端の技術が生み出す説明は一貫性がなく不安定であり、その正確性や信頼性についての洞察はほとんど得られないことが示されている。
局所的な説明と関連する不確実性を生成するための新しいベイズ的枠組みを開発する。
論文 参考訳（メタデータ） (2020-08-11T22:52:21Z) - A Safety Framework for Critical Systems Utilising Deep Neural Networks [13.763070043077633]
本稿では,ディープニューラルネットワークを利用したクリティカルシステムのための新しい安全引数フレームワークを提案する。
このアプローチは、例えば、ある要求をパスする将来の信頼性、あるいは必要な信頼性レベルへの信頼など、様々な形の予測を可能にする。
運用データを用いたベイズ解析と,近年のディープラーニングの検証と検証技術によって支援されている。
論文 参考訳（メタデータ） (2020-03-07T23:35:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。