論文の概要: SoK: Explainable Machine Learning for Computer Security Applications
- arxiv url: http://arxiv.org/abs/2208.10605v1
- Date: Mon, 22 Aug 2022 21:23:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-24 14:05:28.985732
- Title: SoK: Explainable Machine Learning for Computer Security Applications
- Title（参考訳）: SoK: コンピュータセキュリティアプリケーションのための説明可能な機械学習
- Authors: Azqa Nadeem, Dani\"el Vos, Clinton Cao, Luca Pajola, Simon Dieck,
Robert Baumgartner, Sicco Verwer
- Abstract要約: 我々は、サイバーセキュリティタスクにXAIメソッドを開発し、活用する、ますます増加する(しかし断片化された)研究のマイクロコズムを体系化する。
MLパイプライン内の5つの異なる目的のためにXAIを利用する3つのサイバーセキュリティステークホルダー、すなわち、モデルユーザー、デザイナ、および敵を特定します。
- 参考スコア（独自算出の注目度）: 9.078841062353561
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Explainable Artificial Intelligence (XAI) is a promising solution to improve
the transparency of machine learning (ML) pipelines. We systematize the
increasingly growing (but fragmented) microcosm of studies that develop and
utilize XAI methods for defensive and offensive cybersecurity tasks. We
identify 3 cybersecurity stakeholders, i.e., model users, designers, and
adversaries, that utilize XAI for 5 different objectives within an ML pipeline,
namely 1) XAI-enabled decision support, 2) applied XAI for security tasks, 3)
model verification via XAI, 4) explanation verification & robustness, and 5)
offensive use of explanations. We further classify the literature w.r.t. the
targeted security domain. Our analysis of the literature indicates that many of
the XAI applications are designed with little understanding of how they might
be integrated into analyst workflows -- user studies for explanation evaluation
are conducted in only 14% of the cases. The literature also rarely disentangles
the role of the various stakeholders. Particularly, the role of the model
designer is minimized within the security literature. To this end, we present
an illustrative use case accentuating the role of model designers. We
demonstrate cases where XAI can help in model verification and cases where it
may lead to erroneous conclusions instead. The systematization and use case
enable us to challenge several assumptions and present open problems that can
help shape the future of XAI within cybersecurity
- Abstract（参考訳）: 説明可能な人工知能(XAI)は、機械学習(ML)パイプラインの透明性を改善するための有望なソリューションである。
我々は、XAIメソッドを防御および攻撃的なサイバーセキュリティタスクに利用し、成長する(しかし断片化された)研究のマイクロスコープを体系化する。
我々は、XAIをMLパイプライン内の5つの異なる目的のために利用する3つのサイバーセキュリティステークホルダー、すなわち、モデルユーザー、デザイナー、敵を識別する。
1)XAI対応意思決定支援
2)セキュリティタスクにXAIを適用した。
3)XAIによるモデル検証
4) 検証・堅牢性、及び
5) 説明の悪用。
我々はさらに、ターゲットセキュリティドメインに関する文献を分類する。
文献を分析したところ、XAIアプリケーションの多くは、アナリストワークフローにどのように統合されるのかをほとんど理解せずに設計されていることが示されています。
文学は様々な利害関係者の役割を乱すことは滅多にない。
特に、モデルデザイナの役割は、セキュリティ文献の中で最小化される。
そこで,本稿では,モデル設計者の役割を強調する事例を紹介する。
XAIがモデル検証に役立てるケースと、その代わりに誤った結論につながる可能性のあるケースを示す。
システム化とユースケースは、サイバーセキュリティにおけるXAIの未来を形作るのに役立ついくつかの仮定に挑戦し、オープンな問題を提示することを可能にする。
関連論文リスト
- More Questions than Answers? Lessons from Integrating Explainable AI into a Cyber-AI Tool [1.5711133309434766]
ソースコード分類におけるXAIの使用に関する予備的事例研究について述べる。
我々は、AIの専門知識がほとんどない人々によって解釈されると、最先端の正当性説明技法の出力が翻訳で失われることを発見した。
実用的で効果的なXAIにおける非適応的なギャップを概説し、次に、LLM(Large Language Models)のような新興技術が、これらの既存の障害を緩和する方法について触れます。
論文 参考訳（メタデータ） (2024-08-08T20:09:31Z) - Explainable AI-based Intrusion Detection System for Industry 5.0: An Overview of the Literature, associated Challenges, the existing Solutions, and Potential Research Directions [3.99098935469955]
産業5.0は、製造において様々なタスクを実行するための人間と人工知能(AI)の協力に焦点を当てている。
これらのデバイスと、経済、健康、教育、防衛システムなど、さまざまな重要な分野における相互接続の巨大な関与は、いくつかの潜在的なセキュリティ欠陥を引き起こしている。
XAIは、侵入検知、マルウェア検出、フィッシング検出など、さまざまなサイバーセキュリティ分野において、非常に効果的で強力なツールであることが証明されている。
論文 参考訳（メタデータ） (2024-07-21T09:28:05Z) - How Human-Centered Explainable AI Interface Are Designed and Evaluated: A Systematic Survey [48.97104365617498]
Em Explainable Interfaces (EIs) の登場する領域は,XAI のユーザインターフェースとユーザエクスペリエンス設計に重点を置いている。
本稿では,人間とXAIの相互作用の現在の動向と,EI設計・開発に向けた将来的な方向性を明らかにするために,53の出版物を体系的に調査する。
論文 参考訳（メタデータ） (2024-03-21T15:44:56Z) - Usable XAI: 10 Strategies Towards Exploiting Explainability in the LLM Era [77.174117675196]
XAIはLarge Language Models (LLM)に拡張されている
本稿では,XAIがLLMやAIシステムにどのようなメリットをもたらすかを分析する。
10の戦略を導入し、それぞれに重要なテクニックを導入し、関連する課題について議論します。
論文 参考訳（メタデータ） (2024-03-13T20:25:27Z) - Explainable AI for Safe and Trustworthy Autonomous Driving: A Systematic Review [12.38351931894004]
本稿では,安全かつ信頼性の高い自動運転のための説明可能な手法に関する,最初の体系的な文献レビューを紹介する。
我々は、ADにおける安全で信頼性の高いAIに対するXAIの5つの重要な貢献を特定し、それらは解釈可能な設計、解釈可能な代理モデル、解釈可能なモニタリング、補助的な説明、解釈可能な検証である。
我々は、これらのコントリビューションを統合するためにSafeXと呼ばれるモジュラーフレームワークを提案し、同時にAIモデルの安全性を確保しながら、ユーザへの説明提供を可能にした。
論文 参考訳（メタデータ） (2024-02-08T09:08:44Z) - Explainable Authorship Identification in Cultural Heritage Applications:
Analysis of a New Perspective [48.031678295495574]
既存の汎用eXplainable Artificial Intelligence(XAI)技術のAIへの応用について検討する。
特に,3種類のAIdタスクにおける3種類のXAIテクニックの相対的メリットを評価した。
我々の分析によると、これらの技術は、説明可能なオーサシップの特定に向けて重要な第一歩を踏み出すが、まだ多くの作業が続けられている。
論文 参考訳（メタデータ） (2023-11-03T20:51:15Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳（メタデータ） (2022-11-12T21:54:05Z) - Explainable Intrusion Detection Systems (X-IDS): A Survey of Current
Methods, Challenges, and Opportunities [0.0]
侵入検知システム(IDS)は、大量のデータを高い予測精度で処理できるため、広く採用されている。
深層学習(DL)技術を用いて設計されたIDSは、ブラックボックスモデルとして扱われることが多く、予測の正当化は提供されない。
この調査では、IDSの最先端AI(XAI)とその現在の課題についてレビューし、これらの課題がX-IDSの設計にどのように当てはまるかを論じる。
論文 参考訳（メタデータ） (2022-07-13T14:31:46Z) - Connecting Algorithmic Research and Usage Contexts: A Perspective of
Contextualized Evaluation for Explainable AI [65.44737844681256]
説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。
このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
論文 参考訳（メタデータ） (2022-06-22T05:17:33Z) - XAI for Cybersecurity: State of the Art, Challenges, Open Issues and
Future Directions [16.633632244131775]
AIモデルは、開発者が特定の決定の背後にある理由の説明や追跡ができないブラックボックスとして現れることが多い。
説明可能なAI(XAI)は、情報を抽出し、結果を視覚化するのに役立つ、急速に成長する研究分野である。
本報告では,サイバーセキュリティと攻撃形態について概説する。
次に、従来のAI技術の使用とその関連する課題について議論し、様々なアプリケーションでXAIを使用するための扉を開く。
論文 参考訳（メタデータ） (2022-06-03T02:15:30Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳（メタデータ） (2020-08-15T10:11:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。