論文の概要: SoK: Explainable Machine Learning for Computer Security Applications
- arxiv url: http://arxiv.org/abs/2208.10605v1
- Date: Mon, 22 Aug 2022 21:23:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-24 14:05:28.985732
- Title: SoK: Explainable Machine Learning for Computer Security Applications
- Title(参考訳): SoK: コンピュータセキュリティアプリケーションのための説明可能な機械学習
- Authors: Azqa Nadeem, Dani\"el Vos, Clinton Cao, Luca Pajola, Simon Dieck,
Robert Baumgartner, Sicco Verwer
- Abstract要約: 我々は、サイバーセキュリティタスクにXAIメソッドを開発し、活用する、ますます増加する(しかし断片化された)研究のマイクロコズムを体系化する。
MLパイプライン内の5つの異なる目的のためにXAIを利用する3つのサイバーセキュリティステークホルダー、すなわち、モデルユーザー、デザイナ、および敵を特定します。
- 参考スコア(独自算出の注目度): 9.078841062353561
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Explainable Artificial Intelligence (XAI) is a promising solution to improve
the transparency of machine learning (ML) pipelines. We systematize the
increasingly growing (but fragmented) microcosm of studies that develop and
utilize XAI methods for defensive and offensive cybersecurity tasks. We
identify 3 cybersecurity stakeholders, i.e., model users, designers, and
adversaries, that utilize XAI for 5 different objectives within an ML pipeline,
namely 1) XAI-enabled decision support, 2) applied XAI for security tasks, 3)
model verification via XAI, 4) explanation verification & robustness, and 5)
offensive use of explanations. We further classify the literature w.r.t. the
targeted security domain. Our analysis of the literature indicates that many of
the XAI applications are designed with little understanding of how they might
be integrated into analyst workflows -- user studies for explanation evaluation
are conducted in only 14% of the cases. The literature also rarely disentangles
the role of the various stakeholders. Particularly, the role of the model
designer is minimized within the security literature. To this end, we present
an illustrative use case accentuating the role of model designers. We
demonstrate cases where XAI can help in model verification and cases where it
may lead to erroneous conclusions instead. The systematization and use case
enable us to challenge several assumptions and present open problems that can
help shape the future of XAI within cybersecurity
- Abstract(参考訳): 説明可能な人工知能(XAI)は、機械学習(ML)パイプラインの透明性を改善するための有望なソリューションである。
我々は、XAIメソッドを防御および攻撃的なサイバーセキュリティタスクに利用し、成長する(しかし断片化された)研究のマイクロスコープを体系化する。
我々は、XAIをMLパイプライン内の5つの異なる目的のために利用する3つのサイバーセキュリティステークホルダー、すなわち、モデルユーザー、デザイナー、敵を識別する。
1)XAI対応意思決定支援
2)セキュリティタスクにXAIを適用した。
3)XAIによるモデル検証
4) 検証・堅牢性、及び
5) 説明の悪用。
我々はさらに、ターゲットセキュリティドメインに関する文献を分類する。
文献を分析したところ、XAIアプリケーションの多くは、アナリストワークフローにどのように統合されるのかをほとんど理解せずに設計されていることが示されています。
文学は様々な利害関係者の役割を乱すことは滅多にない。
特に、モデルデザイナの役割は、セキュリティ文献の中で最小化される。
そこで,本稿では,モデル設計者の役割を強調する事例を紹介する。
XAIがモデル検証に役立てるケースと、その代わりに誤った結論につながる可能性のあるケースを示す。
システム化とユースケースは、サイバーセキュリティにおけるXAIの未来を形作るのに役立ついくつかの仮定に挑戦し、オープンな問題を提示することを可能にする。
関連論文リスト
- Usable XAI: 10 Strategies Towards Exploiting Explainability in the LLM Era [77.174117675196]
XAIはLarge Language Models (LLM)に拡張されている
本稿では,XAIがLLMやAIシステムにどのようなメリットをもたらすかを分析する。
10の戦略を導入し、それぞれに重要なテクニックを導入し、関連する課題について議論します。
論文 参考訳(メタデータ) (2024-03-13T20:25:27Z) - Explainable AI for Safe and Trustworthy Autonomous Driving: A Systematic
Review [13.28560859901137]
本稿では,安全かつ信頼性の高い自動運転のための説明可能な手法に関する,最初の体系的な文献レビューを紹介する。
我々は、ADにおける安全で信頼性の高いAIに対するXAIの5つの重要な貢献を特定し、それらは解釈可能な設計、解釈可能な代理モデル、解釈可能なモニタリング、補助的な説明、解釈可能な検証である。
我々は、これらのコントリビューションを統合するためにSafeXと呼ばれるモジュラーフレームワークを提案し、同時にAIモデルの安全性を確保しながら、ユーザへの説明提供を可能にした。
論文 参考訳(メタデータ) (2024-02-08T09:08:44Z) - Explainable Authorship Identification in Cultural Heritage Applications:
Analysis of a New Perspective [48.031678295495574]
既存の汎用eXplainable Artificial Intelligence(XAI)技術のAIへの応用について検討する。
特に,3種類のAIdタスクにおける3種類のXAIテクニックの相対的メリットを評価した。
我々の分析によると、これらの技術は、説明可能なオーサシップの特定に向けて重要な第一歩を踏み出すが、まだ多くの作業が続けられている。
論文 参考訳(メタデータ) (2023-11-03T20:51:15Z) - AI for IT Operations (AIOps) on Cloud Platforms: Reviews, Opportunities
and Challenges [60.56413461109281]
IT運用のための人工知能(AIOps)は、AIのパワーとIT運用プロセスが生成するビッグデータを組み合わせることを目的としている。
我々は、IT運用活動が発信する重要なデータの種類、分析における規模と課題、そしてどのように役立つかについて深く議論する。
主要なAIOpsタスクは、インシデント検出、障害予測、根本原因分析、自動アクションに分類します。
論文 参考訳(メタデータ) (2023-04-10T15:38:12Z) - A Survey on Explainable Artificial Intelligence for Cybersecurity [14.648580959079787]
説明可能な人工知能(XAI)は、決定と行動に対して明確かつ解釈可能な説明を提供する機械学習モデルを作成することを目的としている。
ネットワークサイバーセキュリティの分野では、XAIは、サイバー脅威の振る舞いをよりよく理解することで、ネットワークセキュリティへのアプローチ方法に革命をもたらす可能性がある。
論文 参考訳(メタデータ) (2023-03-07T22:54:18Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳(メタデータ) (2022-11-12T21:54:05Z) - Transcending XAI Algorithm Boundaries through End-User-Inspired Design [27.864338632191608]
エンドユーザに対する説明責任重視の機能サポートの欠如は、高度なドメインにおけるAIの安全で責任ある使用を妨げる可能性がある。
我々の研究は、エンドユーザーがXAIを使用する際の技術的な問題を根底から解決することで、新たな研究課題がもたらされることを示している。
このようなエンドユーザにインスパイアされた研究質問は、AIを民主化し、クリティカルドメインにおけるAIの責任ある使用を保証することによって、社会的善を促進できる可能性がある。
論文 参考訳(メタデータ) (2022-08-18T09:44:51Z) - Explainable Intrusion Detection Systems (X-IDS): A Survey of Current
Methods, Challenges, and Opportunities [0.0]
侵入検知システム(IDS)は、大量のデータを高い予測精度で処理できるため、広く採用されている。
深層学習(DL)技術を用いて設計されたIDSは、ブラックボックスモデルとして扱われることが多く、予測の正当化は提供されない。
この調査では、IDSの最先端AI(XAI)とその現在の課題についてレビューし、これらの課題がX-IDSの設計にどのように当てはまるかを論じる。
論文 参考訳(メタデータ) (2022-07-13T14:31:46Z) - Connecting Algorithmic Research and Usage Contexts: A Perspective of
Contextualized Evaluation for Explainable AI [65.44737844681256]
説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。
このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
論文 参考訳(メタデータ) (2022-06-22T05:17:33Z) - XAI for Cybersecurity: State of the Art, Challenges, Open Issues and
Future Directions [16.633632244131775]
AIモデルは、開発者が特定の決定の背後にある理由の説明や追跡ができないブラックボックスとして現れることが多い。
説明可能なAI(XAI)は、情報を抽出し、結果を視覚化するのに役立つ、急速に成長する研究分野である。
本報告では,サイバーセキュリティと攻撃形態について概説する。
次に、従来のAI技術の使用とその関連する課題について議論し、様々なアプリケーションでXAIを使用するための扉を開く。
論文 参考訳(メタデータ) (2022-06-03T02:15:30Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳(メタデータ) (2020-08-15T10:11:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。