論文の概要: More Questions than Answers? Lessons from Integrating Explainable AI into a Cyber-AI Tool
- arxiv url: http://arxiv.org/abs/2408.04746v1
- Date: Thu, 8 Aug 2024 20:09:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 17:08:34.679179
- Title: More Questions than Answers? Lessons from Integrating Explainable AI into a Cyber-AI Tool
- Title（参考訳）: 回答以上の質問? 説明可能なAIをサイバーAIツールに統合することから学んだこと
- Authors: Ashley Suh, Harry Li, Caitlin Kenney, Kenneth Alperin, Steven R. Gomez,
- Abstract要約: ソースコード分類におけるXAIの使用に関する予備的事例研究について述べる。
我々は、AIの専門知識がほとんどない人々によって解釈されると、最先端の正当性説明技法の出力が翻訳で失われることを発見した。
実用的で効果的なXAIにおける非適応的なギャップを概説し、次に、LLM(Large Language Models)のような新興技術が、これらの既存の障害を緩和する方法について触れます。
- 参考スコア（独自算出の注目度）: 1.5711133309434766
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We share observations and challenges from an ongoing effort to implement Explainable AI (XAI) in a domain-specific workflow for cybersecurity analysts. Specifically, we briefly describe a preliminary case study on the use of XAI for source code classification, where accurate assessment and timeliness are paramount. We find that the outputs of state-of-the-art saliency explanation techniques (e.g., SHAP or LIME) are lost in translation when interpreted by people with little AI expertise, despite these techniques being marketed for non-technical users. Moreover, we find that popular XAI techniques offer fewer insights for real-time human-AI workflows when they are post hoc and too localized in their explanations. Instead, we observe that cyber analysts need higher-level, easy-to-digest explanations that can offer as little disruption as possible to their workflows. We outline unaddressed gaps in practical and effective XAI, then touch on how emerging technologies like Large Language Models (LLMs) could mitigate these existing obstacles.
- Abstract（参考訳）: 我々は、サイバーセキュリティアナリストのためのドメイン固有のワークフローで、説明可能なAI(XAI)を実装するための進行中の取り組みから、観察と課題を共有します。
具体的には、ソースコード分類におけるXAIの使用に関する予備的ケーススタディを簡潔に述べる。
非技術ユーザ向けに販売されているにもかかわらず、AIの専門知識がほとんどない人々によって解釈された場合、最先端の正当性説明手法(例えばSHAPやLIME)の出力は翻訳で失われることがわかった。
さらに、一般的なXAI技術は、ポストホックでローカライズされすぎると、リアルタイムの人間-AIワークフローに対する洞察が少なくなることがわかりました。
その代わり、サイバーアナリストはより高レベルで分かりやすい説明を必要としており、彼らのワークフローに可能な限り混乱をもたらすことができる。
実用的で効果的なXAIにおける非適応的なギャップを概説し、次に、LLM(Large Language Models)のような新興技術が、これらの既存の障害を緩和する方法について触れます。
関連論文リスト
- Explainable Artificial Intelligence Techniques for Accurate Fault Detection and Diagnosis: A Review [0.0]
この文脈でeXplainable AI(XAI)ツールとテクニックをレビューする。
私たちは、AI決定を透明にする彼らの役割、特に人間が関与する重要なシナリオに重点を置いています。
モデル性能と説明可能性のバランスをとることを目的とした,現在の限界と今後の研究について論じる。
論文 参考訳（メタデータ） (2024-04-17T17:49:38Z) - Is Task-Agnostic Explainable AI a Myth? [0.0]
我々の研究は、現代の説明可能なAI(XAI)の課題を統一するための枠組みとして機能する。
我々は、XAI手法が機械学習モデルに補助的かつ潜在的に有用な出力を提供する一方で、研究者と意思決定者は、概念的および技術的な制限に留意すべきであることを示した。
本稿では,画像,テキスト,グラフデータにまたがる3つのXAI研究経路について検討する。
論文 参考訳（メタデータ） (2023-07-13T07:48:04Z) - AI for IT Operations (AIOps) on Cloud Platforms: Reviews, Opportunities
and Challenges [60.56413461109281]
IT運用のための人工知能(AIOps)は、AIのパワーとIT運用プロセスが生成するビッグデータを組み合わせることを目的としている。
我々は、IT運用活動が発信する重要なデータの種類、分析における規模と課題、そしてどのように役立つかについて深く議論する。
主要なAIOpsタスクは、インシデント検出、障害予測、根本原因分析、自動アクションに分類します。
論文 参考訳（メタデータ） (2023-04-10T15:38:12Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳（メタデータ） (2022-11-12T21:54:05Z) - Towards Human Cognition Level-based Experiment Design for Counterfactual
Explanations (XAI) [68.8204255655161]
XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。
認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。
本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
論文 参考訳（メタデータ） (2022-10-31T19:20:22Z) - Transcending XAI Algorithm Boundaries through End-User-Inspired Design [27.864338632191608]
エンドユーザに対する説明責任重視の機能サポートの欠如は、高度なドメインにおけるAIの安全で責任ある使用を妨げる可能性がある。
我々の研究は、エンドユーザーがXAIを使用する際の技術的な問題を根底から解決することで、新たな研究課題がもたらされることを示している。
このようなエンドユーザにインスパイアされた研究質問は、AIを民主化し、クリティカルドメインにおけるAIの責任ある使用を保証することによって、社会的善を促進できる可能性がある。
論文 参考訳（メタデータ） (2022-08-18T09:44:51Z) - Connecting Algorithmic Research and Usage Contexts: A Perspective of
Contextualized Evaluation for Explainable AI [65.44737844681256]
説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。
このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
論文 参考訳（メタデータ） (2022-06-22T05:17:33Z) - A User-Centred Framework for Explainable Artificial Intelligence in
Human-Robot Interaction [70.11080854486953]
本稿では,XAIのソーシャル・インタラクティブな側面に着目したユーザ中心型フレームワークを提案する。
このフレームワークは、エキスパートでないユーザのために考えられた対話型XAIソリューションのための構造を提供することを目的としている。
論文 参考訳（メタデータ） (2021-09-27T09:56:23Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳（メタデータ） (2020-08-15T10:11:42Z) - Opportunities and Challenges in Explainable Artificial Intelligence
(XAI): A Survey [2.7086321720578623]
深層ニューラルネットワークのブラックボックスの性質は、ミッションクリティカルなアプリケーションでの利用に挑戦する。
XAIは、AI決定に関する高品質な解釈可能、直感的、人間に理解可能な説明を生成するためのツール、テクニック、アルゴリズムのセットを推進している。
論文 参考訳（メタデータ） (2020-06-16T02:58:10Z) - Questioning the AI: Informing Design Practices for Explainable AI User
Experiences [33.81809180549226]
説明可能なAI(XAI)への関心の高まりは、このトピックに関する膨大なアルゴリズム作業の収集につながった。
私たちは、説明可能なAI製品を作成するための現在のXAIアルゴリズム作業とプラクティスのギャップを特定しようとしています。
我々は,ユーザが説明責任を表現できるXAI質問バンクを開発した。
論文 参考訳（メタデータ） (2020-01-08T12:34:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。