論文の概要: Too Much to Trust? Measuring the Security and Cognitive Impacts of Explainability in AI-Driven SOCs

• arxiv url: http://arxiv.org/abs/2503.02065v2
• Date: Sun, 20 Jul 2025 21:15:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 14:33:31.951204
• Title: Too Much to Trust? Measuring the Security and Cognitive Impacts of Explainability in AI-Driven SOCs
• Title（参考訳）: 信頼の欠如? AI駆動型SOCにおける説明可能性のセキュリティと認知的影響の測定
• Authors: Nidhi Rastogi, Shirid Pant, Devang Dhanuka, Amulya Saxena, Pranjal Mairal,
• Abstract要約: 説明可能なAI(XAI)は、AIによる脅威検出の透明性と信頼性を高めるための大きな約束を持っている。 本研究は、セキュリティコンテキストにおける現在の説明手法を再評価し、SOCに適合したロールアウェアでコンテキストに富んだXAI設計が実用性を大幅に向上できることを実証する。
• 参考スコア（独自算出の注目度）: 0.6990493129893112
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Explainable AI (XAI) holds significant promise for enhancing the transparency and trustworthiness of AI-driven threat detection in Security Operations Centers (SOCs). However, identifying the appropriate level and format of explanation, particularly in environments that demand rapid decision-making under high-stakes conditions, remains a complex and underexplored challenge. To address this gap, we conducted a three-month mixed-methods study combining an online survey (N1=248) with in-depth interviews (N2=24) to examine (1) how SOC analysts conceptualize AI-generated explanations and (2) which types of explanations are perceived as actionable and trustworthy across different analyst roles. Our findings reveal that participants were consistently willing to accept XAI outputs, even in cases of lower predictive accuracy, when explanations were perceived as relevant and evidence-backed. Analysts repeatedly emphasized the importance of understanding the rationale behind AI decisions, expressing a strong preference for contextual depth over a mere presentation of outcomes on dashboards. Building on these insights, this study re-evaluates current explanation methods within security contexts and demonstrates that role-aware, context-rich XAI designs aligned with SOC workflows can substantially improve practical utility. Such tailored explainability enhances analyst comprehension, increases triage efficiency, and supports more confident responses to evolving threats.
• Abstract（参考訳）: 説明可能なAI(XAI)は、SOC(Security Operations Centers)におけるAI駆動の脅威検出の透明性と信頼性を高めるための重要な約束を持っている。 しかし、特に高い状況下で迅速な意思決定を求める環境において、適切な説明のレベルと形式を特定することは、複雑で未解明の課題である。 このギャップに対処するため、我々はオンライン調査(N1=248)と詳細なインタビュー(N2=24)を組み合わせた3ヶ月の混合メソッド調査を行い、(1)SOC分析者がAI生成の説明をいかに概念化し、(2)どの説明が異なるアナリストの役割にわたって行動可能で信頼に値すると認識されるかを検討した。 以上の結果から,XAIのアウトプットは予測精度が低い場合であっても,関連性や根拠に裏付けられた場合であっても,常に受け入れる傾向が示された。 アナリストたちは繰り返し、AI決定の背後にある根拠を理解することの重要性を強調し、ダッシュボードでの成果の単なるプレゼンテーションよりもコンテキストの深さを強く好みます。 これらの知見に基づいて、セキュリティコンテキストにおける現在の説明手法を再評価し、SOCワークフローに適合したロールアウェアでコンテキストリッチなXAI設計が実用性を大幅に向上することを示した。 このような調整された説明責任は、アナリストの理解を高め、トリアージ効率を高め、脅威の進化に対するより確実な応答をサポートする。

関連論文リスト

• Mind the XAI Gap: A Human-Centered LLM Framework for Democratizing Explainable AI [3.301842921686179]
  我々は,専門家や非専門家のニーズに合わせて,透明性と人間中心の説明を保証する枠組みを導入する。 本フレームワークは,専門家以外の専門家が理解可能な1つの応答説明と専門家への技術的情報にカプセル化されている。
  論文  参考訳（メタデータ） (2025-06-13T21:41:07Z)
• Comparative Analysis of AI-Driven Security Approaches in DevSecOps: Challenges, Solutions, and Future Directions [0.0]
  本研究では,DevSecOpsにおけるAI駆動型セキュリティソリューションの分析と比較を行う。 この発見は、経験的検証、スケーラビリティ、セキュリティ自動化におけるAIの統合のギャップを明らかにしている。 この研究は、DevSecOpsでAIベースのセキュリティフレームワークを最適化するための今後の方向性を提案する。
  論文  参考訳（メタデータ） (2025-04-27T08:18:11Z)
• Is Trust Correlated With Explainability in AI? A Meta-Analysis [0.0]
  我々は、AI説明可能性と信頼の関係を探るため、既存の文献を網羅的に調査する。 我々の分析では、90の研究データを取り入れた結果、AIシステムの説明可能性と彼らが与える信頼との間に統計的に有意だが適度な正の相関関係が明らかとなった。 この研究は、特に説明責任の促進と、医療や司法などの重要な領域におけるユーザの信頼の促進において、社会技術的に幅広い影響を強調している。
  論文  参考訳（メタデータ） (2025-04-16T23:30:55Z)
• A Multi-Layered Research Framework for Human-Centered AI: Defining the Path to Explainability and Trust [2.4578723416255754]
  人間中心型AI(HCAI)は人間の価値観との整合性を強調し、説明可能なAI(XAI)はAI決定をより理解しやすくすることで透明性を高める。 本稿では,HCAI と XAI を橋渡し,構造的説明可能性パラダイムを確立する新しい3層フレームワークを提案する。 我々の発見は、透明性、適応性、倫理的に整合したAIシステムを育成するHCXAI(Human-Centered Explainable AI)を前進させた。
  論文  参考訳（メタデータ） (2025-04-14T01:29:30Z)
• Towards Trustworthy GUI Agents: A Survey [64.6445117343499]
  本調査では,GUIエージェントの信頼性を5つの重要な次元で検証する。 敵攻撃に対する脆弱性、シーケンシャルな意思決定における障害モードのカスケードなど、大きな課題を特定します。 GUIエージェントが普及するにつれて、堅牢な安全基準と責任ある開発プラクティスを確立することが不可欠である。
  論文  参考訳（メタデータ） (2025-03-30T13:26:00Z)
• AISafetyLab: A Comprehensive Framework for AI Safety Evaluation and Improvement [73.0700818105842]
  我々は、AI安全のための代表的攻撃、防衛、評価方法論を統合する統合されたフレームワークとツールキットであるAISafetyLabを紹介する。 AISafetyLabには直感的なインターフェースがあり、開発者はシームレスにさまざまなテクニックを適用できる。 我々はヴィクナに関する実証的研究を行い、異なる攻撃戦略と防衛戦略を分析し、それらの比較効果に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2025-02-24T02:11:52Z)
• Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
  計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。 ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。 我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
  論文  参考訳（メタデータ） (2025-02-18T02:26:50Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
  我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
  論文  参考訳（メタデータ） (2024-07-31T17:59:24Z)
• Security of AI Agents [5.468745160706382]
  システムセキュリティの観点から、AIエージェントの潜在的な脆弱性を特定し、記述する。 本研究では,各脆弱性に対応する防御機構を設計と実験で導入し,その生存性を評価する。 本稿では、現在のAIエージェント開発におけるセキュリティ問題を文脈的に分析し、AIエージェントをより安全で信頼性の高いものにするための方法を解説する。
  論文  参考訳（メタデータ） (2024-06-12T23:16:45Z)
• AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways [10.16690494897609]
  人工知能(AI)エージェント(英: Artificial Intelligence, AI)は、自律的にタスクを実行したり、事前に定義された目的やデータ入力に基づいて決定を行うソフトウェアエンティティである。 この調査は、AIエージェントが直面している新たなセキュリティ脅威を掘り下げ、これらを4つの重要な知識ギャップに分類する。 これらの脅威を体系的にレビューすることにより、この論文はAIエージェントの保護における進歩と既存の制限の両方を強調している。
  論文  参考訳（メタデータ） (2024-06-04T01:22:31Z)
• Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security [0.0]
  本稿では,人工知能(AI)の攻撃的サイバーセキュリティへの統合について検討する。 サイバー攻撃をシミュレートし実行するために設計された、自律的なAIエージェントであるReaperAIを開発している。 ReaperAIは、セキュリティ脆弱性を自律的に識別し、悪用し、分析する可能性を実証する。
  論文  参考訳（メタデータ） (2024-05-09T18:15:12Z)
• Does Faithfulness Conflict with Plausibility? An Empirical Study in Explainable AI across NLP Tasks [9.979726030996051]
  私たちは、Shapleyの価値とLIMEがより忠実で妥当性が高いことを示す。 この結果から,一方の次元を一方の次元に最適化するのではなく,2つの目的を持つ説明可能性アルゴリズムを最適化する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-03-29T20:28:42Z)
• Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
  本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。 我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。 3つの主要株主グループに対する脅威もマップ化しています。
  論文  参考訳（メタデータ） (2024-03-20T05:17:22Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)
• Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
  そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。 我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。 インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
  論文  参考訳（メタデータ） (2023-11-16T00:18:50Z)
• Representation Engineering: A Top-Down Approach to AI Transparency [130.33981757928166]
  表現工学の新たな領域(RepE)を特定し,特徴付ける RepEは、神経細胞や回路ではなく、人口レベルの表現を解析の中心に置く。 これらの手法が、広範囲の安全関連問題に対してどのようにトラクションを提供するかを紹介する。
  論文  参考訳（メタデータ） (2023-10-02T17:59:07Z)
• On the meaning of uncertainty for ethical AI: philosophy and practice [10.591284030838146]
  これは、数学的推論に倫理的考察をもたらす重要な方法であると主張する。 我々は、2021年12月のOmicron型COVID-19の拡散について、英国政府に助言するために使用される競合モデルの文脈内でこれらのアイデアを実証する。
  論文  参考訳（メタデータ） (2023-09-11T15:13:36Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。