論文の概要: Does Johnny Get the Message? Evaluating Cybersecurity Notifications for Everyday Users

• arxiv url: http://arxiv.org/abs/2505.22435v1
• Date: Wed, 28 May 2025 14:58:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.668979
• Title: Does Johnny Get the Message? Evaluating Cybersecurity Notifications for Everyday Users
• Title（参考訳）: Johnnyがメッセージを受け取る? 毎日のサイバーセキュリティ通知の評価
• Authors: Victor Jüttner, Erik Buchmann,
• Abstract要約: 最近のアプローチでは、大規模な言語モデルを使用して、簡潔で技術的なセキュリティ警告を直感的な言語に書き直している。 このようなアラートがユーザに対してどの程度うまく説明されているのか、まだ明らかな疑問だ。 本稿では,Human-Centered Security Alert Evaluation Framework (HCSAEF)を紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Due to the increasing presence of networked devices in everyday life, not only cybersecurity specialists but also end users benefit from security applications such as firewalls, vulnerability scanners, and intrusion detection systems. Recent approaches use large language models (LLMs) to rewrite brief, technical security alerts into intuitive language and suggest actionable measures, helping everyday users understand and respond appropriately to security risks. However, it remains an open question how well such alerts are explained to users. LLM outputs can also be hallucinated, inconsistent, or misleading. In this work, we introduce the Human-Centered Security Alert Evaluation Framework (HCSAEF). HCSAEF assesses LLM-generated cybersecurity notifications to support researchers who want to compare notifications generated for everyday users, improve them, or analyze the capabilities of different LLMs in explaining cybersecurity issues. We demonstrate HCSAEF through three use cases, which allow us to quantify the impact of prompt design, model selection, and output consistency. Our findings indicate that HCSAEF effectively differentiates generated notifications along dimensions such as intuitiveness, urgency, and correctness.
• Abstract（参考訳）: 日常生活におけるネットワークデバイスの存在の増加により、サイバーセキュリティの専門家だけでなく、ファイアウォールや脆弱性スキャナ、侵入検知システムといったセキュリティアプリケーションによるメリットもある。 最近のアプローチでは、大規模な言語モデル(LLM)を使用して、簡潔で技術的なセキュリティ警告を直感的な言語に書き直し、実行可能な措置を提案する。 しかし、こうしたアラートがいかにユーザーに説明されるかは、まだ明らかな疑問である。 LLM出力は、幻覚、矛盾、誤解を招くこともできる。 本稿では,Human-Centered Security Alert Evaluation Framework (HCSAEF)を紹介する。 HCSAEFは、LLMが生成するサイバーセキュリティ通知を評価して、日々のユーザのために生成された通知を比較したり、改善したり、サイバーセキュリティ問題を説明する上で異なるLLMの機能を分析したい研究者を支援する。 HCSAEFを3つのユースケースで実証し、プロンプト設計、モデル選択、出力整合性の影響を定量化する。 HCSAEFは、直感性、緊急性、正確性などの次元に沿って、発生した通知を効果的に区別できることが示唆された。

関連論文リスト

• Defeating Prompt Injections by Design [79.00910871948787]
  CaMeLは、Large Language Models (LLMs) を中心とした保護システムレイヤを作成する堅牢な防御機能である。 CaMeLは、(信頼された)クエリから制御とデータフローを明示的に抽出する。 最近のエージェントセキュリティベンチマークであるAgentDojo[NeurIPS 2024]で、証明可能なセキュリティを備えた67%のタスクを解決し、CaMeLの有効性を実証した。
  論文  参考訳（メタデータ） (2025-03-24T15:54:10Z)
• Do LLMs Consider Security? An Empirical Study on Responses to Programming Questions [10.69738882390809]
  ChatGPTは、開発者にコンテキスト固有の情報をボランティアして、安全なコーディングプラクティスを促進する。 我々は,3つのLLM(Claude 3, GPT-4, Llama 3)が示すセキュリティ意識の程度を評価する。 私たちの調査によると、3つのモデルすべてが、脆弱性を正確に検知し、ユーザに警告するのに苦労しており、データセット全体の検出率は12.6%から40%に過ぎません。
  論文  参考訳（メタデータ） (2025-02-20T02:20:06Z)
• ChatNVD: Advancing Cybersecurity Vulnerability Assessment with Large Language Models [0.46873264197900916]
  ChatNVDはLarge Language Models(LLM)を利用したサポートツールで、ソフトウェア脆弱性のアクセス可能でコンテキストに富んだ要約を生成する。 我々は,OpenAIによるGPT-4o Mini,MetaによるLLaMA 3,GoogleによるGemini 1.5 Proの3つの著名なLCMを利用して,ChatNVDの3つの変種を開発した。 その結果、GPT-4o Miniは他のモデルよりも優れており、92%以上の精度と低いエラー率を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-12-06T03:45:49Z)
• LLMs know their vulnerabilities: Uncover Safety Gaps through Natural Distribution Shifts [88.96201324719205]
  大規模言語モデル(LLM)の安全性に関する懸念は、事前訓練中に潜在的に有害なデータに曝されることにより、大きな注目を集めている。 我々は、有害なコンテンツに意味的に関連していると思われる良心的なプロンプトが、安全性のメカニズムを回避できる新しい安全性脆弱性をLSMで特定する。 我々は,事前学習における有害なプロンプトに関連するアクターを識別する新しい攻撃手法,textitActorBreakerを導入する。
  論文  参考訳（メタデータ） (2024-10-14T16:41:49Z)
• LLM Safeguard is a Double-Edged Sword: Exploiting False Positives for Denial-of-Service Attacks [7.013820690538764]
  本研究は,セーフガード手法のエンファルス陰性を利用した攻撃について検討する。 悪意のある攻撃者は、セキュリティ保護の偽陽性を悪用する可能性もあり、ユーザーに影響を与えるDoS(DoS)が否定された。
  論文  参考訳（メタデータ） (2024-10-03T19:07:53Z)
• The potential of LLM-generated reports in DevSecOps [3.4888132404740797]
  アラート疲労は、DevSecOpsパラダイムを使用してソフトウェアチームが直面する一般的な問題である。 本稿では,LCMが実用的なセキュリティレポートを生成する可能性について検討する。 DevSecOpsにこれらのレポートを統合することで、注意の飽和と警告疲労を軽減することができる。
  論文  参考訳（メタデータ） (2024-10-02T18:01:12Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。