論文の概要: An Assessment of the Usability of Machine Learning Based Tools for the
Security Operations Center
- arxiv url: http://arxiv.org/abs/2012.09013v1
- Date: Wed, 16 Dec 2020 15:17:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-03 02:41:50.210486
- Title: An Assessment of the Usability of Machine Learning Based Tools for the
Security Operations Center
- Title（参考訳）: セキュリティ運用センターにおける機械学習ツールの利用性評価
- Authors: Sean Oesch, Robert Bridges, Jared Smith, Justin Beaver, John Goodall,
Kelly Huffer, Craig Miles, Dan Scofield
- Abstract要約: 2024年までに、セキュリティオペレーションセンター(SOC)の80%は、機械学習(ML)ベースのソリューションを使用してオペレーションを強化します。
本研究は,mlベースのツールを用いた最初の実地ユーザビリティアセスメントの結果を示す。
- 参考スコア（独自算出の注目度）: 1.5391321019692434
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Gartner, a large research and advisory company, anticipates that by 2024 80%
of security operation centers (SOCs) will use machine learning (ML) based
solutions to enhance their operations. In light of such widespread adoption, it
is vital for the research community to identify and address usability concerns.
This work presents the results of the first in situ usability assessment of
ML-based tools. With the support of the US Navy, we leveraged the national
cyber range, a large, air-gapped cyber testbed equipped with state-of-the-art
network and user emulation capabilities, to study six US Naval SOC analysts'
usage of two tools. Our analysis identified several serious usability issues,
including multiple violations of established usability heuristics form user
interface design. We also discovered that analysts lacked a clear mental model
of how these tools generate scores, resulting in mistrust and/or misuse of the
tools themselves. Surprisingly, we found no correlation between analysts' level
of education or years of experience and their performance with either tool,
suggesting that other factors such as prior background knowledge or personality
play a significant role in ML-based tool usage. Our findings demonstrate that
ML-based security tool vendors must put a renewed focus on working with
analysts, both experienced and inexperienced, to ensure that their systems are
usable and useful in real-world security operations settings.
- Abstract（参考訳）: 大規模なリサーチとアドバイザリ企業であるGartnerは、2024年までにセキュリティオペレーションセンター(SOC)の80%が、機械学習(ML)ベースのソリューションを使用して運用を強化することを予測している。
このような普及を踏まえて、研究コミュニティはユーザビリティの懸念を特定し、対処することが不可欠である。
本研究は,mlベースのツールを用いた最初の実地ユーザビリティアセスメントの結果を示す。
米国海軍の支援を得て、最先端のネットワークとユーザーエミュレーション機能を備えた大型の空飛ぶサイバーテストベッドであるnational cyber rangeを活用し、アメリカ海軍のsocアナリスト6名による2つのツールの使用状況を調査した。
本分析では,ユーザインタフェース設計の確立されたユーザビリティヒューリスティックの複数の違反を含む,ユーザビリティに関する重大な問題をいくつか明らかにした。
また、アナリストはこれらのツールがスコアを生成する方法の明確なメンタルモデルに欠けており、ツール自体の誤信や誤用を引き起こしていることも分かりました。
意外なことに、アナリストの教育水準や経験年数と、どちらのツールとのパフォーマンスとの間には相関が見られず、背景知識や人格といった他の要因がMLベースのツールの使用において重要な役割を果たすことが示唆された。
この結果から,MLベースのセキュリティツールベンダは,経験と経験の浅いアナリストとの共同作業に新たな重点を置き,現実のセキュリティ運用環境において,彼らのシステムが有用かつ有用であることを確認する必要がある。
関連論文リスト
- Revisiting Reliability in Large-Scale Machine Learning Research Clusters [5.028600213808539]
信頼性は、大規模な機械学習インフラストラクチャを操作する上での根本的な課題である。
インフラストラクチャ障害に関する何十年もの研究にもかかわらず、さまざまなスケールでのジョブ障害の影響は、まだ不明である。
本稿では,2つの大規模マルチテナントMLクラスタを管理する視点について述べる。
論文 参考訳（メタデータ） (2024-10-29T03:02:53Z) - Evaluating the Usability of LLMs in Threat Intelligence Enrichment [0.30723404270319693]
大規模言語モデル(LLM)は、脅威知能を著しく向上させる可能性がある。
しかし、その信頼性、正確性、および不正確な情報を生成する可能性に関する懸念は継続する。
本研究では、ChatGPT、Gemini、Cohere、Copilot、Meta AIの5つのLCMの総合的ユーザビリティ評価を行う。
論文 参考訳（メタデータ） (2024-09-23T14:44:56Z) - Hacking, The Lazy Way: LLM Augmented Pentesting [0.0]
Pentest Copilot"というツールを使って"LLM Augmented Pentesting"をデモする
私たちの研究には、トークン使用の合理化とパフォーマンス向上のための"思考の連鎖"メカニズムが含まれています。
LLMがファイルの理解を可能にする新しいファイル解析手法を提案する。
論文 参考訳（メタデータ） (2024-09-14T17:40:35Z) - The Impact of SBOM Generators on Vulnerability Assessment in Python: A Comparison and a Novel Approach [56.4040698609393]
Software Bill of Materials (SBOM) は、ソフトウェア構成における透明性と妥当性を高めるツールとして推奨されている。
現在のSBOM生成ツールは、コンポーネントや依存関係を識別する際の不正確さに悩まされることが多い。
提案するPIP-sbomは,その欠点に対処する新しいピップインスパイアされたソリューションである。
論文 参考訳（メタデータ） (2024-09-10T10:12:37Z) - Harnessing Large Language Models for Software Vulnerability Detection: A Comprehensive Benchmarking Study [1.03590082373586]
ソースコードの脆弱性発見を支援するために,大規模言語モデル(LLM)を提案する。
目的は、複数の最先端のLCMをテストし、最も優れたプロンプト戦略を特定することである。
LLMは従来の静的解析ツールよりも多くの問題を特定でき、リコールやF1スコアの点で従来のツールよりも優れています。
論文 参考訳（メタデータ） (2024-05-24T14:59:19Z) - Identifying the Risks of LM Agents with an LM-Emulated Sandbox [68.26587052548287]
言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。
これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。
ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
論文 参考訳（メタデータ） (2023-09-25T17:08:02Z) - Large Language Models as Tool Makers [85.00361145117293]
我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。
ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
論文 参考訳（メタデータ） (2023-05-26T17:50:11Z) - AIBugHunter: A Practical Tool for Predicting, Classifying and Repairing
Software Vulnerabilities [27.891905729536372]
AIBugHunterは、C/C++言語用のMLベースのソフトウェア脆弱性分析ツールで、Visual Studio Codeに統合されている。
本稿では,新たな多目的最適化(MOO)に基づく脆弱性分類手法と,AIBugHunterが脆弱性タイプを正確に識別し,重症度を推定するためのトランスフォーマーに基づく評価手法を提案する。
論文 参考訳（メタデータ） (2023-05-26T04:21:53Z) - LLM-based Interaction for Content Generation: A Case Study on the
Perception of Employees in an IT department [85.1523466539595]
本稿では,IT企業の従業員が生成ツールを使用する意図を明らかにするためのアンケート調査を行う。
以上の結果から, 生成ツールの比較的平均的な受容性が示唆されるが, ツールが有用であると認識されるほど, 意図が高くなることが示唆された。
分析の結果, 生産ツールの利用頻度は, 従業員が作業の文脈でこれらのツールをどのように認識しているかを理解する上で重要な要因である可能性が示唆された。
論文 参考訳（メタデータ） (2023-04-18T15:35:43Z) - Realistic simulation of users for IT systems in cyber ranges [63.20765930558542]
ユーザアクティビティを生成するために,外部エージェントを用いて各マシンを計測する。
このエージェントは、決定論的および深層学習に基づく手法を組み合わせて、異なる環境に適応する。
また,会話や文書の作成を容易にする条件付きテキスト生成モデルを提案する。
論文 参考訳（メタデータ） (2021-11-23T10:53:29Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳（メタデータ） (2020-10-19T13:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。