論文の概要: An Assessment of the Usability of Machine Learning Based Tools for the
Security Operations Center
- arxiv url: http://arxiv.org/abs/2012.09013v1
- Date: Wed, 16 Dec 2020 15:17:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-03 02:41:50.210486
- Title: An Assessment of the Usability of Machine Learning Based Tools for the
Security Operations Center
- Title(参考訳): セキュリティ運用センターにおける機械学習ツールの利用性評価
- Authors: Sean Oesch, Robert Bridges, Jared Smith, Justin Beaver, John Goodall,
Kelly Huffer, Craig Miles, Dan Scofield
- Abstract要約: 2024年までに、セキュリティオペレーションセンター(SOC)の80%は、機械学習(ML)ベースのソリューションを使用してオペレーションを強化します。
本研究は,mlベースのツールを用いた最初の実地ユーザビリティアセスメントの結果を示す。
- 参考スコア(独自算出の注目度): 1.5391321019692434
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Gartner, a large research and advisory company, anticipates that by 2024 80%
of security operation centers (SOCs) will use machine learning (ML) based
solutions to enhance their operations. In light of such widespread adoption, it
is vital for the research community to identify and address usability concerns.
This work presents the results of the first in situ usability assessment of
ML-based tools. With the support of the US Navy, we leveraged the national
cyber range, a large, air-gapped cyber testbed equipped with state-of-the-art
network and user emulation capabilities, to study six US Naval SOC analysts'
usage of two tools. Our analysis identified several serious usability issues,
including multiple violations of established usability heuristics form user
interface design. We also discovered that analysts lacked a clear mental model
of how these tools generate scores, resulting in mistrust and/or misuse of the
tools themselves. Surprisingly, we found no correlation between analysts' level
of education or years of experience and their performance with either tool,
suggesting that other factors such as prior background knowledge or personality
play a significant role in ML-based tool usage. Our findings demonstrate that
ML-based security tool vendors must put a renewed focus on working with
analysts, both experienced and inexperienced, to ensure that their systems are
usable and useful in real-world security operations settings.
- Abstract(参考訳): 大規模なリサーチとアドバイザリ企業であるGartnerは、2024年までにセキュリティオペレーションセンター(SOC)の80%が、機械学習(ML)ベースのソリューションを使用して運用を強化することを予測している。
このような普及を踏まえて、研究コミュニティはユーザビリティの懸念を特定し、対処することが不可欠である。
本研究は,mlベースのツールを用いた最初の実地ユーザビリティアセスメントの結果を示す。
米国海軍の支援を得て、最先端のネットワークとユーザーエミュレーション機能を備えた大型の空飛ぶサイバーテストベッドであるnational cyber rangeを活用し、アメリカ海軍のsocアナリスト6名による2つのツールの使用状況を調査した。
本分析では,ユーザインタフェース設計の確立されたユーザビリティヒューリスティックの複数の違反を含む,ユーザビリティに関する重大な問題をいくつか明らかにした。
また、アナリストはこれらのツールがスコアを生成する方法の明確なメンタルモデルに欠けており、ツール自体の誤信や誤用を引き起こしていることも分かりました。
意外なことに、アナリストの教育水準や経験年数と、どちらのツールとのパフォーマンスとの間には相関が見られず、背景知識や人格といった他の要因がMLベースのツールの使用において重要な役割を果たすことが示唆された。
この結果から,MLベースのセキュリティツールベンダは,経験と経験の浅いアナリストとの共同作業に新たな重点を置き,現実のセキュリティ運用環境において,彼らのシステムが有用かつ有用であることを確認する必要がある。
関連論文リスト
- Learning to Use Tools via Cooperative and Interactive Agents [61.662788490607475]
ツール学習は、大きな言語モデル(LLM)をエージェントとして、その能力を拡張するために外部ツールを使用する権限を与える。
既存の手法では、1つのLCMベースのエージェントを使用してツールを反復的に選択し実行し、その結果を次のアクション予測に組み込む。
本研究では,協調型対話型エージェントフレームワークであるConAgentsを提案し,ツール学習のワークフローをグラウンディング,実行,監視エージェントにモジュール化する。
論文 参考訳(メタデータ) (2024-03-05T15:08:16Z) - Identifying the Risks of LM Agents with an LM-Emulated Sandbox [70.83306884808988]
言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。
これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。
ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
ツールエミュレータと評価器の両方を人体評価によりテストし,ToolEmuで特定されたエラーの68.8%が実世界のエージェントの失敗であることを確認した。
論文 参考訳(メタデータ) (2023-09-25T17:08:02Z) - Large Language Models as Tool Makers [85.00361145117293]
我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。
ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
論文 参考訳(メタデータ) (2023-05-26T17:50:11Z) - AIBugHunter: A Practical Tool for Predicting, Classifying and Repairing
Software Vulnerabilities [27.891905729536372]
AIBugHunterは、C/C++言語用のMLベースのソフトウェア脆弱性分析ツールで、Visual Studio Codeに統合されている。
本稿では,新たな多目的最適化(MOO)に基づく脆弱性分類手法と,AIBugHunterが脆弱性タイプを正確に識別し,重症度を推定するためのトランスフォーマーに基づく評価手法を提案する。
論文 参考訳(メタデータ) (2023-05-26T04:21:53Z) - LLM-based Interaction for Content Generation: A Case Study on the
Perception of Employees in an IT department [85.1523466539595]
本稿では,IT企業の従業員が生成ツールを使用する意図を明らかにするためのアンケート調査を行う。
以上の結果から, 生成ツールの比較的平均的な受容性が示唆されるが, ツールが有用であると認識されるほど, 意図が高くなることが示唆された。
分析の結果, 生産ツールの利用頻度は, 従業員が作業の文脈でこれらのツールをどのように認識しているかを理解する上で重要な要因である可能性が示唆された。
論文 参考訳(メタデータ) (2023-04-18T15:35:43Z) - Realistic simulation of users for IT systems in cyber ranges [63.20765930558542]
ユーザアクティビティを生成するために,外部エージェントを用いて各マシンを計測する。
このエージェントは、決定論的および深層学習に基づく手法を組み合わせて、異なる環境に適応する。
また,会話や文書の作成を容易にする条件付きテキスト生成モデルを提案する。
論文 参考訳(メタデータ) (2021-11-23T10:53:29Z) - Using Personality Detection Tools for Software Engineering Research: How
Far Can We Go? [12.56413718364189]
自己評価アンケートは、大規模に複数の観察を収集するための実践的な解決策ではない。
非技術的コーパスでトレーニングされたオフザシェルフソリューションは、ソフトウェア工学のような技術的な領域では、容易には適用できないかもしれない。
論文 参考訳(メタデータ) (2021-10-11T07:02:34Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳(メタデータ) (2020-10-19T13:09:31Z) - Pandora: A Cyber Range Environment for the Safe Testing and Deployment
of Autonomous Cyber Attack Tools [0.0]
Pandoraは安全なテスト環境であり、セキュリティ研究者とサイバーレンジユーザーが自動サイバー攻撃ツールの実験を行うことができる。
エンタープライズコンピュータシステムと直接互換性を持つ既存のテストベッドやサイバーレンジとは異なり、我々のテストシステムは、企業現実のコンピュータシステムと互換性がないよう意図的に設計されている。
論文 参考訳(メタデータ) (2020-09-24T04:38:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。