論文の概要: Collaborative Intelligence: Topic Modelling of Large Language Model use in Live Cybersecurity Operations

• arxiv url: http://arxiv.org/abs/2508.18488v1
• Date: Mon, 25 Aug 2025 21:02:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.596078
• Title: Collaborative Intelligence: Topic Modelling of Large Language Model use in Live Cybersecurity Operations
• Title（参考訳）: コラボレーションインテリジェンス:ライブサイバーセキュリティ運用における大規模言語モデルのトピックモデリング
• Authors: Martin Lochner, Keegan Keplinger,
• Abstract要約: 本稿では,大規模言語モデル(LLM)を用いたセキュリティオペレーションセンター(SOC)のトピックモデリングについて述べる。 目標は、これらの専門家が自発的にこのツールを使う方法を理解することだ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Objective: This work describes the topic modelling of Security Operations Centre (SOC) use of a large language model (LLM), during live security operations. The goal is to better understand how these specialists voluntarily use this tool. Background: Human-automation teams have been extensively studied, but transformer-based language models have sparked a new wave of collaboration. SOC personnel at a major cybersecurity provider used an LLM to support live security operations. This study examines how these specialists incorporated the LLM into their work. Method: Our data set is the result of 10 months of SOC operators accessing GPT-4 over an internally deployed HTTP-based chat application. We performed two topic modelling exercises, first using the established BERTopic model (Grootendorst, 2022), and second, using a novel topic modeling workflow. Results: Both the BERTopic analysis and novel modelling approach revealed that SOC operators primarily used the LLM to facilitate their understanding of complex text strings. Variations on this use-case accounted for ~40% of SOC LLM usage. Conclusion: SOC operators are required to rapidly interpret complex commands and similar information. Their natural tendency to leverage LLMs to support this activity indicates that their workflow can be supported and augmented by designing collaborative LLM tools for use in the SOC. Application: This work can aid in creating next-generation tools for Security Operations Centres. By understanding common use-cases, we can develop workflows supporting SOC task flow. One example is a right-click context menu for executing a command line analysis LLM call directly in the SOC environment.
• Abstract（参考訳）: 目的:本研究では,大規模言語モデル(LLM)を使用したセキュリティ運用センター(SOC)のトピックモデリングについて述べる。 目標は、これらの専門家が自発的にこのツールを使う方法を理解することだ。 背景: 人間の自動化チームは広く研究されてきたが、トランスフォーマーベースの言語モデルが新たなコラボレーションの波を引き起こしている。 大手サイバーセキュリティプロバイダのSOC職員は、ライブセキュリティオペレーションをサポートするためにLLMを使用した。 本研究では,これらの専門家がLLMを研究に取り入れた方法について検討する。 Method: 私たちのデータセットは、内部にデプロイされたHTTPベースのチャットアプリケーション上で、GPT-4にアクセスするSOCオペレータの10ヶ月の結果です。 まず、確立したBERTopicモデル(Grootendorst, 2022)と、新しいトピックモデリングワークフローを使用した2つのトピックモデリング演習を行った。 結果:BERTopic解析と新しいモデリング手法により,SOC演算子がLLMを用いて複雑な文字列の理解を容易にすることが明らかにされた。 このユースケースのバリエーションは、SOC LLMの使用量の約40%を占めた。 結論: SOC演算子は複雑なコマンドや同様の情報を素早く解釈する必要がある。 このアクティビティをサポートするためにLLMを利用する自然な傾向は、彼らのワークフローをSOCで使用する共同LLMツールを設計することによってサポートし、拡張できることを示している。 アプリケーション: この作業は、Security Operations Centresの次世代ツールの作成を支援する。 一般的なユースケースを理解することで、SOCタスクフローをサポートするワークフローを開発することができる。 例えば、コマンドライン分析 LLM コールを SOC 環境で直接実行する、右クリックのコンテキストメニューがある。

関連論文リスト

• Collab-Overcooked: Benchmarking and Evaluating Large Language Models as Collaborative Agents [16.422314548224147]
  大規模言語モデル(LLM)ベースのエージェントシステムは、従来のNLPタスクを超えて、現実世界のアプリケーションにおいて大きな進歩を遂げてきた。 本稿では,インタラクティブ環境において,より適用性が高く,課題の多いOvercooked-AIゲーム上に構築された新しいベンチマークであるCollab-Overcookedを提案する。
  論文  参考訳（メタデータ） (2025-02-27T13:31:13Z)
• Tool Learning in the Wild: Empowering Language Models as Automatic Tool Agents [56.822238860147024]
  大規模な言語モデルを外部ツールで拡張することは、彼らのユーティリティを拡張するための有望なアプローチとして現れました。 以前のメソッドは、ツールドキュメントを手動で解析し、コンテキスト内デモを作成し、ツールをLLMがステップバイステップの推論で使用する構造化フォーマットに変換する。 LLMがツール使用ワークフローを自動化できるフレームワークであるAutoToolsを提案する。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Middleware for LLMs: Tools Are Instrumental for Language Agents in Complex Environments [35.670330583914904]
  大規模言語モデル(LLM)は、複雑な環境で動作可能な汎用エージェントとして構想されている。 このような複雑性に対処する上で,LSMを増強する新しいツールのクラスを導入する。 2つの代表的な複雑な環境 -- 知識ベース(KB)とデータベース -- において、ツールで言語エージェントを増強する大きな可能性を実証する。
  論文  参考訳（メタデータ） (2024-02-22T16:18:07Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• On the Tool Manipulation Capability of Open-source Large Language Models [19.6917640220883]
  オープンソース LLM を強化して,ツール操作においてクローズド LLM API をリードする上での競争力を示すことができることを示す。 当社の技術は,オープンソースLLMを最大90%の成功率で向上させ,8つのツールベンチタスクのうち4つでOpenAI GPT-4と競合する能力を示す。
  論文  参考訳（メタデータ） (2023-05-25T22:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。