論文の概要: CYGENT: A cybersecurity conversational agent with log summarization powered by GPT-3
- arxiv url: http://arxiv.org/abs/2403.17160v1
- Date: Mon, 25 Mar 2024 20:17:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 19:36:07.875825
- Title: CYGENT: A cybersecurity conversational agent with log summarization powered by GPT-3
- Title（参考訳）: CYGENT: GPT-3を利用したログ要約によるサイバーセキュリティ会話エージェント
- Authors: Prasasthy Balasubramanian, Justin Seby, Panos Kostakos,
- Abstract要約: CYGENTは、GPT-3.5ターボモデルを搭載した対話エージェントフレームワークである。
サイバーセキュリティ情報を提供し、アップロードされたログファイルを分析し、要約し、特定のイベントを検出し、必須の指示を与える。
- 参考スコア（独自算出の注目度）: 0.08192907805418582
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In response to the escalating cyber-attacks in the modern IT and IoT landscape, we developed CYGENT, a conversational agent framework powered by GPT-3.5 turbo model, designed to aid system administrators in ensuring optimal performance and uninterrupted resource availability. This study focuses on fine-tuning GPT-3 models for cybersecurity tasks, including conversational AI and generative AI tailored specifically for cybersecurity operations. CYGENT assists users by providing cybersecurity information, analyzing and summarizing uploaded log files, detecting specific events, and delivering essential instructions. The conversational agent was developed based on the GPT-3.5 turbo model. We fine-tuned and validated summarizer models (GPT3) using manually generated data points. Using this approach, we achieved a BERTscore of over 97%, indicating GPT-3's enhanced capability in summarizing log files into human-readable formats and providing necessary information to users. Furthermore, we conducted a comparative analysis of GPT-3 models with other Large Language Models (LLMs), including CodeT5-small, CodeT5-base, and CodeT5-base-multi-sum, with the objective of analyzing log analysis techniques. Our analysis consistently demonstrated that Davinci (GPT-3) model outperformed all other LLMs, showcasing higher performance. These findings are crucial for improving human comprehension of logs, particularly in light of the increasing numbers of IoT devices. Additionally, our research suggests that the CodeT5-base-multi-sum model exhibits comparable performance to Davinci to some extent in summarizing logs, indicating its potential as an offline model for this task.
- Abstract（参考訳）: GPT-3.5ターボモデルを利用した対話型エージェントフレームワークCYGENTを開発し、システム管理者が最適なパフォーマンスと不断のリソース可用性を確保するために設計した。
本研究は、サイバーセキュリティ業務に特化した会話型AIや生成型AIを含む、サイバーセキュリティタスクのための微調整型GPT-3モデルに焦点を当てる。
CYGENTは、サイバーセキュリティ情報を提供し、アップロードされたログファイルを分析および要約し、特定のイベントを検出し、必須の指示を提供することによって、ユーザを支援する。
対話エージェントはGPT-3.5ターボモデルに基づいて開発された。
手動で生成したデータポイントを用いて,要約モデル(GPT3)を微調整し,検証した。
このアプローチを用いることで、GPT-3のログファイルを人間可読形式に要約し、ユーザに必要な情報を提供する能力が向上したことを示唆するBERTスコアを97%以上達成した。
さらに,GPT-3モデルと他のLarge Language Model (LLMs)の比較分析を行い,ログ解析手法を用いてCodeT5-small,CodeT5-base,CodeT5-base-multi-sumを行った。
解析の結果,ダヴィンチモデル(GPT-3)が他のLLMよりも優れており,高い性能を示した。
これらの発見は、特にIoTデバイスの増加に照らして、ログの人間の理解を改善するために不可欠である。
さらに,CodeT5-base-multi-sumモデルでは,ログの要約の程度において,Davinciと同等の性能を示し,このタスクのオフラインモデルとしての可能性を示している。
関連論文リスト
- Integrating Large Language Models with Internet of Things Applications [6.22153888560487]
本稿では,大規模言語モデル(LLM)がモノのインターネット(IoT)ネットワークをよりインテリジェントで応答性の高いものにするアプリケーションを特定し,解析する。
その結果,数ショット学習時のGPTモデルでは検出精度が87.6%,微調整のGPTでは94.9%に向上した。
論文 参考訳（メタデータ） (2024-10-25T00:21:45Z) - SecureNet: A Comparative Study of DeBERTa and Large Language Models for Phishing Detection [0.0]
フィッシングは、ソーシャルエンジニアリングを使ってユーザーを騙して機密情報を明らかにすることで、組織にとって大きな脅威となる。
本稿では,Large Language Models (LLMs) の顕著な性能を,テキスト分類のような特定のタスクに活用できるかどうかを検討する。
LLMがいかにして説得力のあるフィッシングメールを生成するかを示し、詐欺を見つけるのを難しくする。
論文 参考訳（メタデータ） (2024-06-10T13:13:39Z) - DACO: Towards Application-Driven and Comprehensive Data Analysis via Code Generation [83.30006900263744]
データ分析は、詳細な研究と決定的な洞察を生み出すための重要な分析プロセスである。
LLMのコード生成機能を活用した高品質な応答アノテーションの自動生成を提案する。
我々のDACO-RLアルゴリズムは、57.72%のケースにおいて、SFTモデルよりも有用な回答を生成するために、人間のアノテータによって評価される。
論文 参考訳（メタデータ） (2024-03-04T22:47:58Z) - LogShield: A Transformer-based APT Detection System Leveraging
Self-Attention [2.1256044139613772]
本稿では,変圧器における自己注意力を利用したAPT攻撃パターンの検出を目的としたフレームワークであるLogShieldを提案する。
カスタマイズした埋め込みレイヤを組み込んで、前兆グラフから派生したイベントシーケンスのコンテキストを効果的にキャプチャします。
LSTMモデルではF1スコアが96%,94%を上回っ,F1スコアが98%,95%であった。
論文 参考訳（メタデータ） (2023-11-09T20:43:15Z) - Text generation for dataset augmentation in security classification
tasks [55.70844429868403]
本研究では、複数のセキュリティ関連テキスト分類タスクにおいて、このデータギャップを埋めるための自然言語テキストジェネレータの適用性を評価する。
我々は,GPT-3データ拡張戦略において,既知の正のクラスサンプルに厳しい制約がある状況において,大きなメリットを見出した。
論文 参考訳（メタデータ） (2023-10-22T22:25:14Z) - SentimentGPT: Exploiting GPT for Advanced Sentiment Analysis and its
Departure from Current Machine Learning [5.177947445379688]
本研究は,感情分析における各種生成事前変換器(GPT)手法の徹底的な検討である。
1) 先進型GPT-3.5ターボを用いた迅速なエンジニアリング,2) 微調整型GPTモデル,3) 組込み分類への革新的アプローチの3つの戦略が採用されている。
この研究は、これらの戦略と個々のGPTモデルの間で詳細な比較洞察を与え、そのユニークな強みと潜在的な制限を明らかにしている。
論文 参考訳（メタデータ） (2023-07-16T05:33:35Z) - A Comprehensive Capability Analysis of GPT-3 and GPT-3.5 Series Models [71.42197262495056]
GPTシリーズモデルは、その例外的な自然言語処理能力により、かなりの注目を集めている。
2つのGPT-3系列モデルと4つのGPT-3.5系列モデルからなる6つの代表モデルを選択する。
21個のデータセットを用いて,9つの自然言語理解タスク(NLU)の性能評価を行った。
実験の結果,NLUタスクにおけるGPTシリーズモデルの全体的な能力は,モデルが進化するにつれて徐々に向上しないことがわかった。
論文 参考訳（メタデータ） (2023-03-18T14:02:04Z) - Is GPT-3 a Good Data Annotator? [30.9559541574174]
GPT-3はOpenAIが開発した大規模言語モデルである。
本稿では,データアノテータとしてのGPT-3の性能を評価する。
論文 参考訳（メタデータ） (2022-12-20T17:28:41Z) - News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。
我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
論文 参考訳（メタデータ） (2022-09-26T01:04:52Z) - A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking [78.2700757742992]
タスク指向対話システムは対話状態追跡器(DST)を用いて会話を完了させる。
最近の最先端のDST実装は、モデルの堅牢性を改善するために様々なサービスのスキーマに依存している。
本稿では,意図予測,要求スロット予測,スロットフィリングの3つのDSTタスクを協調的に解決する単一マルチタスクBERTモデルを提案する。
論文 参考訳（メタデータ） (2022-07-02T13:27:59Z) - Graph Backdoor [53.70971502299977]
GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。
GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。
トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
論文 参考訳（メタデータ） (2020-06-21T19:45:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。