論文の概要: A RAG-Based Question-Answering Solution for Cyber-Attack Investigation and Attribution
- arxiv url: http://arxiv.org/abs/2408.06272v1
- Date: Mon, 12 Aug 2024 16:33:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 13:56:12.911769
- Title: A RAG-Based Question-Answering Solution for Cyber-Attack Investigation and Attribution
- Title(参考訳): RAGに基づくサイバーアタック調査と属性調査のための質問回答ソリューション
- Authors: Sampath Rajapaksha, Ruby Rani, Erisa Karafili,
- Abstract要約: 本稿では,サイバー攻撃の調査と帰属について,サイバーセキュリティの専門家に情報を提供するQAモデルとその応用について紹介する。
我々のQAモデルは、Large Language Model(LLM)とともに、検索拡張生成(RAG)技術に基づいています。
我々は、KBベースの、メタデータベースの、KBからの特定の文書、外部ソースベースの質問など、様々な種類の質問を用いて、QAモデルを検証、評価してきた。
- 参考スコア(独自算出の注目度): 2.2940141855172036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the constantly evolving field of cybersecurity, it is imperative for analysts to stay abreast of the latest attack trends and pertinent information that aids in the investigation and attribution of cyber-attacks. In this work, we introduce the first question-answering (QA) model and its application that provides information to the cybersecurity experts about cyber-attacks investigations and attribution. Our QA model is based on Retrieval Augmented Generation (RAG) techniques together with a Large Language Model (LLM) and provides answers to the users' queries based on either our knowledge base (KB) that contains curated information about cyber-attacks investigations and attribution or on outside resources provided by the users. We have tested and evaluated our QA model with various types of questions, including KB-based, metadata-based, specific documents from the KB, and external sources-based questions. We compared the answers for KB-based questions with those from OpenAI's GPT-3.5 and the latest GPT-4o LLMs. Our proposed QA model outperforms OpenAI's GPT models by providing the source of the answers and overcoming the hallucination limitations of the GPT models, which is critical for cyber-attack investigation and attribution. Additionally, our analysis showed that when the RAG QA model is given few-shot examples rather than zero-shot instructions, it generates better answers compared to cases where no examples are supplied in addition to the query.
- Abstract(参考訳): サイバーセキュリティの絶え間なく進化している分野では、サイバー攻撃の捜査と帰属に役立つ最新の攻撃トレンドと関連する情報をアナリストが守ることが不可欠である。
本研究では,サイバー攻撃の調査と帰属について,サイバーセキュリティの専門家に情報を提供するQAモデルとその応用について紹介する。
我々のQAモデルは,Large Language Model (LLM) とともに検索型拡張生成(RAG)技術に基づいており,サイバー攻撃の調査や帰属に関するキュレートされた情報を含む知識ベース (KB) あるいはユーザが提供する外部リソースに基づいて,ユーザの質問に対する回答を提供する。
我々は、KBベースの、メタデータベースの、KBからの特定の文書、外部ソースベースの質問など、様々な種類の質問を用いて、QAモデルを検証、評価してきた。
KB ベースの質問に対する回答を OpenAI の GPT-3.5 と最新の GPT-4o LLM の回答と比較した。
提案したQAモデルは,回答のソースを提供し,GPTモデルの幻覚的限界を克服することで,OpenAIのGPTモデルより優れている。
さらに分析の結果,RAG QAモデルにゼロショット命令ではなく少数ショット例が与えられる場合,クエリに加えてサンプルが提供されない場合に比べ,より優れた回答が得られることがわかった。
関連論文リスト
- UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。
まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。
そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
論文 参考訳(メタデータ) (2023-10-17T02:38:09Z) - Improving Visual Question Answering Models through Robustness Analysis
and In-Context Learning with a Chain of Basic Questions [70.70725223310401]
本研究は,VQAモデルのロバスト性を評価するために,基本質問と呼ばれる意味的関連質問を利用する新しい手法を提案する。
実験により,提案手法はVQAモデルのロバスト性を効果的に解析することを示した。
論文 参考訳(メタデータ) (2023-04-06T15:32:35Z) - PIE-QG: Paraphrased Information Extraction for Unsupervised Question
Generation from Small Corpora [4.721845865189576]
PIE-QGは、オープン情報抽出(OpenIE)を使用して、パラフレーズ付き通路から合成トレーニング質問を生成する。
主語,述語,対象>の3つを各節から抽出し,主語(または対象)と述語で質問し,対象(または対象)を回答とする。
論文 参考訳(メタデータ) (2023-01-03T12:20:51Z) - Attacking Open-domain Question Answering by Injecting Misinformation [116.25434773461465]
質問応答モデル(QA)に対する誤報のリスクについて,オープンドメインQAモデルの誤報文書に対する感度について検討した。
実験により、QAモデルは誤情報による少量の証拠汚染に対して脆弱であることが示されている。
質問応答と誤情報検出を統合した誤情報認識型QAシステムの構築の必要性について論じる。
論文 参考訳(メタデータ) (2021-10-15T01:55:18Z) - Improving Unsupervised Question Answering via Summarization-Informed
Question Generation [47.96911338198302]
質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、
我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。
得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
論文 参考訳(メタデータ) (2021-09-16T13:08:43Z) - Summary-Oriented Question Generation for Informational Queries [23.72999724312676]
主文書のトピックに焦点をあてた自己説明的質問を,適切な長さのパスで答えられるようにすることを目的としている。
本モデルでは,NQデータセット(20.1BLEU-4)上でのSQ生成のSOTA性能を示す。
我々はさらに,本モデルをドメイン外のニュース記事に適用し,ゴールド質問の欠如によるQAシステムによる評価を行い,私たちのモデルがニュース記事に対してより良いSQを生成することを実証し,人間による評価によるさらなる確認を行う。
論文 参考訳(メタデータ) (2020-10-19T17:30:08Z) - A Survey on Complex Question Answering over Knowledge Base: Recent
Advances and Challenges [71.4531144086568]
知識ベース(KB)に対する質問回答(QA)は、自然言語の質問に自動的に答えることを目的としている。
研究者は、よりKBのトリプルと制約推論を必要とする単純な質問から複雑な質問へと注意を移した。
論文 参考訳(メタデータ) (2020-07-26T07:13:32Z) - Template-Based Question Generation from Retrieved Sentences for Improved
Unsupervised Question Answering [98.48363619128108]
擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。
関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2020-04-24T17:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。