論文の概要: CyberLLMInstruct: A New Dataset for Analysing Safety of Fine-Tuned LLMs Using Cyber Security Data

• arxiv url: http://arxiv.org/abs/2503.09334v1
• Date: Wed, 12 Mar 2025 12:29:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:36:46.761484
• Title: CyberLLMInstruct: A New Dataset for Analysing Safety of Fine-Tuned LLMs Using Cyber Security Data
• Title（参考訳）: CyberLLMInstruct:サイバーセキュリティデータを用いた微調整LDMの安全性分析のための新しいデータセット
• Authors: Adel ElZemity, Budi Arief, Shujun Li,
• Abstract要約: 大規模言語モデルのサイバーセキュリティアプリケーションへの統合は、大きなチャンスをもたらす。 CyberLLMInstructは、サイバーセキュリティタスクにまたがる54,928の命令応答ペアのデータセットである。 微調整モデルは、CyberMetricベンチマークで最大92.50%の精度を達成することができる。
• 参考スコア（独自算出の注目度）: 2.2530496464901106
• License:
• Abstract: The integration of large language models (LLMs) into cyber security applications presents significant opportunities, such as enhancing threat analysis and malware detection, but can also introduce critical risks and safety concerns, including personal data leakage and automated generation of new malware. To address these challenges, we developed CyberLLMInstruct, a dataset of 54,928 instruction-response pairs spanning cyber security tasks such as malware analysis, phishing simulations, and zero-day vulnerabilities. The dataset was constructed through a multi-stage process. This involved sourcing data from multiple resources, filtering and structuring it into instruction-response pairs, and aligning it with real-world scenarios to enhance its applicability. Seven open-source LLMs were chosen to test the usefulness of CyberLLMInstruct: Phi 3 Mini 3.8B, Mistral 7B, Qwen 2.5 7B, Llama 3 8B, Llama 3.1 8B, Gemma 2 9B, and Llama 2 70B. In our primary example, we rigorously assess the safety of fine-tuned models using the OWASP top 10 framework, finding that fine-tuning reduces safety resilience across all tested LLMs and every adversarial attack (e.g., the security score of Llama 3.1 8B against prompt injection drops from 0.95 to 0.15). In our second example, we show that these same fine-tuned models can also achieve up to 92.50 percent accuracy on the CyberMetric benchmark. These findings highlight a trade-off between performance and safety, showing the importance of adversarial testing and further research into fine-tuning methodologies that can mitigate safety risks while still improving performance across diverse datasets and domains. All scripts required to reproduce the dataset, along with examples and relevant resources for replicating our results, will be made available upon the paper's acceptance.
• Abstract（参考訳）: 大規模言語モデル(LLM)のサイバーセキュリティアプリケーションへの統合は、脅威分析やマルウェア検出の強化などの重要な機会を提供するが、個人データ漏洩や新しいマルウェアの自動生成など、重大なリスクや安全性の懸念も引き起こす可能性がある。 これらの課題に対処するため、マルウェア分析、フィッシングシミュレーション、ゼロデイ脆弱性などのサイバーセキュリティタスクにまたがる54,928の命令応答ペアのデータセットであるCyberLLMInstructを開発した。 データセットは多段階プロセスによって構築された。 これには、複数のリソースからデータをソーシングし、命令応答ペアにフィルタリングし、構造化し、適用性を高めるために現実のシナリオと整合させることが含まれていた。 Phi 3 Mini 3.8B、Mistral 7B、Qwen 2.5 7B、Llama 3 8B、Llama 3.1 8B、Gemma 2 9B、Llama 2 70B。 最初の例では、OWASP Top 10フレームワークを使用して、微調整されたモデルの安全性を厳格に評価し、微調整により、テストされたすべてのLSMとあらゆる敵攻撃(例えば、Llama 3.1 8Bの即時注入ドロップに対するセキュリティスコア0.95から0.15)の安全性が低下することを発見した。 第2の例では、これらの細調整されたモデルが、CyberMetricベンチマークで最大92.50%の精度で達成可能であることを示しています。 これらの知見は、パフォーマンスと安全性のトレードオフを浮き彫りにし、敵対的なテストの重要性と、さまざまなデータセットやドメインのパフォーマンスを改善しつつ、安全性のリスクを軽減するための微調整方法論のさらなる研究を示している。 データセットを複製するために必要なすべてのスクリプトと、結果を複製するサンプルと関連するリソースは、論文の受理時に利用可能になる。

関連論文リスト

• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• Outside the Comfort Zone: Analysing LLM Capabilities in Software Vulnerability Detection [9.652886240532741]
  本稿では,ソースコードの脆弱性検出における大規模言語モデルの機能について,徹底的に解析する。 我々は6つの汎用LCMに対して脆弱性検出を特別に訓練した6つのオープンソースモデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-08-29T10:00:57Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。 我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• SecureNet: A Comparative Study of DeBERTa and Large Language Models for Phishing Detection [0.0]
  フィッシングは、ソーシャルエンジニアリングを使ってユーザーを騙して機密情報を明らかにすることで、組織にとって大きな脅威となる。 本稿では,Large Language Models (LLMs) の顕著な性能を,テキスト分類のような特定のタスクに活用できるかどうかを検討する。 LLMがいかにして説得力のあるフィッシングメールを生成するかを示し、詐欺を見つけるのを難しくする。
  論文  参考訳（メタデータ） (2024-06-10T13:13:39Z)
• Fine-Tuning, Quantization, and LLMs: Navigating Unintended Outcomes [0.0]
  大規模言語モデル(LLM)は、チャットボットやオートタスク補完エージェントなど、さまざまな領域で広く採用されている。 これらのモデルは、ジェイルブレイク、プロンプトインジェクション、プライバシリーク攻撃などの安全性上の脆弱性の影響を受けやすい。 本研究では,これらの変更がLLMの安全性に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-04-05T20:31:45Z)
• Robust Synthetic Data-Driven Detection of Living-Off-the-Land Reverse Shells [14.710331873072146]
  LOTL(Living-off-the-land)技術は、セキュリティ運用において大きな課題となる。 セキュリティ情報およびイベント管理(SIEM)ソリューションとして,サイバー防衛システムのための堅牢な拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-28T13:49:23Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities [12.82645410161464]
  5つの異なるセキュリティデータセットから5,000のコードサンプルに対して、16の事前学習された大規模言語モデルの有効性を評価する。 全体として、LSMは脆弱性の検出において最も穏やかな効果を示し、データセットの平均精度は62.8%、F1スコアは0.71である。 ステップバイステップ分析を含む高度なプロンプト戦略は、F1スコア(平均0.18まで)で実世界のデータセット上でのLLMのパフォーマンスを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-11-16T13:17:20Z)
• Identifying the Risks of LM Agents with an LM-Emulated Sandbox [68.26587052548287]
  言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。 これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。 ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
  論文  参考訳（メタデータ） (2023-09-25T17:08:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。