論文の概要: Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report
- arxiv url: http://arxiv.org/abs/2504.21039v1
- Date: Mon, 28 Apr 2025 08:41:12 GMT
- ステータス: 情報取得中
- システム内更新日: 2025-05-02 15:52:12.719499
- Title: Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report
- Title(参考訳): Llama-3.1-FoundationAI-SecurityLLM-Base-8B技術報告
- Authors: Paul Kassianik, Baturay Saglam, Alexander Chen, Blaine Nelson, Anu Vellore, Massimo Aufiero, Fraser Burch, Dhruv Kedia, Avi Zohary, Sajana Weerawardhena, Aman Priyanshu, Adam Swanda, Amy Chang, Hyrum Anderson, Kojin Oshiba, Omar Santos, Yaron Singer, Amin Karbasi,
- Abstract要約: 我々は,Llama 3.1アーキテクチャ上に構築された,サイバーセキュリティにフォーカスした大規模言語モデル(LLM)であるFoundation-Sec-8Bを紹介する。
我々は、Llama 3.1-70B と GPT-4o-mini がサイバーセキュリティ固有のタスクで一致していることを示し、確立された新しいサイバーセキュリティベンチマークと新しいサイバーセキュリティベンチマークの両方で評価した。
当社のモデルを一般公開することで、公開とプライベート両方のサイバーセキュリティ状況において、AI駆動ツールの進歩と採用を加速することを目指しています。
- 参考スコア(独自算出の注目度): 50.268821168513654
- License:
- Abstract: As transformer-based large language models (LLMs) increasingly permeate society, they have revolutionized domains such as software engineering, creative writing, and digital arts. However, their adoption in cybersecurity remains limited due to challenges like scarcity of specialized training data and complexity of representing cybersecurity-specific knowledge. To address these gaps, we present Foundation-Sec-8B, a cybersecurity-focused LLM built on the Llama 3.1 architecture and enhanced through continued pretraining on a carefully curated cybersecurity corpus. We evaluate Foundation-Sec-8B across both established and new cybersecurity benchmarks, showing that it matches Llama 3.1-70B and GPT-4o-mini in certain cybersecurity-specific tasks. By releasing our model to the public, we aim to accelerate progress and adoption of AI-driven tools in both public and private cybersecurity contexts.
- Abstract(参考訳): トランスフォーマーベースの大規模言語モデル(LLM)が社会に浸透するにつれ、ソフトウェア工学、クリエイティブ・ライティング、デジタルアートといった領域に革命をもたらした。
しかし、専門的なトレーニングデータの不足や、サイバーセキュリティ固有の知識を表現する複雑さといった課題のため、サイバーセキュリティへの採用は依然として限られている。
これらのギャップに対処するため、我々は、Llama 3.1アーキテクチャ上に構築されたサイバーセキュリティに焦点を当てたLLMであるFoundation-Sec-8Bを紹介した。
我々は、確立されたセキュリティベンチマークと新しいサイバーセキュリティベンチマークの両方でFoundation-Sec-8Bを評価し、特定のサイバーセキュリティ固有のタスクにおいて、Llama 3.1-70BとGPT-4o-miniと一致することを示す。
当社のモデルを一般公開することで、公開とプライベート両方のサイバーセキュリティ状況において、AI駆動ツールの進歩と採用を加速することを目指しています。
関連論文リスト
- The Digital Cybersecurity Expert: How Far Have We Come? [49.89857422097055]
我々は,サイバーセキュリティの専門家が期待する345の知識ポイントに基づいた,きめ細かいサイバーセキュリティ評価フレームワークであるCSEBenchmarkを開発した。
CSEBenchmarkで12のポピュラーな大言語モデル(LLM)を評価し、最高のパフォーマンスモデルでさえ全体の精度は85.42%に過ぎなかった。
各LSMにおける特定の知識ギャップを特定し,対処することにより,事前の誤り予測の修正において最大84%の改善が達成される。
論文 参考訳(メタデータ) (2025-04-16T05:36:28Z) - Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。
本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
論文 参考訳(メタデータ) (2024-11-21T08:20:31Z) - CyberPal.AI: Empowering LLMs with Expert-Driven Cybersecurity Instructions [0.2999888908665658]
大規模言語モデル(LLM)は、非常に高度な自然言語処理(NLP)機能を持ち、様々なアプリケーションにまたがる汎用機能を提供する。
しかし、サイバーセキュリティのような複雑なドメイン固有のタスクへの応用は、しばしば重大な課題に直面している。
本研究では,SecKnowledgeとCyberPal.AIを紹介し,これらの課題に対処し,セキュリティ専門家のLSMを訓練する。
論文 参考訳(メタデータ) (2024-08-17T22:37:39Z) - Generative AI in Cybersecurity: A Comprehensive Review of LLM Applications and Vulnerabilities [1.0974825157329373]
本稿では,ジェネレーティブAIとLarge Language Models(LLMs)によるサイバーセキュリティの将来を概観する。
ハードウェア設計のセキュリティ、侵入検知、ソフトウェアエンジニアリング、設計検証、サイバー脅威インテリジェンス、マルウェア検出、フィッシング検出など、さまざまな領域にわたるLCMアプリケーションを探索する。
GPT-4, GPT-3.5, Mixtral-8x7B, BERT, Falcon2, LLaMA などのモデルの発展に焦点を当て, LLM の進化とその現状について概説する。
論文 参考訳(メタデータ) (2024-05-21T13:02:27Z) - SEvenLLM: Benchmarking, Eliciting, and Enhancing Abilities of Large Language Models in Cyber Threat Intelligence [27.550484938124193]
本稿では,サイバーセキュリティのインシデント分析と応答能力をベンチマークし,評価し,改善するためのフレームワークを提案する。
サイバーセキュリティのWebサイトから、サイバーセキュリティの生テキストをクロールすることによって、高品質なバイリンガル命令コーパスを作成します。
命令データセットSEvenLLM-Instructは、マルチタスク学習目的のサイバーセキュリティLLMのトレーニングに使用される。
論文 参考訳(メタデータ) (2024-05-06T13:17:43Z) - The Security and Privacy of Mobile Edge Computing: An Artificial Intelligence Perspective [64.36680481458868]
Mobile Edge Computing (MEC)は、クラウドコンピューティングと情報技術(IT)サービスをネットワークのエッジで配信できるようにする新しいコンピューティングパラダイムである。
本稿では,人工知能(AI)の観点からMECのセキュリティとプライバシに関する調査を行う。
新たなセキュリティとプライバシの問題に加えて、AIの観点からの潜在的なソリューションにも重点を置いています。
論文 参考訳(メタデータ) (2024-01-03T07:47:22Z) - Purple Llama CyberSecEval: A Secure Coding Benchmark for Language Models [41.068780235482514]
本稿では,Large Language Models (LLMs) のプログラミングアシスタントとしてのサイバーセキュリティを促進するために開発された,包括的なベンチマークであるCyberSecEvalを提案する。
CyberSecEvalは、2つの重要なセキュリティ領域におけるLSMの徹底的な評価を提供する。
論文 参考訳(メタデータ) (2023-12-07T22:07:54Z) - Graph Mining for Cybersecurity: A Survey [61.505995908021525]
マルウェア、スパム、侵入などのサイバー攻撃の爆発的な増加は、社会に深刻な影響をもたらした。
従来の機械学習(ML)ベースの手法は、サイバー脅威の検出に広く用いられているが、現実のサイバーエンティティ間の相関をモデル化することはほとんどない。
グラフマイニング技術の普及に伴い、サイバーエンティティ間の相関を捉え、高いパフォーマンスを達成するために、多くの研究者がこれらの手法を調査した。
論文 参考訳(メタデータ) (2023-04-02T08:43:03Z) - Recognizing and Extracting Cybersecurtity-relevant Entities from Text [1.7499351967216343]
サイバー脅威インテリジェンス(Cyber Threat Intelligence、CTI)は、脅威ベクトル、脆弱性、攻撃を記述した情報である。
CTIはしばしば、サイバーセキュリティ知識グラフ(CKG)のようなAIベースのサイバー防衛システムのトレーニングデータとして使用される。
論文 参考訳(メタデータ) (2022-08-02T18:44:06Z) - Proceedings of the Artificial Intelligence for Cyber Security (AICS)
Workshop at AAAI 2022 [55.573187938617636]
ワークショップは、サイバーセキュリティの問題へのAIの適用に焦点を当てる。
サイバーシステムは大量のデータを生成し、これを効果的に活用することは人間の能力を超えます。
論文 参考訳(メタデータ) (2022-02-28T18:27:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。