論文の概要: Purple Llama CyberSecEval: A Secure Coding Benchmark for Language Models
- arxiv url: http://arxiv.org/abs/2312.04724v1
- Date: Thu, 7 Dec 2023 22:07:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 16:44:06.928284
- Title: Purple Llama CyberSecEval: A Secure Coding Benchmark for Language Models
- Title(参考訳): Purple Llama CyberSecEval: 言語モデルのセキュアコーディングベンチマーク
- Authors: Manish Bhatt, Sahana Chennabasappa, Cyrus Nikolaidis, Shengye Wan,
Ivan Evtimov, Dominik Gabi, Daniel Song, Faizan Ahmad, Cornelius Aschermann,
Lorenzo Fontana, Sasha Frolov, Ravi Prakash Giri, Dhaval Kapil, Yiannis
Kozyrakis, David LeBlanc, James Milazzo, Aleksandar Straumann, Gabriel
Synnaeve, Varun Vontimitta, Spencer Whitman, Joshua Saxe
- Abstract要約: 本稿では,Large Language Models (LLMs) のプログラミングアシスタントとしてのサイバーセキュリティを促進するために開発された,包括的なベンチマークであるCyberSecEvalを提案する。
CyberSecEvalは、2つの重要なセキュリティ領域におけるLSMの徹底的な評価を提供する。
- 参考スコア(独自算出の注目度): 41.068780235482514
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents CyberSecEval, a comprehensive benchmark developed to help
bolster the cybersecurity of Large Language Models (LLMs) employed as coding
assistants. As what we believe to be the most extensive unified cybersecurity
safety benchmark to date, CyberSecEval provides a thorough evaluation of LLMs
in two crucial security domains: their propensity to generate insecure code and
their level of compliance when asked to assist in cyberattacks. Through a case
study involving seven models from the Llama 2, Code Llama, and OpenAI GPT large
language model families, CyberSecEval effectively pinpointed key cybersecurity
risks. More importantly, it offered practical insights for refining these
models. A significant observation from the study was the tendency of more
advanced models to suggest insecure code, highlighting the critical need for
integrating security considerations in the development of sophisticated LLMs.
CyberSecEval, with its automated test case generation and evaluation pipeline
covers a broad scope and equips LLM designers and researchers with a tool to
broadly measure and enhance the cybersecurity safety properties of LLMs,
contributing to the development of more secure AI systems.
- Abstract(参考訳): 本稿では,大規模言語モデル(llms)の暗号アシスタントとしてのサイバーセキュリティ強化を目的とした総合ベンチマークであるcybersecevalを提案する。
当社がこれまでに最も広範な統合サイバーセキュリティセキュリティベンチマークであると信じているcybersecevalは、2つの重要なセキュリティドメインにおけるllmの徹底的な評価を提供する。
Llama 2、Code Llama、OpenAI GPTの大言語モデルファミリーの7つのモデルに関するケーススタディを通じて、CyberSecEvalは、重要なサイバーセキュリティリスクを効果的に特定した。
さらに重要なのは、これらのモデルを洗練するための実践的な洞察を提供することだ。
この研究から有意な観察は、より高度なモデルが安全でないコードを提案する傾向にあり、高度なllmの開発においてセキュリティ上の考慮事項を統合する必要性が強調された。
CyberSecEvalは、テストケースの自動生成と評価パイプラインで幅広い範囲をカバーし、LLMの設計者や研究者にLLMのサイバーセキュリティ安全性を広く測定し、強化するツールを提供し、よりセキュアなAIシステムの開発に寄与している。
関連論文リスト
- Exploring Safety Generalization Challenges of Large Language Models via Code [126.80573601180411]
本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。
調査によると、CodeAttackは全モデルの80%以上の安全ガードレールを一貫してバイパスしている。
CodeAttackと自然言語の間の大きな分散ギャップは、安全性の一般化を弱める。
論文 参考訳(メタデータ) (2024-03-12T17:55:38Z) - SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large
Language Models [112.46733790998024]
SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。
それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
論文 参考訳(メタデータ) (2024-02-07T17:33:54Z) - Large Language Models in Cybersecurity: State-of-the-Art [4.990712773805833]
大規模言語モデル(LLM)の台頭は、私たちの知性の理解に革命をもたらした。
本研究は, サイバーセキュリティの領域におけるLLMの防衛的, 敵的応用の徹底的な評価を, 既存の文献を考察した。
論文 参考訳(メタデータ) (2024-01-30T16:55:25Z) - Software Repositories and Machine Learning Research in Cyber Security [0.0]
堅牢なサイバーセキュリティ防衛の統合は、ソフトウェア開発のあらゆる段階において不可欠になっている。
ソフトウェア要件プロセスにおけるこれらの初期段階の脆弱性の検出にトピックモデリングと機械学習を活用する試みが実施されている。
論文 参考訳(メタデータ) (2023-11-01T17:46:07Z) - Enhancing Large Language Models for Secure Code Generation: A
Dataset-driven Study on Vulnerability Mitigation [24.668682498171776]
大規模言語モデル(LLM)はコード生成に大きな進歩をもたらし、初心者と経験豊富な開発者の両方に恩恵を与えている。
しかし、GitHubのようなオープンソースのリポジトリから無防備なデータを使用したトレーニングは、セキュリティ上の脆弱性を不注意に伝播するリスクをもたらす。
本稿では,ソフトウェアセキュリティの観点からのLLMの評価と拡張に焦点をあてた総合的研究について述べる。
論文 参考訳(メタデータ) (2023-10-25T00:32:56Z) - Building Resilient SMEs: Harnessing Large Language Models for Cyber
Security in Australia [0.0]
オーストラリアの中小企業では、サイバー脅威に対する脆弱性が増加している。
人工知能(AI)、機械学習(ML)、大規模言語モデル(LLM)は、オーストラリアの中小企業のサイバーセキュリティポリシーを強化する可能性がある。
本研究は、オーストラリアの中小企業におけるサイバーセキュリティ政策の強化におけるLLMの役割について、包括的理解を提供する。
論文 参考訳(メタデータ) (2023-06-05T06:01:00Z) - Safety Assessment of Chinese Large Language Models [51.83369778259149]
大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。
安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
論文 参考訳(メタデータ) (2023-04-20T16:27:35Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳(メタデータ) (2023-02-08T11:54:07Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳(メタデータ) (2020-10-19T13:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。