論文の概要: NYU CTF Dataset: A Scalable Open-Source Benchmark Dataset for Evaluating LLMs in Offensive Security

• arxiv url: http://arxiv.org/abs/2406.05590v1
• Date: Sat, 8 Jun 2024 22:21:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 19:06:24.388359
• Title: NYU CTF Dataset: A Scalable Open-Source Benchmark Dataset for Evaluating LLMs in Offensive Security
• Title（参考訳）: NYU CTFデータセット: 攻撃的セキュリティでLLMを評価するためのスケーラブルなオープンソースベンチマークデータセット
• Authors: Minghao Shao, Sofija Jancheska, Meet Udeshi, Brendan Dolan-Gavitt, Haoran Xi, Kimberly Milner, Boyuan Chen, Max Yin, Siddharth Garg, Prashanth Krishnamurthy, Farshad Khorrami, Ramesh Karri, Muhammad Shafique,
• Abstract要約: 大規模言語モデル(LLM)は、さまざまなドメインにデプロイされているが、Capture the Flag(CTF)の課題を解決する能力は、十分に評価されていない。 我々は、スケーラブルでオープンソースのベンチマークデータベースを作成することで、CTFの課題を解決する上で、LCMを評価する新しい手法を開発した。 このデータベースは、LLMテストと適応学習のためのメタデータを含み、人気のあるコンペからさまざまなCTF課題をコンパイルする。
• 参考スコア（独自算出の注目度）: 28.125179435861316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are being deployed across various domains today. However, their capacity to solve Capture the Flag (CTF) challenges in cybersecurity has not been thoroughly evaluated. To address this, we develop a novel method to assess LLMs in solving CTF challenges by creating a scalable, open-source benchmark database specifically designed for these applications. This database includes metadata for LLM testing and adaptive learning, compiling a diverse range of CTF challenges from popular competitions. Utilizing the advanced function calling capabilities of LLMs, we build a fully automated system with an enhanced workflow and support for external tool calls. Our benchmark dataset and automated framework allow us to evaluate the performance of five LLMs, encompassing both black-box and open-source models. This work lays the foundation for future research into improving the efficiency of LLMs in interactive cybersecurity tasks and automated task planning. By providing a specialized dataset, our project offers an ideal platform for developing, testing, and refining LLM-based approaches to vulnerability detection and resolution. Evaluating LLMs on these challenges and comparing with human performance yields insights into their potential for AI-driven cybersecurity solutions to perform real-world threat management. We make our dataset open source to public https://github.com/NYU-LLM-CTF/LLM_CTF_Database along with our playground automated framework https://github.com/NYU-LLM-CTF/llm_ctf_automation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は現在、さまざまなドメインにデプロイされています。 しかし、サイバーセキュリティにおけるCapture the Flag(CTF)の課題を解決する能力は、十分に評価されていない。 そこで我々は,これらのアプリケーションに特化して設計された,スケーラブルでオープンソースのベンチマークデータベースを作成することで,CTFの課題を解決する上で,LCMを評価する新しい手法を開発した。 このデータベースは、LLMテストと適応学習のためのメタデータを含み、人気のあるコンペからさまざまなCTF課題をコンパイルする。 LLMの高度な機能呼び出し機能を利用することで、ワークフローを強化し、外部ツールコールをサポートする完全に自動化されたシステムを構築する。 ベンチマークデータセットと自動フレームワークにより,ブラックボックスモデルとオープンソースモデルの両方を含む5つのLCMの性能を評価することができる。 この研究は、対話型サイバーセキュリティタスクと自動タスク計画におけるLCMの効率を改善するための将来の研究の基盤となる。 特殊なデータセットを提供することで、LLMベースの脆弱性検出と解決のためのアプローチを開発し、テストし、精錬するための理想的なプラットフォームを提供します。 これらの課題に対するLCMの評価と人間のパフォーマンスの比較は、現実の脅威管理を実行するためのAI駆動型サイバーセキュリティソリューションの可能性についての洞察を与える。 データセットを公開 https://github.com/NYU-LLM-CTF/LLM_CTF_Database と遊び場の自動フレームワーク https://github.com/NYU-LLM-CTF/llm_ctf_automation に公開しています。

関連論文リスト

• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• DCA-Bench: A Benchmark for Dataset Curation Agents [9.60250892491588]
  隠れたデータセットの品質問題を検知する大規模言語モデルの能力を測定するために,データセットキュレーションエージェントベンチマークであるDCA-Benchを提案する。 具体的には、テストベッドとして8つのオープンデータセットプラットフォームから、さまざまな実世界のデータセット品質の問題を収集します。 提案したベンチマークは、単に問題解決を行うのではなく、問題発見におけるLLMの能力を測定するためのテストベッドとしても機能する。
  論文  参考訳（メタデータ） (2024-06-11T14:02:23Z)
• ORLM: Training Large Language Models for Optimization Modeling [16.348267803499404]
  大規模言語モデル(LLM)は複雑なオペレーションリサーチ(OR)問題に対処するための強力なツールとして登場した。 この問題に対処するために、最適化モデリングのためのオープンソースのLLMのトレーニングを提案する。 我々は,NL4OPT,MAMO,IndustrialORベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-05-28T01:55:35Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• An Empirical Evaluation of LLMs for Solving Offensive Security Challenges [27.058760434139455]
  大きな言語モデル(LLM)は、Capture The Flag(CTF)の課題を解決するために使用されている。 CTFを解いた2つのHuman-in-the-loop(HITL)と完全自動化ワークフローを開発し、選択したCTF課題を解くLLMの能力を検証した。 LLMは平均的なヒトよりも高い成功率を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-02-19T04:08:44Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• ToolQA: A Dataset for LLM Question Answering with External Tools [14.408707186450899]
  大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を示した。 彼らはまだ幻覚や弱い数値推論のような困難に悩まされている。 これらの課題を克服するために、LLMの質問応答能力を高めるために外部ツールを使用することができる。
  論文  参考訳（メタデータ） (2023-06-23T05:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。