論文の概要: Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models

• arxiv url: http://arxiv.org/abs/2408.08926v3
• Date: Thu, 05 Dec 2024 19:46:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:54:49.533247
• Title: Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models
• Title（参考訳）: Cybench: セキュリティ能力と言語モデルのリスクを評価するフレームワーク
• Authors: Andy K. Zhang, Neil Perry, Riya Dulepet, Joey Ji, Celeste Menders, Justin W. Lin, Eliot Jones, Gashon Hussein, Samantha Liu, Donovan Jasper, Pura Peetathawatchai, Ari Glenn, Vikram Sivashankar, Daniel Zamoshchin, Leo Glikbarg, Derek Askaryar, Mike Yang, Teddy Zhang, Rishi Alluri, Nathan Tran, Rinnara Sangpisit, Polycarpos Yiorkadjis, Kenny Osele, Gautham Raghupathi, Dan Boneh, Daniel E. Ho, Percy Liang,
• Abstract要約: Cybenchは、サイバーセキュリティタスクを特定し、それらのタスク上でエージェントを評価するためのフレームワークである。 4つの異なるCTFコンペティションから、40のプロフェッショナルレベルのCapture the Flag(CTF)タスクが含まれています。 GPT-4o, OpenAI o1-preview, Claude 3 Opus, Claude 3.5 Sonnet, Mixtral 8x22b Instruct, Gemini 1.5 Pro, Llama 3 70B Chat, Llama 3.1 405B Instruct。
• 参考スコア（独自算出の注目度）: 33.1538965735133
• License:
• Abstract: Language Model (LM) agents for cybersecurity that are capable of autonomously identifying vulnerabilities and executing exploits have potential to cause real-world impact. Policymakers, model providers, and researchers in the AI and cybersecurity communities are interested in quantifying the capabilities of such agents to help mitigate cyberrisk and investigate opportunities for penetration testing. Toward that end, we introduce Cybench, a framework for specifying cybersecurity tasks and evaluating agents on those tasks. We include 40 professional-level Capture the Flag (CTF) tasks from 4 distinct CTF competitions, chosen to be recent, meaningful, and spanning a wide range of difficulties. Each task includes its own description, starter files, and is initialized in an environment where an agent can execute commands and observe outputs. Since many tasks are beyond the capabilities of existing LM agents, we introduce subtasks for each task, which break down a task into intermediary steps for a more detailed evaluation. To evaluate agent capabilities, we construct a cybersecurity agent and evaluate 8 models: GPT-4o, OpenAI o1-preview, Claude 3 Opus, Claude 3.5 Sonnet, Mixtral 8x22b Instruct, Gemini 1.5 Pro, Llama 3 70B Chat, and Llama 3.1 405B Instruct. For the top performing models (GPT-4o and Claude 3.5 Sonnet), we further investigate performance across 4 agent scaffolds (structed bash, action-only, pseudoterminal, and web search). Without subtask guidance, agents leveraging Claude 3.5 Sonnet, GPT-4o, OpenAI o1-preview, and Claude 3 Opus successfully solved complete tasks that took human teams up to 11 minutes to solve. In comparison, the most difficult task took human teams 24 hours and 54 minutes to solve. All code and data are publicly available at https://cybench.github.io.
• Abstract（参考訳）: 脆弱性を自律的に識別し、エクスプロイトを実行するサイバーセキュリティのための言語モデル(LM)エージェントは、現実世界に影響を及ぼす可能性がある。 政策立案者、モデル提供者、AIおよびサイバーセキュリティコミュニティの研究者は、サイバーリスクを軽減し、侵入テストの機会を調べるためにそのようなエージェントの能力を定量化することに興味を持っている。 そこで,サイバーセキュリティタスクの特定と,それらのタスクに対するエージェント評価のためのフレームワークであるCybenchを紹介する。 4つの異なるCTFコンペティションから、40のプロフェッショナルレベルのCapture the Flag(CTF)タスクが含まれています。 各タスクは独自の記述、スターターファイルを含み、エージェントがコマンドを実行して出力を観察できる環境で初期化される。 多くのタスクは既存のLMエージェントの能力を超えており、タスクごとにサブタスクを導入し、タスクを中間ステップに分解してより詳細な評価を行う。 GPT-4o, OpenAI o1-preview, Claude 3 Opus, Claude 3.5 Sonnet, Mixtral 8x22b Instruct, Gemini 1.5 Pro, Llama 3 70B Chat, Llama 3.1 405B Instruct。 トップパフォーマンスモデル(GPT-4oとClaude 3.5 Sonnet)については、さらに4つのエージェントの足場(構造的バッシュ、アクションのみ、疑似終端、Web検索)のパフォーマンスについて検討する。 サブタスクのガイダンスなしでは、Claude 3.5 Sonnet、GPT-4o、OpenAI o1-preview、Claude 3 Opusを活用するエージェントは、人間のチームが解くのに最大11分かかった完全なタスクをうまく解決した。 対照的に、最も難しいタスクは、解決に24時間54分を要した。 すべてのコードとデータはhttps://cybench.github.io.comで公開されている。

関連論文リスト

• D-CIPHER: Dynamic Collaborative Intelligent Agents with Planning and Heterogeneous Execution for Enhanced Reasoning in Offensive Security [22.86304661035188]
  大規模言語モデル(LLM)は、サイバーセキュリティにおいて様々な方法で使用されている。 CTF(Capture the Flag)の課題は、LLMエージェントの自動タスク計画能力を評価するためのベンチマークとして機能する。 協調型CTF問題解決のためのD-CIPHERマルチエージェントLLMフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-15T23:43:18Z)
• TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks [52.46737975742287]
  私たちは小さなソフトウェア企業環境を模倣したデータによる自己完結型環境を構築します。 最も競争力のあるエージェントでは、タスクの24%が自律的に完了できます。 これは、LMエージェントによるタスク自動化に関するニュアンスな絵を描く。
  論文  参考訳（メタデータ） (2024-12-18T18:55:40Z)
• SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [42.69984822098671]
  LLMエージェントの安全性を考慮したタスク計画のための新しいベンチマークであるSafeAgentBenchを紹介する。 最高のパフォーマンスのベースラインは、安全なタスクで69%の成功率を得るが、有害なタスクでは5%の拒絶率しか得られない。
  論文  参考訳（メタデータ） (2024-12-17T18:55:58Z)
• MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains [54.117238759317004]
  大規模マルチタスクエージェント理解(MMAU)ベンチマークは、複雑な環境設定を必要としない包括的なオフラインタスクを特徴としている。 ツールユース、DAG(Directed Acyclic Graph)QA、データサイエンスと機械学習コーディング、コンテストレベルのプログラミング、数学の5分野にわたるモデルを評価する。 3K以上の異なるプロンプトを含む20の精巧に設計されたタスクにより、MMAUはLLMエージェントの強度と限界を評価するための包括的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-18T00:58:41Z)
• CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
  Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。 私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。 実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
  論文  参考訳（メタデータ） (2024-07-01T17:55:04Z)
• Husky: A Unified, Open-Source Language Agent for Multi-Step Reasoning [67.26776442697184]
  我々はHuskyを紹介した。Huskyは総合的でオープンソースの言語エージェントで、統一されたアクション空間について推論することを学ぶ。 ハスキーは、(1)与えられたタスクを解決するために次のアクションを生成すること、2)エキスパートモデルを使用してアクションを実行すること、の2つの段階を繰り返す。 実験の結果,Huskyは14の評価データセットで先行言語エージェントよりも優れていた。
  論文  参考訳（メタデータ） (2024-06-10T17:07:25Z)
• A Preliminary Study on Using Large Language Models in Software Pentesting [2.0551676463612636]
  大規模言語モデル(LLM)は、セキュリティタスクを自動化するための有望な可能性を提供すると考えられている。 ソフトウェアペンテスティングにおけるLLMの使用について検討し,ソースコード中のソフトウェアセキュリティ脆弱性を自動的に識別する作業を行う。
  論文  参考訳（メタデータ） (2024-01-30T21:42:59Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)
• AgentSims: An Open-Source Sandbox for Large Language Model Evaluation [9.156652770482268]
  既存の評価手法は,(1)制約付き評価能力,(2)脆弱なベンチマーク,(3)客観的な指標などの欠点に悩まされている。 LLMエージェントがシミュレーション環境でタスクを完了させるタスクベース評価は、上記の問題を解決するための一対一のソリューションである。 AgentSimsは、あらゆる分野の研究者が興味のある特定の能力をテストするための、使いやすいインフラだ。
  論文  参考訳（メタデータ） (2023-08-08T03:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。