Fugu-MT 論文翻訳(概要): Benchmarking OpenAI o1 in Cyber Security

論文の概要: Benchmarking OpenAI o1 in Cyber Security

arxiv url: http://arxiv.org/abs/2410.21939v1
Date: Tue, 29 Oct 2024 10:57:11 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-30 13:41:15.997062
Title: Benchmarking OpenAI o1 in Cyber Security
Title（参考訳）: サイバーセキュリティにおけるOpenAI o1のベンチマーク
Authors: Dan Ristea, Vasilios Mavroudis, Chris Hicks,
Abstract要約: 我々はOpenAIのo1-previewモデルとo1-miniモデルを評価し、その性能を以前のGPT-4oモデルと比較した。我々の評価は、既知の衛生装置を起動する構造化インプットを生成することで、現実世界のソフトウェアにおける脆弱性を検出する能力に焦点を当てている。
参考スコア（独自算出の注目度）: 0.24578723416255752
License:
Abstract: We evaluate OpenAI's o1-preview and o1-mini models, benchmarking their performance against the earlier GPT-4o model. Our evaluation focuses on their ability to detect vulnerabilities in real-world software by generating structured inputs that trigger known sanitizers. Using DARPA's AI Cyber Challenge (AIxCC) framework and the Nginx challenge project--a deliberately modified version of the widely-used Nginx web server--we create a well-defined yet complex environment for testing LLMs on automated vulnerability detection (AVD) tasks. Our results show that the o1-preview model significantly outperforms GPT-4o in both success rate and efficiency, especially in more complex scenarios.
Abstract（参考訳）: 我々はOpenAIのo1-previewモデルとo1-miniモデルを評価し、その性能を以前のGPT-4oモデルと比較した。我々の評価は、既知の衛生装置を起動する構造化インプットを生成することで、現実世界のソフトウェアにおける脆弱性を検出する能力に焦点を当てている。 DARPAのAI Cyber Challenge(AIxCC)フレームワークと、広く使用されているNginx Webサーバの意図的に修正されたバージョンであるNginx Challengeを使って、自動脆弱性検出(AVD)タスク上でLLMをテストするための、明確に定義された複雑な環境を構築しました。以上の結果から,o1-previewモデルの方がGPT-4oよりも成功率と効率,特に複雑なシナリオにおいて優れていたことが示唆された。

関連論文リスト

AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
論文参考訳（メタデータ） (2024-11-02T13:24:30Z)
Towards Automated Penetration Testing: Introducing LLM Benchmark, Analysis, and Improvements [1.4433703131122861]
大規模言語モデル(LLM)は、サイバーセキュリティなど、さまざまな分野に可能性を示している。現在、包括的で、オープンで、エンドツーエンドの自動浸透テストベンチマークはありません。本稿では,LLMを用いた自動貫入試験のための新しいオープンベンチマークを提案する。
論文参考訳（メタデータ） (2024-10-22T16:18:41Z)
A Comparative Study on Reasoning Patterns of OpenAI's o1 Model [69.08287909042421]
OpenAIのo1モデルは、ほとんどのデータセットで最高のパフォーマンスを実現しています。また、いくつかの推論ベンチマークについて詳細な分析を行う。
論文参考訳（メタデータ） (2024-10-17T15:09:03Z)
Networks of Networks: Complexity Class Principles Applied to Compound AI Systems Design [63.24275274981911]
多くの言語モデル推論コールからなる複合AIシステムは、ますます採用されている。本研究では,提案した回答の生成と正当性検証の区別を中心に,ネットワークネットワーク(NoN)と呼ばれるシステムを構築した。我々は,Kジェネレータを備えた検証器ベースの判定器NoNを導入し,"Best-of-K"あるいは"judge-based"複合AIシステムのインスタンス化を行う。
論文参考訳（メタデータ） (2024-07-23T20:40:37Z)
Generalization-Enhanced Code Vulnerability Detection via Multi-Task Instruction Fine-Tuning [16.54022485688803]
VulLLMは、マルチタスク学習をLarge Language Models (LLM)と統合して、ディープシークな脆弱性機能を効果的にマイニングする新しいフレームワークである。 6つの大きなデータセットで実施された実験は、VulLLMが有効性、一般化、堅牢性という観点から7つの最先端モデルを上回ることを示した。
論文参考訳（メタデータ） (2024-06-06T03:29:05Z)
Securing Graph Neural Networks in MLaaS: A Comprehensive Realization of Query-based Integrity Verification [68.86863899919358]
我々は機械学習におけるGNNモデルをモデル中心の攻撃から保護するための画期的なアプローチを導入する。提案手法は,GNNの完全性に対する包括的検証スキーマを含み,トランスダクティブとインダクティブGNNの両方を考慮している。本稿では,革新的なノード指紋生成アルゴリズムを組み込んだクエリベースの検証手法を提案する。
論文参考訳（メタデータ） (2023-12-13T03:17:05Z)
HuntGPT: Integrating Machine Learning-Based Anomaly Detection and Explainable AI with Large Language Models (LLMs) [0.09208007322096533]
我々はランダムフォレスト分類器を応用した特殊な侵入検知ダッシュボードであるHuntGPTを提案する。この論文は、Certified Information Security Manager (CISM) Practice Examsを通じて評価された、システムのアーキテクチャ、コンポーネント、技術的正確性について論じている。その結果、LLMによってサポートされ、XAIと統合された会話エージェントは、侵入検出において堅牢で説明可能な、実行可能なAIソリューションを提供することを示した。
論文参考訳（メタデータ） (2023-09-27T20:58:13Z)
Getting pwn'd by AI: Penetration Testing with Large Language Models [0.0]
本稿では,GPT3.5のような大規模言語モデルによるAIスパーリングパートナーによる浸透テストの強化の可能性について検討する。セキュリティテストの課題のためのハイレベルなタスクプランニングと、脆弱な仮想マシン内での低レベルな脆弱性ハンティングである。
論文参考訳（メタデータ） (2023-07-24T19:59:22Z)
A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
論文参考訳（メタデータ） (2023-07-20T17:33:25Z)
OutCenTR: A novel semi-supervised framework for predicting exploits of vulnerabilities in high-dimensional datasets [0.0]
私たちは、悪用される可能性のある脆弱性を予測するために、外れ値検出技術を使用しています。本稿では,ベースライン外乱検出モデルを強化する次元削減手法であるOutCenTRを提案する。実験の結果,F1スコアの5倍の精度向上が得られた。
論文参考訳（メタデータ） (2023-04-03T00:34:41Z)
VELVET: a noVel Ensemble Learning approach to automatically locate VulnErable sTatements [62.93814803258067]
本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。 VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
論文参考訳（メタデータ） (2021-12-20T22:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。