論文の概要: Good News for Script Kiddies? Evaluating Large Language Models for Automated Exploit Generation

• arxiv url: http://arxiv.org/abs/2505.01065v1
• Date: Fri, 02 May 2025 07:15:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.943898
• Title: Good News for Script Kiddies? Evaluating Large Language Models for Automated Exploit Generation
• Title（参考訳）: スクリプトキディのための良いニュース : 自動エクスプロイト生成のための大規模言語モデルの評価
• Authors: David Jin, Qian Fu, Yuekang Li,
• Abstract要約: 大規模言語モデル(LLM)は、コード関連のタスクにおいて顕著な能力を示し、自動エクスプロイト生成(AEG)の可能性への懸念を提起している。 本稿では, AEG における LLM の有効性に関する最初の体系的研究を行い, 協調性と技術能力の評価を行った。
• 参考スコア（独自算出の注目度）: 6.776829305448693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities in code-related tasks, raising concerns about their potential for automated exploit generation (AEG). This paper presents the first systematic study on LLMs' effectiveness in AEG, evaluating both their cooperativeness and technical proficiency. To mitigate dataset bias, we introduce a benchmark with refactored versions of five software security labs. Additionally, we design an LLM-based attacker to systematically prompt LLMs for exploit generation. Our experiments reveal that GPT-4 and GPT-4o exhibit high cooperativeness, comparable to uncensored models, while Llama3 is the most resistant. However, no model successfully generates exploits for refactored labs, though GPT-4o's minimal errors highlight the potential for LLM-driven AEG advancements.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード関連のタスクにおいて顕著な能力を示し、自動エクスプロイト生成(AEG)の可能性への懸念を高めている。 本稿では, AEG における LLM の有効性に関する最初の体系的研究を行い, 協調性と技術能力の評価を行った。 データセットバイアスを軽減するため、5つのソフトウェアセキュリティラボのリファクタリングされたバージョンでベンチマークを導入する。 さらに, LLMをベースとした攻撃者に対して, エクスプロイト生成のためのシステム的プロンプトを設計する。 実験の結果, GPT-4 と GPT-4o は無検閲モデルに匹敵する高い協調性を示し, Llama3 が最も耐性を示した。 しかしながら、GPT-4oの最小誤差は、LCM駆動のAEGの進歩の可能性を示しているが、リファクタリングされた研究所のエクスプロイトをうまく生成するモデルはない。

関連論文リスト

• Prompt to Pwn: Automated Exploit Generation for Smart Contracts [7.808685501356819]
  LLMベースのエクスプロイト合成をFoundryテストスイートに統合するフレームワークであるtextscReXを提案する。 我々は、既知のハイインパクトエクスプロイトの影響を受け、合成ベンチマークと実世界のスマートコントラクトの両方で、最先端の5つのLCMを評価した。 以上の結果から,現代のLLMでは,さまざまな脆弱性タイプに対して,機能的なPoCエクスプロイトを確実に生成することが可能であり,成功率は最大92%に達することが示唆された。
  論文  参考訳（メタデータ） (2025-08-02T13:52:15Z)
• The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility? [54.18519360412294]
  大きな言語モデル(LLM)は、安全のための有害な要求を拒否することと、ユーティリティのための正当な要求を収容することのバランスをとる必要がある。 本稿では,DPO(Direct Preference Optimization)に基づくアライメントフレームワークを提案する。 我々は,DeepSeek-R1をベンチマークでテストした結果を解析し,この高い評価を得たモデルがもたらす批判的倫理的懸念を明らかにする。
  論文  参考訳（メタデータ） (2025-01-20T06:35:01Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• ADVLLM: Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities [63.603861880022954]
  本稿では,対戦型LDMをジェイルブレイク能力に富んだ反復的自己調整プロセスであるADV-LLMを紹介する。 我々のフレームワークは,様々なオープンソース LLM 上で ASR を100% 近く達成しながら,逆接接尾辞を生成する計算コストを大幅に削減する。 Llama3のみに最適化されているにもかかわらず、GPT-3.5では99%のASR、GPT-4では49%のASRを達成している。
  論文  参考訳（メタデータ） (2024-10-24T06:36:12Z)
• Embedding Self-Correction as an Inherent Ability in Large Language Models for Enhanced Mathematical Reasoning [13.082135438792475]
  自己補正の連鎖は、大規模言語モデルに固有の能力として自己補正を組み込む。 CoSCは一連の自己補正段階を通して機能する。 実験により、CoSCは標準的な数学的データセットの性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-10-14T17:16:44Z)
• How Well Do Large Language Models Serve as End-to-End Secure Code Producers? [42.119319820752324]
  GPT-3.5 と GPT-4 の 4 つの LLM で生成されたコードの脆弱性を識別し,修復する能力について検討した。 4900のコードを手動または自動でレビューすることで、大きな言語モデルにはシナリオ関連セキュリティリスクの認識が欠けていることが判明した。 修復の1ラウンドの制限に対処するため,LLMにより安全なソースコード構築を促す軽量ツールを開発した。
  論文  参考訳（メタデータ） (2024-08-20T02:42:29Z)
• She had Cobalt Blue Eyes: Prompt Testing to Create Aligned and Sustainable Language Models [2.6089354079273512]
  最近の出来事は、従来の訓練された大規模言語モデル(LLM)に関する倫理的懸念を示している 公平で安全で堅牢なLCMの開発を促進するための一連のプロンプトを紹介します。 テストスイートは、GPT-3.5, GPT-4, OPT, LLaMA-2の4つの最先端言語モデルの出力を評価する。
  論文  参考訳（メタデータ） (2023-10-20T14:18:40Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)
• Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [53.78782375511531]
  大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。 本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。 実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
  論文  参考訳（メタデータ） (2023-04-19T10:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。