論文の概要: Data-Centric Benchmarking of Exploit Generation in LLMs: Understanding the Impact of Fine-Tuning

• arxiv url: http://arxiv.org/abs/2606.15123v1
• Date: Sat, 13 Jun 2026 05:28:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.863036
• Title: Data-Centric Benchmarking of Exploit Generation in LLMs: Understanding the Impact of Fine-Tuning
• Title（参考訳）: LLMにおける爆発発生データ中心ベンチマーク:微調整の影響を理解する
• Authors: Yiwei Chen, Lichi Li, Kai Cheung, Vinny Parla, Ganesh Sundaram,
• Abstract要約: 我々はCVE条件によるエクスプロイト生成の課題について検討し、そこではモデルが所定のソフトウェア脆弱性コンテキストをエクスプロイトする概念実証をドラフトする。 データ中心のアプローチを採用し、マルチステージ前処理による高品質なデータセットを構築します。 8つの評価基準にまたがって17の大規模言語モデルをベンチマークし、ゼロショット機能に関する体系的な洞察を提供する。
• 参考スコア（独自算出の注目度）: 2.491443411718293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the task of CVE-conditioned exploit generation, where a model drafts proof-of-concept (PoC) exploits given software vulnerability context. We adopt a data-centric approach, constructing a high-quality dataset via multi-stage preprocessing and introducing a scalable evaluation framework with LLM-as-judge and fine-grained rubrics. Under this unified setup, we benchmark 17 large language models across 8 evaluation criteria, providing systematic insights into their zero-shot capabilities. We further show that a compact 8B open-weight model, when fine-tuned on curated data, achieves over 42.5% improvement in exploit quality and rivals some proprietary models when combined with simple test-time rejection strategies. Our results highlight the importance of data quality, structured supervision, and evaluation design for reliable exploit generation, suggesting that these factors can be as critical as model scale in adapting LLMs to cybersecurity tasks.
• Abstract（参考訳）: モデルが概念実証(PoC)をドラフトするCVE条件によるエクスプロイト生成の課題について検討する。 我々は、データ中心のアプローチを採用し、マルチステージ前処理による高品質なデータセットを構築し、LLM-as-judgeときめ細かなルーリックを用いたスケーラブルな評価フレームワークを導入する。 この統合されたセットアップでは、8つの評価基準にまたがる17の大規模言語モデルをベンチマークし、ゼロショット機能に関する体系的な洞察を提供する。 さらに、コンパクトな8Bオープンウェイトモデルでは、キュレートされたデータを微調整すると、エクスプロイトの品質が42.5%向上し、単純なテスト時間拒否戦略と組み合わせることで、いくつかのプロプライエタリなモデルと競合することを示す。 本研究は, 信頼性の高いエクスプロイト生成のためのデータ品質, 構造化された監視, 評価設計の重要性を強調し, LLMをサイバーセキュリティタスクに適用する際のモデルスケールと同じくらい重要な要因であることが示唆された。

関連論文リスト

• RoHOI: Robustness Benchmark for Human-Object Interaction Detection [84.78366452133514]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、コンテキスト認識支援を可能にするロボット・ヒューマン・アシストに不可欠である。 HOI検出のための最初のベンチマークを導入し、様々な課題下でモデルのレジリエンスを評価する。 我々のベンチマークであるRoHOIは、HICO-DETとV-COCOデータセットに基づく20の汚職タイプと、新しいロバストネスにフォーカスしたメトリクスを含んでいる。
  論文  参考訳（メタデータ） (2025-07-12T01:58:04Z)
• Few-Shot Optimized Framework for Hallucination Detection in Resource-Limited NLP Systems [1.0124625066746595]
  本稿では,DeepSeek Few-shotの最適化を導入し,反復的なプロンプトエンジニアリングによりラベル生成の弱さを高める。 下流モデルの性能を大幅に向上させる高品質なアノテーションを実現する。 さらに、これらの最適化アノテーションに基づいてMistral-7B-Instruct-v0.3モデルを微調整し、リソース制限設定における幻覚を正確に検出する。
  論文  参考訳（メタデータ） (2025-01-28T01:26:22Z)
• Explore Theory of Mind: Program-guided adversarial data generation for theory of mind reasoning [88.68573198200698]
  本研究では,多様で挑戦的な心的データ理論を大規模に生成するための最初のフレームワークであるExploreToMを紹介する。 我々のアプローチは、A*検索をカスタムドメイン特化言語に利用して、複雑なストーリ構造と、新しく、多様だが、もっともらしいシナリオを生成します。 評価の結果,Llama-3.1-70B や GPT-4o などの最先端 LLM はExploreToM 生成データに対して0%,9% の精度を示した。
  論文  参考訳（メタデータ） (2024-12-12T21:29:00Z)
• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• Outside the Comfort Zone: Analysing LLM Capabilities in Software Vulnerability Detection [9.652886240532741]
  本稿では,ソースコードの脆弱性検出における大規模言語モデルの機能について,徹底的に解析する。 我々は6つの汎用LCMに対して脆弱性検出を特別に訓練した6つのオープンソースモデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-08-29T10:00:57Z)
• Improving Retrieval Augmented Language Model with Self-Reasoning [20.715106330314605]
  本稿では,ALMの信頼性とトレーサビリティ向上を目的とした,新たな自己推論フレームワークを提案する。 このフレームワークは、関連性を認識したプロセス、エビデンスを認識した選択プロセス、軌跡解析プロセスの3つのプロセスで自己推論軌道を構築することを含む。 提案手法の優位性を示すため,4つの公開データセットにまたがるフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-07-29T09:05:10Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。