論文の概要: Harnessing Large Language Models for Seed Generation in Greybox Fuzzing
- arxiv url: http://arxiv.org/abs/2411.18143v1
- Date: Wed, 27 Nov 2024 08:44:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-28 15:28:34.758111
- Title: Harnessing Large Language Models for Seed Generation in Greybox Fuzzing
- Title（参考訳）: グレーボックスファジングにおける種子生成のための大規模言語モデルの調和
- Authors: Wenxuan Shi, Yunhang Zhang, Xinyu Xing, Jun Xu,
- Abstract要約: 本稿では、Large Language Modelsを活用して、インテリジェントなシード生成によるファジィ化を促進する新しいシステムであるSeedMindを紹介する。
従来のアプローチとは異なり、SeedMindはテストケースを直接生成するのではなく、LLMを使用してテストケースジェネレータを生成する。
SeedMindの開発では、入力フォーマットの制限、コンテキストウィンドウの制約、一貫性のある進捗対応動作の確保など、重要な課題に対処しました。
- 参考スコア（独自算出の注目度）: 19.612191797460756
- License:
- Abstract: Greybox fuzzing has emerged as a preferred technique for discovering software bugs, striking a balance between efficiency and depth of exploration. While research has focused on improving fuzzing techniques, the importance of high-quality initial seeds remains critical yet often overlooked. Existing methods for seed generation are limited, especially for programs with non-standard or custom input formats. Large Language Models (LLMs) has revolutionized numerous domains, showcasing unprecedented capabilities in understanding and generating complex patterns across various fields of knowledge. This paper introduces SeedMind, a novel system that leverages LLMs to boost greybox fuzzing through intelligent seed generation. Unlike previous approaches, SeedMind employs LLMs to create test case generators rather than directly producing test cases. Our approach implements an iterative, feedback-driven process that guides the LLM to progressively refine test case generation, aiming for increased code coverage depth and breadth. In developing SeedMind, we addressed key challenges including input format limitations, context window constraints, and ensuring consistent, progress-aware behavior. Intensive evaluations with real-world applications show that SeedMind effectively harnesses LLMs to generate high-quality test cases and facilitate fuzzing in bug finding, presenting utility comparable to human-created seeds and significantly outperforming the existing LLM-based solutions.
- Abstract（参考訳）: Greyboxファジングは、ソフトウェアバグを発見するための望ましいテクニックとして現れ、効率性と探索の深さのバランスを崩した。
研究はファジィング技術の改善に重点を置いているが、高品質な初期種子の重要性は批判的だが、しばしば見落とされがちである。
既存のシード生成方法には制限があるが、特に標準でない入力形式やカスタム入力形式を持つプログラムでは特にそうだ。
大規模言語モデル(LLM)は多くのドメインに革命をもたらし、様々な分野の知識の複雑なパターンを理解し、生成する前例のない能力を示している。
本稿では,LLMを利用した新しいシステムであるSeedMindを紹介し,インテリジェンスシード生成によるグレーボックスファジリングの促進について述べる。
従来のアプローチとは異なり、SeedMindはテストケースを直接生成するのではなく、LLMを使用してテストケースジェネレータを生成する。
提案手法は,LLMがコードカバレッジの深さと幅を増大させることを目的として,段階的にテストケース生成を洗練させる反復的フィードバック駆動プロセスを実装している。
SeedMindの開発では、入力フォーマットの制限、コンテキストウィンドウの制約、一貫性のある進捗対応動作の確保など、重要な課題に対処しました。
実世界のアプリケーションによる集中的な評価によると、SeedMindはLLMを効果的に活用し、高品質なテストケースを生成し、バグ発見のファジングを容易にし、人間の作った種子に匹敵するユーティリティを示し、既存のLLMベースのソリューションを大幅に上回っている。
関連論文リスト
- Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models [76.17975723711886]
不確実性定量化(英: Uncertainty Quantification、UQ)は、大規模言語モデル(LLM)から真正性を求めるための顕著なアプローチである。
本研究では,テキスト生成のために,分類タスクのUQ技術であるMahalanobis Distance (MD)を適用した。
提案手法は,複数レイヤのLCMからトークン埋め込みを抽出し,各トークンのMDスコアを計算し,これらの特徴を訓練した線形回帰を用いてロバストな不確実性スコアを提供する。
論文 参考訳（メタデータ） (2025-02-20T10:25:13Z) - Leveraging Online Olympiad-Level Math Problems for LLMs Training and Contamination-Resistant Evaluation [55.21013307734612]
AoPS-Instructは60,000以上の高品質QAペアのデータセットである。
LiveAoPSBenchは、最新のフォーラムデータから派生したタイムスタンプによる進化的評価セットである。
我々の研究は、高度な数学推論のための大規模で高品質なデータセットの作成と維持にスケーラブルなアプローチを提示している。
論文 参考訳（メタデータ） (2025-01-24T06:39:38Z) - LLMs are Highly-Constrained Biophysical Sequence Optimizers [36.32135215158242]
大規模言語モデル(LLM)は、最近、様々な生物学的タスクにおいて大きな可能性を示している。
本研究では,LLMを高度に制約された二レベル最適化として活用する可能性について検討する。
本稿では,報酬分布と基準分布を円滑に補間する新たなトレーニング目標であるMargin-Aligned expectation (MargE)を提案する。
論文 参考訳（メタデータ） (2024-10-29T17:45:57Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。
3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。
そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
論文 参考訳（メタデータ） (2024-07-08T17:27:17Z) - Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
不確実性定量化は機械学習アプリケーションにおいて重要な要素である。
最新のUQベースラインの集合を実装した新しいベンチマークを導入する。
我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
論文 参考訳（メタデータ） (2024-06-21T20:06:31Z) - Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。
NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。
さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
論文 参考訳（メタデータ） (2024-05-29T17:55:03Z) - Large Language Models as Test Case Generators: Performance Evaluation and Enhancement [3.5398126682962587]
大規模言語モデルが高品質なテストケースをいかに生み出すかを検討する。
本稿では,テストインプットとテストアウトプットの生成を分離するemphTestChainというマルチエージェントフレームワークを提案する。
以上の結果から,TestChainはベースラインのマージンを大きく上回っていることが示唆された。
論文 参考訳（メタデータ） (2024-04-20T10:27:01Z) - Enhancing LLM-based Test Generation for Hard-to-Cover Branches via Program Analysis [8.31978033489419]
難解な分岐に到達可能なテストを生成する新しい技術である TELPA を提案する。
27のオープンソースPythonプロジェクトに対する実験結果から,TELPAは最先端のSBSTやLLMベースの技術よりも優れていたことが判明した。
論文 参考訳（メタデータ） (2024-04-07T14:08:28Z) - Benchmarking and Explaining Large Language Model-based Code Generation:
A Causality-Centric Approach [12.214585409361126]
大規模言語モデル(LLM)ベースのコード生成は複雑で強力なブラックボックスモデルである。
本稿では,プロンプトと生成されたコードの因果グラフに基づく新しい表現を提案する。
我々は,12以上の迅速な調整戦略で3つの人気のあるLCMを研究することで,我々のフレームワークが提供できる洞察について説明する。
論文 参考訳（メタデータ） (2023-10-10T14:56:26Z) - Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。
ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。
雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
論文 参考訳（メタデータ） (2021-06-14T18:48:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。