論文の概要: Benchmarking Deep Learning Fuzzers
- arxiv url: http://arxiv.org/abs/2310.06912v1
- Date: Tue, 10 Oct 2023 18:09:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 03:22:05.400275
- Title: Benchmarking Deep Learning Fuzzers
- Title(参考訳): deep learning fuzzersのベンチマーク
- Authors: Nima Shiri Harzevili, Hung Viet Pham, Song Wang
- Abstract要約: ベンチマークでは、最先端の3つのDLファザ、FreeFuzz、DeepRel、DocTerを、その命令に従って実行します。
これらのファジィザは、ベンチマークデータセットで収集された多くの実際のバグを検出することができません。
我々の系統分析では、これらのファジッターが実際のバグを検知する能力に影響を及ぼす4つの主要な、広く、共通の要因を同定する。
- 参考スコア(独自算出の注目度): 11.118370064698869
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we set out to conduct the first ground-truth empirical
evaluation of state-of-the-art DL fuzzers. Specifically, we first manually
created an extensive DL bug benchmark dataset, which includes 627 real-world DL
bugs from TensorFlow and PyTorch libraries reported by users between 2020 and
2022. Then we run three state-of-the-art DL fuzzers, i.e., FreeFuzz, DeepRel,
and DocTer, on the benchmark by following their instructions. We find that
these fuzzers are unable to detect many real bugs collected in our benchmark
dataset. Specifically, most (235) of the 257 applicable bugs cannot be detected
by any fuzzer.
Our systematic analysis further identifies four major, broad, and common
factors that affect these fuzzers' ability to detect real bugs. These findings
present opportunities to improve the performance of the fuzzers in future work.
As a proof of concept, we propose a lightweight corner case generator as an
extension to the three DL fuzzers, which simply covers several boundary values
as well as DL-specific data types. It helps FreeFuzz, DeepRel, and DocTer
detect 12, 12, and 14 more bugs, respectively, that were overlooked by the
original fuzzers. Overall, this work complements prior studies on DL fuzzers
with an extensive performance evaluation and provides a benchmark for future DL
library fuzzing studies. Also, our proposed corner case generator proves that
the fuzzers can be extended to detect more bugs by extending their internal
fuzzing logic based on the insights provided in root cause analysis.
- Abstract(参考訳): そこで本研究では,最先端のDLファジイザの地上試験評価を行った。
具体的には、2020年から2022年の間に報告されたTensorFlowとPyTorchライブラリの627の実際のDLバグを含む、広範なDLバグベンチマークデータセットを手作業で作成しました。
次に、彼らの指示に従い、ベンチマークで3つの最先端のDLファザ、すなわちFreeFuzz、DeepRel、DocTerを実行します。
これらのファジィザは、ベンチマークデータセットで収集された多くの実際のバグを検出することができません。
具体的には、257のバグのうち、ほとんどの(235)はファザーによって検出できない。
我々の系統分析では、これらのファジッターが実際のバグを検知する能力に影響を及ぼす4つの主要な、広く、共通の要因を同定する。
これらの結果は,今後の作業におけるファジィアの性能向上の機会となる。
概念実証として,3つのDLファザの拡張として,複数の境界値とDL固有のデータ型を単純にカバーする軽量コーナーケースジェネレータを提案する。
freefuzz、deeprel、docterはオリジナルのfuzzersで見過ごされていた12のバグと14のバグを検出するのに役立つ。
総じて、この研究はdlfuzzersの以前の研究を広範囲のパフォーマンス評価で補完し、将来のdlライブラリfuzzing studiesのベンチマークを提供する。
また,本研究のコーナーケースジェネレータは,根本原因分析の知見に基づいて,内部ファジィングロジックを拡張して,より多くのバグを検出することができることを示した。
関連論文リスト
- Model X-ray:Detect Backdoored Models via Decision Boundary [66.41173675107886]
ディープニューラルネットワーク(DNN)はさまざまな産業に革命をもたらし、機械学習・アズ・ア・サービス(ML)の台頭につながった。
DNNはバックドア攻撃の影響を受けやすいため、アプリケーションに重大なリスクが生じる。
本稿では,決定境界の解析を通じて,MLの新しいバックドア検出手法であるModel X-rayを提案する。
論文 参考訳(メタデータ) (2024-02-27T12:42:07Z) - FuzzSlice: Pruning False Positives in Static Analysis Warnings Through
Function-Level Fuzzing [5.748423489074936]
本稿では,静的解析警告中の偽陽性を自動生成するフレームワークであるFuzzSliceを提案する。
作業の基盤となる重要な洞察は、所定の時間予算で関数レベルでファジットされた場合、クラッシュを発生しない警告が偽陽性である、ということです。
FuzzSliceは、オープンソースリポジトリでは62.26%、Julietデータセットでは100%の偽陽性を減少させる。
論文 参考訳(メタデータ) (2024-02-02T21:49:24Z) - DebugBench: Evaluating Debugging Capability of Large Language Models [89.13051256657995]
DebugBench - LLM(Large Language Models)のベンチマーク。
C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。
ゼロショットシナリオで2つの商用モデルと3つのオープンソースモデルを評価する。
論文 参考訳(メタデータ) (2024-01-09T15:46:38Z) - Prompt Fuzzing for Fuzz Driver Generation [6.814630649466018]
本稿では,プロンプトファジングのためのカバーガイドファジングであるPromptFuzzを提案する。
未発見のライブラリコードを探索するためにファズドライバを反復的に生成する。
OSS-Fuzzの1.61倍、Hopperの1.67倍のブランチカバレッジを実現している。
論文 参考訳(メタデータ) (2023-12-29T16:43:51Z) - Security Knowledge-Guided Fuzzing of Deep Learning Libraries [9.930638894226004]
そこで我々は,Orionという新しいディープラーニングファザを提案する。
Orionはファジィルールのセットに基づいて、ガイドされたテスト入力生成とコーナーケーステスト入力生成を組み合わせる。
論文 参考訳(メタデータ) (2023-06-05T21:38:56Z) - What Happens When We Fuzz? Investigating OSS-Fuzz Bug History [0.9772968596463595]
我々は2022年3月12日までにOSS-Fuzzが公表した44,102件の問題を分析した。
コードを含むバグの発生時期を推定するために,バグ貢献のコミットを特定し,検出から修正までのタイムラインを測定した。
論文 参考訳(メタデータ) (2023-05-19T05:15:36Z) - Black-box Dataset Ownership Verification via Backdoor Watermarking [67.69308278379957]
我々は、リリースデータセットの保護を、(目立たしい)サードパーティモデルのトレーニングに採用されているかどうかの検証として定式化する。
バックドアの透かしを通じて外部パターンを埋め込んでオーナシップの検証を行い,保護することを提案する。
具体的には、有毒なバックドア攻撃(例えばBadNets)をデータセットのウォーターマーキングに利用し、データセット検証のための仮説テストガイダンスメソッドを設計する。
論文 参考訳(メタデータ) (2022-08-04T05:32:20Z) - D2A: A Dataset Built for AI-Based Vulnerability Detection Methods Using
Differential Analysis [55.15995704119158]
静的解析ツールによって報告されたラベル問題に対する差分解析に基づくアプローチであるD2Aを提案する。
D2Aを使用して大きなラベル付きデータセットを生成し、脆弱性識別のためのモデルをトレーニングします。
論文 参考訳(メタデータ) (2021-02-16T07:46:53Z) - DeFuzz: Deep Learning Guided Directed Fuzzing [41.61500799890691]
本稿では,DeFuzzというソフトウェア脆弱性検出のための,ディープラーニング(DL)誘導指向ファズリングを提案する。
DeFuzzには2つの主要なスキームが含まれている。 1) 潜在的に脆弱な機能と位置(脆弱性のあるアドレス)を特定するために、トレーニング済みのDL予測モデルを使用する。
正確には、Bidirectional-LSTM (BiLSTM) を用いて注意語を識別し、その脆弱性はこれらの注意語に関連付けられている。
論文 参考訳(メタデータ) (2020-10-23T03:44:03Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳(メタデータ) (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。