論文の概要: Evaluating the Effectiveness of Coverage-Guided Fuzzing for Testing Deep Learning Library APIs

• arxiv url: http://arxiv.org/abs/2509.14626v1
• Date: Thu, 18 Sep 2025 05:10:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.07482
• Title: Evaluating the Effectiveness of Coverage-Guided Fuzzing for Testing Deep Learning Library APIs
• Title（参考訳）: ディープラーニングライブラリAPIのテストにおけるカバーガイドファズリングの有効性の評価
• Authors: Feiran Qin, M. M. Abid Naziri, Hengyu Ai, Saikat Dutta, Marcelo d'Amorim,
• Abstract要約: 我々は、テンプレート、ヘルパー関数、APIドキュメントを組み合わせることで、APIレベルのハーネスを自動的に合成するFlashFuzzを提案する。 最先端のファジィ法と比較すると、FlashFuzzは101.13から212.88パーセントのカバレッジと1.0xから5.4倍の妥当性を実現している。 本研究は,CGFがディープラーニングライブラリに効果的に適用可能であることを確認し,今後のテストアプローチの強力なベースラインを提供する。
• 参考スコア（独自算出の注目度）: 3.491101173753068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learning (DL) libraries such as PyTorch provide the core components to build major AI-enabled applications. Finding bugs in these libraries is important and challenging. Prior approaches have tackled this by performing either API-level fuzzing or model-level fuzzing, but they do not use coverage guidance, which limits their effectiveness and efficiency. This raises an intriguing question: can coverage guided fuzzing (CGF), in particular frameworks like LibFuzzer, be effectively applied to DL libraries, and does it offer meaningful improvements in code coverage, bug detection, and scalability compared to prior methods? We present the first in-depth study to answer this question. A key challenge in applying CGF to DL libraries is the need to create a test harness for each API that can transform byte-level fuzzer inputs into valid API inputs. To address this, we propose FlashFuzz, a technique that leverages Large Language Models (LLMs) to automatically synthesize API-level harnesses by combining templates, helper functions, and API documentation. FlashFuzz uses a feedback driven strategy to iteratively synthesize and repair harnesses. With this approach, FlashFuzz synthesizes harnesses for 1,151 PyTorch and 662 TensorFlow APIs. Compared to state-of-the-art fuzzing methods (ACETest, PathFinder, and TitanFuzz), FlashFuzz achieves up to 101.13 to 212.88 percent higher coverage and 1.0x to 5.4x higher validity rate, while also delivering 1x to 1182x speedups in input generation. FlashFuzz has discovered 42 previously unknown bugs in PyTorch and TensorFlow, 8 of which are already fixed. Our study confirms that CGF can be effectively applied to DL libraries and provides a strong baseline for future testing approaches.
• Abstract（参考訳）: PyTorchのようなディープラーニング(DL)ライブラリは、主要なAI対応アプリケーションを構築するためのコアコンポーネントを提供する。 これらのライブラリでバグを見つけることは重要で難しい。 それまでのアプローチでは、APIレベルのファジングかモデルレベルのファジングのいずれかを実行することで、この問題に対処してきたが、カバレッジガイダンスは使用せず、効率と効率を制限している。 LibFuzzerのようなフレームワークは、DLライブラリに効果的に適用できますか? 私たちはこの質問に答える最初の詳細な研究を提示する。 DLライブラリにCGFを適用する上で重要な課題は、バイトレベルのファザインプットを有効なAPIインプットに変換することのできる、各API用のテストハーネスを作成する必要があることだ。 これを解決するために,テンプレート,ヘルパー関数,APIドキュメントを組み合わせることで,Large Language Models(LLM)を利用してAPIレベルのハーネスを自動的に合成する技術であるFlashFuzzを提案する。 FlashFuzzはフィードバック駆動の戦略を使って、ハーネスを反復的に合成し、修復する。 このアプローチにより、FlashFuzzは1,151 PyTorchと622 TensorFlow APIのハーネスを合成する。 最先端ファジィ法(ACETest、PathFinder、TitanFuzz)と比較すると、FlashFuzzは101.13から212.88パーセントのカバレッジと1.0xから5.4倍の妥当性を実現し、入力生成では1xから1182倍のスピードアップを提供する。 FlashFuzzはPyTorchとTensorFlowで42の既知のバグを発見した。 本研究は,CGF が DL ライブラリに効果的に適用可能であることを確認し,今後のテスト手法の強力なベースラインを提供する。

関連論文リスト

• May the Feedback Be with You! Unlocking the Power of Feedback-Driven Deep Learning Framework Fuzzing via LLMs [20.03968975178177]
  ファズテスト(ファズテスト、fuzzing)は、ディープラーニング(DL)フレームワークのバグを見つけるための、シンプルで効果的な方法である。 本稿では,LLM(Large Language Model)とLLM(Generation LLM)という2つの大言語モデル(LLM)からなるフィードバック情報を効果的に活用するFUELを提案する。 FUELはPyTorchのラインコードカバレッジを改善し、最先端のベースラインよりも9.15%、14.70%向上できることを示す。
  論文  参考訳（メタデータ） (2025-06-21T08:51:53Z)
• Your Fix Is My Exploit: Enabling Comprehensive DL Library API Fuzzing with Large Language Models [49.214291813478695]
  AIアプリケーションで広く使用されているディープラーニング(DL)ライブラリは、オーバーフローやバッファフリーエラーなどの脆弱性を含むことが多い。 従来のファジィングはDLライブラリの複雑さとAPIの多様性に悩まされている。 DLライブラリのためのLLM駆動ファジィ手法であるDFUZZを提案する。
  論文  参考訳（メタデータ） (2025-01-08T07:07:22Z)
• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 実験の結果、ExploreaCoderは、事前のAPI知識に欠けるモデルのパフォーマンスを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• Enhancing Differential Testing With LLMs For Testing Deep Learning Libraries [8.779035160734523]
  本稿では,DLライブラリのためのLLM強化差分試験手法を提案する。 与えられたAPIの代替実装を見つけ、多様なテストインプットを生成するという課題に対処する。 最先端技術で見られるAPIの1.84倍の数のAPIを合成する。
  論文  参考訳（メタデータ） (2024-06-12T07:06:38Z)
• Private-Library-Oriented Code Generation with Large Language Models [52.73999698194344]
  本稿では,大規模言語モデル(LLM)をプライベートライブラリのコード生成に活用することに焦点を当てる。 プログラマがプライベートコードを書く過程をエミュレートする新しいフレームワークを提案する。 TorchDataEval、TorchDataComplexEval、MonkeyEval、BeatNumEvalの4つのプライベートライブラリベンチマークを作成しました。
  論文  参考訳（メタデータ） (2023-07-28T07:43:13Z)
• torchgfn: A PyTorch GFlowNet library [56.071033896777784]
  torchgfnはPyTorchライブラリで、このニーズに対処することを目指している。 環境のためのシンプルなAPIと、サンプルと損失のための有用な抽象化を提供する。
  論文  参考訳（メタデータ） (2023-05-24T00:20:59Z)
• SequeL: A Continual Learning Library in PyTorch and JAX [50.33956216274694]
  SequeLは継続学習のためのライブラリで、PyTorchとJAXフレームワークの両方をサポートする。 それは、正規化ベースのアプローチ、リプレイベースのアプローチ、ハイブリッドアプローチを含む、幅広い連続学習アルゴリズムのための統一インターフェースを提供する。 私たちはSequeLをオープンソースライブラリとしてリリースし、研究者や開発者が自身の目的で簡単にライブラリを実験し拡張することができます。
  論文  参考訳（メタデータ） (2023-04-21T10:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。