論文の概要: DocTer: Documentation Guided Fuzzing for Testing Deep Learning API Functions

• arxiv url: http://arxiv.org/abs/2109.01002v4
• Date: Wed, 6 Mar 2024 01:51:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 18:48:30.778909
• Title: DocTer: Documentation Guided Fuzzing for Testing Deep Learning API Functions
• Title（参考訳）: DocTer: ディープラーニングAPI機能をテストするためのドキュメントガイドファズリング
• Authors: Danning Xie, Yitong Li, Mijung Kim, Hung Viet Pham, Lin Tan, Xiangyu Zhang, Michael W. Godfrey
• Abstract要約: DocTerを使ってAPIドキュメントを分析し、ディープラーニング(DL)ライブラリのAPI関数の入力制約を抽出します。 DocTerは、API記述の依存性解析ツリーの形式で構文パターンからAPIパラメータ制約を抽出するルールを自動的に構築する、新しいアルゴリズムを備えている。 3つのDLライブラリに対する評価の結果,入力制約抽出におけるDocTerの精度は85.4%であった。
• 参考スコア（独自算出の注目度）: 16.62942039883249
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Input constraints are useful for many software development tasks. For example, input constraints of a function enable the generation of valid inputs, i.e., inputs that follow these constraints, to test the function deeper. API functions of deep learning (DL) libraries have DL specific input constraints, which are described informally in the free form API documentation. Existing constraint extraction techniques are ineffective for extracting DL specific input constraints. To fill this gap, we design and implement a new technique, DocTer, to analyze API documentation to extract DL specific input constraints for DL API functions. DocTer features a novel algorithm that automatically constructs rules to extract API parameter constraints from syntactic patterns in the form of dependency parse trees of API descriptions. These rules are then applied to a large volume of API documents in popular DL libraries to extract their input parameter constraints. To demonstrate the effectiveness of the extracted constraints, DocTer uses the constraints to enable the automatic generation of valid and invalid inputs to test DL API functions. Our evaluation on three popular DL libraries (TensorFlow, PyTorch, and MXNet) shows that the precision of DocTer in extracting input constraints is 85.4%. DocTer detects 94 bugs from 174 API functions, including one previously unknown security vulnerability that is now documented in the CVE database, while a baseline technique without input constraints detects only 59 bugs. Most (63) of the 94 bugs are previously unknown, 54 of which have been fixed or confirmed by developers after we report them. In addition, DocTer detects 43 inconsistencies in documents, 39 of which are fixed or confirmed.
• Abstract（参考訳）: 入力制約は多くのソフトウェア開発タスクに役立ちます。 例えば、関数の入力制約は、有効な入力、すなわちこれらの制約に従う入力の生成を可能にし、関数をより深くテストする。 deep learning(dl)ライブラリのapi機能にはdl固有の入力制約があり、free form apiドキュメントに非公式に記述されている。 既存の制約抽出技術は、DL固有の入力制約を抽出するのに効果がない。 このギャップを埋めるために、新しいテクニックであるDocTerを設計、実装し、APIドキュメントを分析してDL固有のDLAPI関数の入力制約を抽出する。 DocTerは、API記述の依存性解析ツリーの形式で構文パターンからAPIパラメータ制約を抽出するルールを自動的に構築する、新しいアルゴリズムを備えている。 これらのルールは、人気のあるDLライブラリの大量のAPIドキュメントに適用され、入力パラメータの制約を抽出します。 抽出された制約の有効性を示すために、DocTerは制約を使用して、DL API関数をテストするための有効および無効な入力の自動生成を可能にする。 一般的な3つのDLライブラリ(TensorFlow、PyTorch、MXNet)に対する評価では、入力制約抽出におけるDocTerの精度は85.4%である。 DocTerは174のAPI関数から94のバグを検出し、その中にはCVEデータベースに記録されている既知のセキュリティ脆弱性が含まれている。 94のバグのほとんど(63)は以前不明であり、54は報告後、開発者によって修正または確認されている。 さらに、ドクターは文書中の43の矛盾を検出し、そのうち39は修正または確認される。

関連論文リスト

• Detecting Multi-Parameter Constraint Inconsistencies in Python Data Science Libraries [21.662640566736098]
  コードとドキュメンテーションの不整合を検出するためにMPDetectorを提案する。 MPDetectorは、シンボリック実行を通じて実行パスを探索することで、これらの制約をコードレベルで識別する。 本研究では,LLM出力の予測不可能性を再現するファジィ制約論理を提案する。
  論文  参考訳（メタデータ） (2024-11-18T09:30:14Z)
• DeepREST: Automated Test Case Generation for REST APIs Exploiting Deep Reinforcement Learning [5.756036843502232]
  本稿では、REST APIを自動テストするための新しいブラックボックスアプローチであるDeepRESTを紹介します。 深い強化学習を活用して、暗黙のAPI制約、すなわちAPIドキュメントから隠された制約を明らかにする。 実験により,提案手法は高いテストカバレッジと故障検出を実現する上で極めて有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-16T08:03:55Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
  KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。 実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
  論文  参考訳（メタデータ） (2024-07-14T14:48:18Z)
• WorldAPIs: The World Is Worth How Many APIs? A Thought Experiment [49.00213183302225]
  本稿では, wikiHow 命令をエージェントの配置ポリシーに基礎付けることで, 新たな API を創出するフレームワークを提案する。 大規模言語モデル (LLM) の具体化計画における近年の成功に触発されて, GPT-4 のステアリングを目的とした数発のプロンプトを提案する。
  論文  参考訳（メタデータ） (2024-07-10T15:52:44Z)
• DLLens: Testing Deep Learning Libraries via LLM-aided Synthesis [8.779035160734523]
  テストは、ディープラーニング(DL)ライブラリの品質を保証するための主要なアプローチである。 既存のテスト技術では、テストオラクルの構築を緩和するために差分テストを採用するのが一般的である。 本稿では,DLライブラリテストのための新しい差分試験手法であるシーレンスを紹介する。
  論文  参考訳（メタデータ） (2024-06-12T07:06:38Z)
• ConstraintChecker: A Plugin for Large Language Models to Reason on Commonsense Knowledge Bases [53.29427395419317]
  コモンセンス知識ベース(CSKB)に対する推論は,新しいコモンセンス知識を取得する方法として検討されてきた。 我々は**ConstraintChecker*を提案します。
  論文  参考訳（メタデータ） (2024-01-25T08:03:38Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• ACETest: Automated Constraint Extraction for Testing Deep Learning Operators [23.129431525952263]
  テストケースが入力妥当性チェックをパスし、演算子のコア関数ロジックに到達できることが不可欠である。 既存のテクニックは、制約を抽出するために、DLライブラリAPIの人的努力またはドキュメントに依存する。 本研究では,コードから入力検証制約を自動的に抽出し,有効かつ多様なテストケースを構築する技術であるACETestを提案する。
  論文  参考訳（メタデータ） (2023-05-29T06:49:40Z)
• Binding Language Models in Symbolic Languages [146.3027328556881]
  Binderはトレーニング不要のニューラルシンボリックフレームワークで、タスク入力をプログラムにマッピングする。 解析の段階では、Codexは元のプログラミング言語では答えられないタスク入力の一部を特定することができる。 実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能を実行することができる。
  論文  参考訳（メタデータ） (2022-10-06T12:55:17Z)
• DocCoder: Generating Code by Retrieving and Reading Docs [87.88474546826913]
  コードマニュアルとドキュメントを明示的に活用するアプローチであるDocCoderを紹介します。 我々のアプローチは一般的に、どんなプログラミング言語にも適用でき、基礎となるニューラルモデルとは無関係です。
  論文  参考訳（メタデータ） (2022-07-13T06:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。