論文の概要: DocTer: Documentation Guided Fuzzing for Testing Deep Learning API
Functions
- arxiv url: http://arxiv.org/abs/2109.01002v4
- Date: Wed, 6 Mar 2024 01:51:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 18:48:30.778909
- Title: DocTer: Documentation Guided Fuzzing for Testing Deep Learning API
Functions
- Title(参考訳): DocTer: ディープラーニングAPI機能をテストするためのドキュメントガイドファズリング
- Authors: Danning Xie, Yitong Li, Mijung Kim, Hung Viet Pham, Lin Tan, Xiangyu
Zhang, Michael W. Godfrey
- Abstract要約: DocTerを使ってAPIドキュメントを分析し、ディープラーニング(DL)ライブラリのAPI関数の入力制約を抽出します。
DocTerは、API記述の依存性解析ツリーの形式で構文パターンからAPIパラメータ制約を抽出するルールを自動的に構築する、新しいアルゴリズムを備えている。
3つのDLライブラリに対する評価の結果,入力制約抽出におけるDocTerの精度は85.4%であった。
- 参考スコア(独自算出の注目度): 16.62942039883249
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Input constraints are useful for many software development tasks. For
example, input constraints of a function enable the generation of valid inputs,
i.e., inputs that follow these constraints, to test the function deeper. API
functions of deep learning (DL) libraries have DL specific input constraints,
which are described informally in the free form API documentation. Existing
constraint extraction techniques are ineffective for extracting DL specific
input constraints.
To fill this gap, we design and implement a new technique, DocTer, to analyze
API documentation to extract DL specific input constraints for DL API
functions. DocTer features a novel algorithm that automatically constructs
rules to extract API parameter constraints from syntactic patterns in the form
of dependency parse trees of API descriptions. These rules are then applied to
a large volume of API documents in popular DL libraries to extract their input
parameter constraints. To demonstrate the effectiveness of the extracted
constraints, DocTer uses the constraints to enable the automatic generation of
valid and invalid inputs to test DL API functions.
Our evaluation on three popular DL libraries (TensorFlow, PyTorch, and MXNet)
shows that the precision of DocTer in extracting input constraints is 85.4%.
DocTer detects 94 bugs from 174 API functions, including one previously unknown
security vulnerability that is now documented in the CVE database, while a
baseline technique without input constraints detects only 59 bugs. Most (63) of
the 94 bugs are previously unknown, 54 of which have been fixed or confirmed by
developers after we report them. In addition, DocTer detects 43 inconsistencies
in documents, 39 of which are fixed or confirmed.
- Abstract(参考訳): 入力制約は多くのソフトウェア開発タスクに役立ちます。
例えば、関数の入力制約は、有効な入力、すなわちこれらの制約に従う入力の生成を可能にし、関数をより深くテストする。
deep learning(dl)ライブラリのapi機能にはdl固有の入力制約があり、free form apiドキュメントに非公式に記述されている。
既存の制約抽出技術は、DL固有の入力制約を抽出するのに効果がない。
このギャップを埋めるために、新しいテクニックであるDocTerを設計、実装し、APIドキュメントを分析してDL固有のDLAPI関数の入力制約を抽出する。
DocTerは、API記述の依存性解析ツリーの形式で構文パターンからAPIパラメータ制約を抽出するルールを自動的に構築する、新しいアルゴリズムを備えている。
これらのルールは、人気のあるDLライブラリの大量のAPIドキュメントに適用され、入力パラメータの制約を抽出します。
抽出された制約の有効性を示すために、DocTerは制約を使用して、DL API関数をテストするための有効および無効な入力の自動生成を可能にする。
一般的な3つのDLライブラリ(TensorFlow、PyTorch、MXNet)に対する評価では、入力制約抽出におけるDocTerの精度は85.4%である。
DocTerは174のAPI関数から94のバグを検出し、その中にはCVEデータベースに記録されている既知のセキュリティ脆弱性が含まれている。
94のバグのほとんど(63)は以前不明であり、54は報告後、開発者によって修正または確認されている。
さらに、ドクターは文書中の43の矛盾を検出し、そのうち39は修正または確認される。
関連論文リスト
- SpeCrawler: Generating OpenAPI Specifications from API Documentation
Using Large Language Models [8.372941103284774]
SpeCrawlerは、さまざまなAPIドキュメントからOpenAPI仕様を生成する包括的なシステムである。
本稿では,実証的証拠とケーススタディに支えられたSpeCrawlerの方法論について考察する。
論文 参考訳(メタデータ) (2024-02-18T15:33:24Z) - ConstraintChecker: A Plugin for Large Language Models to Reason on
Commonsense Knowledge Bases [53.29427395419317]
コモンセンス知識ベース(CSKB)に対する推論は,新しいコモンセンス知識を取得する方法として検討されてきた。
我々は**ConstraintChecker*を提案します。
論文 参考訳(メタデータ) (2024-01-25T08:03:38Z) - APIDocBooster: An Extract-Then-Abstract Framework Leveraging Large
Language Models for Augmenting API Documentation [21.417218830976488]
APIDocBoosterは、抽出的(長さ制限のない忠実な要約を可能にする)と抽象的要約(コヒーレントで簡潔な要約を生成する)の両方の利点を融合させる。
APIDocBoosterは2つのステージで構成されている。 textbfSentence textbfSection textbfClassification (CSSC) と textbfUPdate textbfSUMmarization (UPSUM) である。
論文 参考訳(メタデータ) (2023-12-18T05:15:50Z) - Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。
評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
論文 参考訳(メタデータ) (2023-12-01T19:53:23Z) - Extended Paper: API-driven Program Synthesis for Testing Static Typing
Implementations [11.300829269111627]
本稿では,API駆動型プログラム合成の概念に基づいて静的型付けの実装をテストする新しい手法を提案する。
このアイデアは、既存のソフトウェアライブラリから派生したアプリケーションプログラミングインタフェース(API)を活用して組み合わせることで、型集約型だが小さく、十分に型付けされたプログラムを合成することである。
論文 参考訳(メタデータ) (2023-11-08T08:32:40Z) - ACETest: Automated Constraint Extraction for Testing Deep Learning
Operators [23.129431525952263]
テストケースが入力妥当性チェックをパスし、演算子のコア関数ロジックに到達できることが不可欠である。
既存のテクニックは、制約を抽出するために、DLライブラリAPIの人的努力またはドキュメントに依存する。
本研究では,コードから入力検証制約を自動的に抽出し,有効かつ多様なテストケースを構築する技術であるACETestを提案する。
論文 参考訳(メタデータ) (2023-05-29T06:49:40Z) - Lattice-preserving $\mathcal{ALC}$ ontology embeddings [50.05281461410368]
論理記述(DL)に表される意味論であるWeのグラフ上に埋め込みを生成するための順序保存型埋め込み法を提案する。
本手法は,いくつかの知識ベース完了タスクにおいて,最先端の組込み手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-11T22:27:51Z) - Binding Language Models in Symbolic Languages [146.3027328556881]
Binderはトレーニング不要のニューラルシンボリックフレームワークで、タスク入力をプログラムにマッピングする。
解析の段階では、Codexは元のプログラミング言語では答えられないタスク入力の一部を特定することができる。
実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能を実行することができる。
論文 参考訳(メタデータ) (2022-10-06T12:55:17Z) - DocCoder: Generating Code by Retrieving and Reading Docs [87.88474546826913]
コードマニュアルとドキュメントを明示的に活用するアプローチであるDocCoderを紹介します。
我々のアプローチは一般的に、どんなプログラミング言語にも適用でき、基礎となるニューラルモデルとは無関係です。
論文 参考訳(メタデータ) (2022-07-13T06:47:51Z) - DocNLI: A Large-scale Dataset for Document-level Natural Language
Inference [55.868482696821815]
自然言語推論(NLI)は、様々なNLP問題を解決するための統一的なフレームワークとして定式化されている。
ドキュメントレベルのNLI用に新たに構築された大規模データセットであるDocNLIを紹介する。
論文 参考訳(メタデータ) (2021-06-17T13:02:26Z) - API2Com: On the Improvement of Automatically Generated Code Comments
Using API Documentations [0.0]
コメント生成の知識リソースとしてAPI Docs(Application Programming Interface Documentations)を利用するモデルであるAPI2Comを提案する。
このモデルを130,000以上のメソッドからなる大規模なJavaデータセットに適用し,TransformerとRNNベースのアーキテクチャを用いて評価する。
論文 参考訳(メタデータ) (2021-03-19T07:29:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。