論文の概要: Extended Paper: API-driven Program Synthesis for Testing Static Typing
Implementations
- arxiv url: http://arxiv.org/abs/2311.04527v1
- Date: Wed, 8 Nov 2023 08:32:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 16:41:20.085855
- Title: Extended Paper: API-driven Program Synthesis for Testing Static Typing
Implementations
- Title（参考訳）: 拡張論文:静的型付け実装のテストのためのAPI駆動プログラム合成
- Authors: Thodoris Sotiropoulos, Stefanos Chaliasos, Zhendong Su
- Abstract要約: 本稿では,API駆動型プログラム合成の概念に基づいて静的型付けの実装をテストする新しい手法を提案する。
このアイデアは、既存のソフトウェアライブラリから派生したアプリケーションプログラミングインタフェース(API)を活用して組み合わせることで、型集約型だが小さく、十分に型付けされたプログラムを合成することである。
- 参考スコア（独自算出の注目度）: 11.300829269111627
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel approach for testing static typing implementations based
on the concept of API-driven program synthesis. The idea is to synthesize
type-intensive but small and well-typed programs by leveraging and combining
application programming interfaces (APIs) derived from existing software
libraries. Our primary insight is backed up by real-world evidence: a
significant number of compiler typing bugs are caused by small test cases that
employ APIs from the standard library of the language under test. This is
attributed to the inherent complexity of the majority of these APIs, which
often exercise a wide range of sophisticated type-related features. The main
contribution of our approach is the ability to produce small client programs
with increased feature coverage, without bearing the burden of generating the
corresponding well-formed API definitions from scratch. To validate diverse
aspects of static typing procedures (i.e., soundness, precision of type
inference), we also enrich our API-driven approach with fault-injection and
semantics-preserving modes, along with their corresponding test oracles.
We evaluate our implemented tool, Thalia on testing the static typing
implementations of the compilers for three popular languages, namely, Scala,
Kotlin, and Groovy. Thalia has uncovered 84 typing bugs (77 confirmed and 22
fixed), most of which are triggered by test cases featuring APIs that rely on
parametric polymorphism, overloading, and higher-order functions. Our
comparison with state-of-the-art shows that Thalia yields test programs with
distinct characteristics, offering additional and complementary benefits.
- Abstract（参考訳）: 本稿では,API駆動型プログラム合成の概念に基づいて静的型付けの実装をテストする新しい手法を提案する。
既存のソフトウェアライブラリから派生したアプリケーションプログラミングインターフェース(api)を活用し、組み合わせることで、型集中型だが、小さく、よく型付けされたプログラムを合成する。
多数のコンパイラ型付けのバグは、テスト対象の言語の標準ライブラリからapiを使用する小さなテストケースによって引き起こされます。
これは、これらのapiの大部分に固有の複雑さが原因で、多くの高度な型関連機能をしばしば実行している。
このアプローチの主な貢献は、スクラッチから対応する well-formed API 定義を生成する負担を負わずに、機能カバレッジが向上した小さなクライアントプログラムを作成できることです。
静的型付け手順のさまざまな側面(健全性、型推論の精度など)を検証するために、私たちは、api駆動アプローチをフォールトインジェクションとセマンティクス保存モードとともに、対応するテストオラクルとともに強化しています。
実装されたツールであるTaliaを評価し、Scala、Kotlin、Groovyという3つの人気のある言語でコンパイラの静的型付け実装をテストする。
Thaliaは84のタイプバグ(77の確認と22の修正)を明らかにした。その大部分は、パラメトリック多型、オーバーロード、高階関数に依存するAPIを備えたテストケースによって引き起こされたものだ。
我々の最先端と比較すると、タリアは異なる特徴を持つテストプログラムを産み出し、追加的かつ補完的な利点を提供する。
関連論文リスト
- KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。
実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
論文 参考訳（メタデータ） (2024-07-14T14:48:18Z) - DIALECTBENCH: A NLP Benchmark for Dialects, Varieties, and Closely-Related Languages [49.38663048447942]
DIALECTBENCHは,NLPの品種に対する大規模ベンチマークとして初めて提案される。
これにより、異なる言語でNLPシステムの性能を総合的に評価することができる。
標準言語と非標準言語間の性能格差の相当な証拠を提供する。
論文 参考訳（メタデータ） (2024-03-16T20:18:36Z) - Evolutionary Generative Fuzzing for Differential Testing of the Kotlin
Compiler [14.259471945857431]
JetBrainsが開発したKotlinコンパイラのバグ発見における差分テストの有効性について検討する。
そこで我々は,K1コンパイラとK2コンパイラの入力プログラムを生成するブラックボックス生成手法を提案する。
ケーススタディでは,提案手法がK1とK2のバグを効果的に検出している。
論文 参考訳（メタデータ） (2024-01-12T16:01:12Z) - Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。
評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
論文 参考訳（メタデータ） (2023-12-01T19:53:23Z) - Learning Type Inference for Enhanced Dataflow Analysis [6.999203506253375]
我々は、型アノテーションを確実に予測するように訓練されたTransformerベースのモデルであるCodeTIDAL5を提案する。
私たちのモデルは、MaryTypes4TypeScriptベンチマークで現在の最先端を7.85%上回っています。
JoernTIは、オープンソースの静的解析ツールであるJoernへの私たちのアプローチの統合です。
論文 参考訳（メタデータ） (2023-10-01T13:52:28Z) - TypeT5: Seq2seq Type Inference using Static Analysis [51.153089609654174]
本稿では,型予測をコード入力タスクとして扱う新しい型推論手法を提案する。
本手法では静的解析を用いて,型シグネチャがモデルによって予測されるコード要素毎に動的コンテキストを構築する。
また,モデルの入力コンテキストに事前の型予測を組み込んだ反復復号方式を提案する。
論文 参考訳（メタデータ） (2023-03-16T23:48:00Z) - Intergenerational Test Generation for Natural Language Processing
Applications [16.63835131985415]
各種NLPアプリケーションの誤動作を検出する自動テスト生成手法を提案する。
この手法をNLPLegoに実装し、シード文の可能性を完全に活用する。
NLPLegoは3つのタスクで約95.7%の精度で1,732, 5301, 261,879の誤った行動を検出することに成功した。
論文 参考訳（メタデータ） (2023-02-21T07:57:59Z) - Binding Language Models in Symbolic Languages [146.3027328556881]
Binderはトレーニング不要のニューラルシンボリックフレームワークで、タスク入力をプログラムにマッピングする。
解析の段階では、Codexは元のプログラミング言語では答えられないタスク入力の一部を特定することができる。
実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能を実行することができる。
論文 参考訳（メタデータ） (2022-10-06T12:55:17Z) - BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and
Semantic Parsing [55.058258437125524]
本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。
APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。
実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
論文 参考訳（メタデータ） (2022-06-21T18:34:11Z) - Exploring Software Naturalness through Neural Language Models [56.1315223210742]
ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。
この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
論文 参考訳（メタデータ） (2020-06-22T21:56:14Z) - Template Guided Text Generation for Task-Oriented Dialogue [9.690158790639131]
Google Assistant、Amazon Alexa、Apple Siriなどのバーチャルアシスタントを使えば、ユーザーは自然言語を使ってWeb上の多数のサービスやAPIと対話できる。
本研究では,多数のAPIにまたがる1つのドメイン非依存モデルを用いて,自然言語生成のための2つの手法について検討する。
論文 参考訳（メタデータ） (2020-04-30T17:51:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。