論文の概要: Towards Property-Based Tests in Natural Language
- arxiv url: http://arxiv.org/abs/2202.03616v1
- Date: Tue, 8 Feb 2022 03:15:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-09 15:27:01.797591
- Title: Towards Property-Based Tests in Natural Language
- Title(参考訳): 自然言語におけるプロパティベーステストに向けて
- Authors: Colin S. Gordon (Drexel University)
- Abstract要約: 本稿では、自然言語文を実行可能なテストに翻訳するために、言語学の古典的アイデアを適用することを提案する。
本プロトタイプでは,プロパティベースのテストに関する教科書の章で,各例の英語記述からテストを生成することができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider a new approach to generate tests from natural language. Rather
than relying on machine learning or templated extraction from structured
comments, we propose to apply classic ideas from linguistics to translate
natural-language sentences into executable tests. This paper explores the
application of combinatory categorial grammars (CCGs) to generating
property-based tests. Our prototype is able to generate tests from English
descriptions for each example in a textbook chapter on property-based testing.
- Abstract(参考訳): 自然言語からテストを生成する新しいアプローチを検討する。
構造化されたコメントから機械学習やテンプレート抽出に頼るのではなく、自然言語文を実行可能なテストに変換するために言語学から古典的なアイデアを適用することを提案する。
本稿では,コンビネータ分類文法(ccgs)のプロパティベーステスト生成への応用について検討する。
本プロトタイプでは,プロパティベースのテストに関する教科書の章で,各例の英語記述からテストを生成することができる。
関連論文リスト
- CAT-LM: Training Language Models on Aligned Code And Tests [19.526181671936243]
テストはソフトウェア開発プロセスにおいて不可欠な部分だ。しかし、テストを書くのに時間がかかり、しばしば無視される。
我々は270億のパラメータを持つGPTスタイルの言語モデルであるAligned Code And Tests Language Model (CAT-LM)を提案する。
論文 参考訳(メタデータ) (2023-10-02T19:52:22Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳(メタデータ) (2023-07-16T15:18:25Z) - Can Large Language Models Write Good Property-Based Tests? [4.9094025705644695]
プロパティベーステスト(Property-based Testing、PBT)は、ソフトウェアテスティング研究コミュニティにおいて確立されたテクニックであるが、まだ現実世界のソフトウェアではあまり使われていない。
PBT-GPT を提案するとともに,PLT の LLM を推し進める3つの戦略を提案する。
PBT-GPTは、$textttnumpy$、$textttnetworkx$、$texttdatetime$のサンプルPythonライブラリAPIに関する予備研究で有望な結果を達成する。
論文 参考訳(メタデータ) (2023-07-10T05:09:33Z) - Intergenerational Test Generation for Natural Language Processing
Applications [16.63835131985415]
各種NLPアプリケーションの誤動作を検出する自動テスト生成手法を提案する。
この手法をNLPLegoに実装し、シード文の可能性を完全に活用する。
NLPLegoは3つのタスクで約95.7%の精度で1,732, 5301, 261,879の誤った行動を検出することに成功した。
論文 参考訳(メタデータ) (2023-02-21T07:57:59Z) - BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models [73.29106813131818]
テスト文は限られた手動テンプレートから生成されるか、高価なクラウドソーシングを必要とするため、現時点ではバイアステストは煩雑である。
ソーシャルグループと属性の任意のユーザ指定の組み合わせを考慮し、テスト文の制御可能な生成にChatGPTを使うことを提案する。
本稿では,HuggingFace上にホストされているオープンソースの総合的バイアステストフレームワーク(BiasTestGPT)について紹介する。
論文 参考訳(メタデータ) (2023-02-14T22:07:57Z) - Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal
Negation [59.307534363825816]
否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。
自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
論文 参考訳(メタデータ) (2022-10-06T23:39:01Z) - BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and
Semantic Parsing [55.058258437125524]
本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。
APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。
実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
論文 参考訳(メタデータ) (2022-06-21T18:34:11Z) - Detecting Text Formality: A Study of Text Classification Approaches [78.11745751651708]
本研究は,統計的,ニューラルベース,トランスフォーマーベースの機械学習手法に基づく形式性検出手法の体系的研究を初めて行う。
単言語,多言語,言語横断の3種類の実験を行った。
本研究は,モノリンガルおよび多言語形式分類タスクのためのトランスフォーマーベースモデルに対するChar BiLSTMモデルの克服を示す。
論文 参考訳(メタデータ) (2022-04-19T16:23:07Z) - Automated Support for Unit Test Generation: A Tutorial Book Chapter [21.716667622896193]
単体テストは、システムの他の部分と独立してテストできる最小のコードセグメントをテストする段階である。
単体テストは通常実行可能なコードとして書かれ、Pythonのpytestのような単体テストフレームワークが提供する形式で書かれる。
本章では,検索に基づく単体テスト生成の概念を紹介する。
論文 参考訳(メタデータ) (2021-10-26T11:13:40Z) - Focused Contrastive Training for Test-based Constituency Analysis [7.312581661832785]
本稿では,言語実験に基づく選挙区分析のための文法モデルの自己学習手法を提案する。
事前学習された言語モデルは、コーパスから文法文を対照的に推定し、構文テストによって摂動された非文法文を微調整する。
論文 参考訳(メタデータ) (2021-09-30T14:22:15Z) - Empowering Language Understanding with Counterfactual Reasoning [141.48592718583245]
本稿では,反現実的思考を模倣した反現実的推論モデルを提案する。
特に,各実例に対して代表的対実サンプルを生成する生成モジュールを考案し,その対実サンプルと実例サンプルを比較してモデル予測を振り返るレトロスペクティブモジュールを考案した。
論文 参考訳(メタデータ) (2021-06-06T06:36:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。