論文の概要: Towards Property-Based Tests in Natural Language

• arxiv url: http://arxiv.org/abs/2202.03616v1
• Date: Tue, 8 Feb 2022 03:15:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 15:27:01.797591
• Title: Towards Property-Based Tests in Natural Language
• Title（参考訳）: 自然言語におけるプロパティベーステストに向けて
• Authors: Colin S. Gordon (Drexel University)
• Abstract要約: 本稿では、自然言語文を実行可能なテストに翻訳するために、言語学の古典的アイデアを適用することを提案する。 本プロトタイプでは,プロパティベースのテストに関する教科書の章で,各例の英語記述からテストを生成することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a new approach to generate tests from natural language. Rather than relying on machine learning or templated extraction from structured comments, we propose to apply classic ideas from linguistics to translate natural-language sentences into executable tests. This paper explores the application of combinatory categorial grammars (CCGs) to generating property-based tests. Our prototype is able to generate tests from English descriptions for each example in a textbook chapter on property-based testing.
• Abstract（参考訳）: 自然言語からテストを生成する新しいアプローチを検討する。 構造化されたコメントから機械学習やテンプレート抽出に頼るのではなく、自然言語文を実行可能なテストに変換するために言語学から古典的なアイデアを適用することを提案する。 本稿では,コンビネータ分類文法(ccgs)のプロパティベーステスト生成への応用について検討する。 本プロトタイプでは,プロパティベースのテストに関する教科書の章で,各例の英語記述からテストを生成することができる。

関連論文リスト

• LLM-based Unit Test Generation via Property Retrieval [26.906316611858518]
  プロパティベースのRetrieval Augmentationは、基本的なベクトル、テキスト類似性、グラフベースのメソッドを超えてLLMベースのRetrieval-Augmented Generationを拡張する。 提案手法では,タスク固有のコンテキストを考慮し,プロパティ検索機構を導入している。 提案手法は,前処理,プロパティ検索,単体テスト生成を逐次実行するAPTと呼ばれるツールに実装する。
  論文  参考訳（メタデータ） (2024-10-17T13:33:12Z)
• Multi-language Unit Test Generation using LLMs [6.259245181881262]
  静的解析を組み込んだジェネリックパイプラインを記述し,コンパイル可能な高カバレッジテストケースの生成においてLCMをガイドする。 パイプラインをさまざまなプログラミング言語、特にJavaとPython、そして環境モックを必要とする複雑なソフトウェアに適用する方法を示します。 以上の結果から,静的解析によって導かれるLCMベースのテスト生成は,最新のテスト生成技術と競合し,さらに性能も向上することが示された。
  論文  参考訳（メタデータ） (2024-09-04T21:46:18Z)
• Automatic Generation of Behavioral Test Cases For Natural Language Processing Using Clustering and Prompting [6.938766764201549]
  本稿では,大規模言語モデルと統計的手法の力を活用したテストケースの自動開発手法を提案する。 4つの異なる分類アルゴリズムを用いて行動テストプロファイルを分析し、それらのモデルの限界と強みについて議論する。
  論文  参考訳（メタデータ） (2024-07-31T21:12:21Z)
• Protecting Copyrighted Material with Unique Identifiers in Large Language Model Training [55.321010757641524]
  大きな言語モデル(LLM)のトレーニングに関する主要な公的な懸念は、著作権のあるオンラインテキストを悪用するかどうかである。 事前の会員推定法は、大量のトレーニングデータに類似した例によって誤解されることがある。 本稿では,Webユーザとコンテンツプラットフォームがtextbftextitunique 識別子を使用することを推奨する代替のtextitinsert-and-detection 手法を提案する。
  論文  参考訳（メタデータ） (2024-03-23T06:36:32Z)
• CAT-LM: Training Language Models on Aligned Code And Tests [19.526181671936243]
  テストはソフトウェア開発プロセスにおいて不可欠な部分だ。しかし、テストを書くのに時間がかかり、しばしば無視される。 我々は270億のパラメータを持つGPTスタイルの言語モデルであるAligned Code And Tests Language Model (CAT-LM)を提案する。
  論文  参考訳（メタデータ） (2023-10-02T19:52:22Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models [73.29106813131818]
  テスト文は限られた手動テンプレートから生成されるか、高価なクラウドソーシングを必要とするため、現時点ではバイアステストは煩雑である。 ソーシャルグループと属性の任意のユーザ指定の組み合わせを考慮し、テスト文の制御可能な生成にChatGPTを使うことを提案する。 本稿では,HuggingFace上にホストされているオープンソースの総合的バイアステストフレームワーク(BiasTestGPT)について紹介する。
  論文  参考訳（メタデータ） (2023-02-14T22:07:57Z)
• Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation [59.307534363825816]
  否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。 自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
  論文  参考訳（メタデータ） (2022-10-06T23:39:01Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• Automated Support for Unit Test Generation: A Tutorial Book Chapter [21.716667622896193]
  単体テストは、システムの他の部分と独立してテストできる最小のコードセグメントをテストする段階である。 単体テストは通常実行可能なコードとして書かれ、Pythonのpytestのような単体テストフレームワークが提供する形式で書かれる。 本章では,検索に基づく単体テスト生成の概念を紹介する。
  論文  参考訳（メタデータ） (2021-10-26T11:13:40Z)
• Empowering Language Understanding with Counterfactual Reasoning [141.48592718583245]
  本稿では,反現実的思考を模倣した反現実的推論モデルを提案する。 特に,各実例に対して代表的対実サンプルを生成する生成モジュールを考案し,その対実サンプルと実例サンプルを比較してモデル予測を振り返るレトロスペクティブモジュールを考案した。
  論文  参考訳（メタデータ） (2021-06-06T06:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。