論文の概要: CiRA: An Open-Source Python Package for Automated Generation of Test
Case Descriptions from Natural Language Requirements
- arxiv url: http://arxiv.org/abs/2310.08234v1
- Date: Thu, 12 Oct 2023 11:30:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 03:02:37.882201
- Title: CiRA: An Open-Source Python Package for Automated Generation of Test
Case Descriptions from Natural Language Requirements
- Title（参考訳）: CiRA: 自然言語要求からテストケース記述の自動生成のためのオープンソースのPythonパッケージ
- Authors: Julian Frattini, Jannik Fischbach, Andreas Bauer
- Abstract要約: 本稿では,条件付き自然言語要求を自動的に処理するCiRA(Causality In Requirements Artifacts)イニシアチブのツールを提案する。
我々は,このツールを,ドイツ・コロナ・ワーン・アプリ(Corona-Warn-App)の要件仕様から,61の要件の公開データセット上で評価する。
- 参考スコア（独自算出の注目度）: 1.3082545468017672
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deriving acceptance tests from high-level, natural language requirements that
achieve full coverage is a major manual challenge at the interface between
requirements engineering and testing. Conditional requirements (e.g., "If A or
B then C.") imply causal relationships which - when extracted - allow to
generate these acceptance tests automatically. This paper presents a tool from
the CiRA (Causality In Requirements Artifacts) initiative, which automatically
processes conditional natural language requirements and generates a minimal set
of test case descriptions achieving full coverage. We evaluate the tool on a
publicly available data set of 61 requirements from the requirements
specification of the German Corona-Warn-App. The tool infers the correct test
variables in 84.5% and correct variable configurations in 92.3% of all cases,
which corroborates the feasibility of our approach.
- Abstract（参考訳）: 完全カバレッジを達成する高レベルな自然言語要件からの受け入れテストの導出は、要件工学とテストの間のインターフェースにおいて、手作業による大きな課題である。
条件付き要件(例: "if a or b then c.")は、抽出された場合、これらの受け入れテストを自動的に生成できる因果関係を示す。
本稿では,CiRA(Causality In Requirements Artifacts)イニシアチブから,条件付き自然言語要求を自動的に処理し,完全なカバレッジを実現するための最小限のテストケース記述を生成するツールを提案する。
我々は、ドイツのコロナ・ワーン・アプリの要求仕様から、61の要件の公開データセット上でツールを評価する。
このツールは、84.5%の正しいテスト変数と、すべてのケースの92.3%の正しい変数構成を推定します。
関連論文リスト
- Generating Test Scenarios from NL Requirements using Retrieval-Augmented LLMs: An Industrial Study [5.179738379203527]
本稿では,Large Language Models (LLM) を用いたRAG(Retrieval-Augmented Generation) を用いたテストシナリオ生成のための自動アプローチ(RAGTAG)を提案する。
オーストリアポストの2つの産業プロジェクトにおけるRAGTAGの評価を行い,ドイツ語と英語のバイリンガル要件について検討した。
論文 参考訳（メタデータ） (2024-04-19T10:27:40Z) - Requirements Satisfiability with In-Context Learning [1.747623282473278]
インコンテキスト学習(ICL)と呼ばれる推論時にタスクを学習できる言語モデルは、自然言語タスクの公約が増加することを示している。
本稿では,システム仕様と関連する知識によって要求がどのように満たされるかを記述した満足度議論の設計評価にICLを適用した。
このアプローチは、拡張生成、プロンプトチューニング、チェーン・オブ・シークレットプロンプトを含む3つのプロンプトデザインパターンに基づいて構築される。
論文 参考訳（メタデータ） (2024-04-19T01:58:24Z) - Natural Language Requirements Testability Measurement Based on Requirement Smells [1.1663475941322277]
テスト可能な要件は、障害の防止、メンテナンスコストの削減、受け入れテストの実行を容易にする。
要求の匂いに基づいて、要求の検証可能性を測定するための自動的なアプローチは提案されていない。
本稿では,9つの要求の匂いの広範囲なセットに基づいて,自然言語の検証可能性の評価とランク付けを行う数学的モデルを提案する。
論文 参考訳（メタデータ） (2024-03-26T08:19:29Z) - Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。
評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
論文 参考訳（メタデータ） (2023-12-01T19:53:23Z) - Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。
我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
論文 参考訳（メタデータ） (2023-11-26T22:47:54Z) - Fine-Tuning Language Models Using Formal Methods Feedback [53.24085794087253]
我々は、自律システムにおけるアプリケーションのための、微調整済み言語モデルに対して、完全に自動化されたアプローチを提案する。
本手法は,自然言語タスク記述による事前学習モデルから自動制御器を合成する。
その結果、コントローラが満たした仕様の割合が60%から90%に改善したことが示唆された。
論文 参考訳（メタデータ） (2023-10-27T16:24:24Z) - Eliciting Human Preferences with Language Models [56.68637202313052]
言語モデル(LM)は、ラベル付き例や自然言語のプロンプトを使用してターゲットタスクを実行するように指示することができる。
タスク仕様プロセスのガイドには*LM自身を使うことを提案します。
我々は、メール検証、コンテンツレコメンデーション、道徳的推論の3つの領域でGATEを研究している。
論文 参考訳（メタデータ） (2023-10-17T21:11:21Z) - Automated Smell Detection and Recommendation in Natural Language
Requirements [8.672583050502496]
Paskaは、任意の自然言語(NL)要求を入力するツールである。
要求の匂いとして品質問題を自動的に検出し、品質を改善するための推奨を提供する。
論文 参考訳（メタデータ） (2023-05-11T19:01:25Z) - Intergenerational Test Generation for Natural Language Processing
Applications [16.63835131985415]
各種NLPアプリケーションの誤動作を検出する自動テスト生成手法を提案する。
この手法をNLPLegoに実装し、シード文の可能性を完全に活用する。
NLPLegoは3つのタスクで約95.7%の精度で1,732, 5301, 261,879の誤った行動を検出することに成功した。
論文 参考訳（メタデータ） (2023-02-21T07:57:59Z) - Using Sampling to Estimate and Improve Performance of Automated Scoring
Systems with Guarantees [63.62448343531963]
本稿では,既存のパラダイムを組み合わせることで,人間が知能的に収集する応答をサンプリングする手法を提案する。
比較的少ない予算で精度(平均19.80%)と二次重み付きカッパ(平均25.60%)の顕著な増加を観察した。
論文 参考訳（メタデータ） (2021-11-17T05:00:51Z) - PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。
本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。
我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
論文 参考訳（メタデータ） (2020-10-06T15:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。