論文の概要: Natural Language Requirements Testability Measurement Based on Requirement Smells
- arxiv url: http://arxiv.org/abs/2403.17479v1
- Date: Tue, 26 Mar 2024 08:19:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 16:16:34.238975
- Title: Natural Language Requirements Testability Measurement Based on Requirement Smells
- Title（参考訳）: 自然言語の要求量に基づくテスト容易性測定
- Authors: Morteza Zakeri-Nasrabadi, Saeed Parsa,
- Abstract要約: テスト可能な要件は、障害の防止、メンテナンスコストの削減、受け入れテストの実行を容易にする。
要求の匂いに基づいて、要求の検証可能性を測定するための自動的なアプローチは提案されていない。
本稿では,9つの要求の匂いの広範囲なセットに基づいて,自然言語の検証可能性の評価とランク付けを行う数学的モデルを提案する。
- 参考スコア（独自算出の注目度）: 1.1663475941322277
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Requirements form the basis for defining software systems' obligations and tasks. Testable requirements help prevent failures, reduce maintenance costs, and make it easier to perform acceptance tests. However, despite the importance of measuring and quantifying requirements testability, no automatic approach for measuring requirements testability has been proposed based on the requirements smells, which are at odds with the requirements testability. This paper presents a mathematical model to evaluate and rank the natural language requirements testability based on an extensive set of nine requirements smells, detected automatically, and acceptance test efforts determined by requirement length and its application domain. Most of the smells stem from uncountable adjectives, context-sensitive, and ambiguous words. A comprehensive dictionary is required to detect such words. We offer a neural word-embedding technique to generate such a dictionary automatically. Using the dictionary, we could automatically detect Polysemy smell (domain-specific ambiguity) for the first time in 10 application domains. Our empirical study on nearly 1000 software requirements from six well-known industrial and academic projects demonstrates that the proposed smell detection approach outperforms Smella, a state-of-the-art tool, in detecting requirements smells. The precision and recall of smell detection are improved with an average of 0.03 and 0.33, respectively, compared to the state-of-the-art. The proposed requirement testability model measures the testability of 985 requirements with a mean absolute error of 0.12 and a mean squared error of 0.03, demonstrating the model's potential for practical use.
- Abstract（参考訳）: 要件は、ソフトウェアシステムの義務とタスクを定義する基盤となる。
テスト可能な要件は、障害の防止、メンテナンスコストの削減、受け入れテストの実行を容易にする。
しかし,要求テスト容易性の測定と定量化が重要であるにもかかわらず,要求の匂いに基づいて要求テスト容易性を自動的に測定する方法は提案されていない。
本稿では,9つの要求の匂いと自動検出,および要件長とその適用領域によって決定される受入テストの取り組みに基づいて,自然言語の要求テスト容易性を評価・ランク付けする数学的モデルを提案する。
ほとんどの臭いは、可算形容詞、文脈に敏感な、曖昧な言葉に由来する。
そのような単語を検出するには包括的な辞書が必要である。
このような辞書を自動生成するニューラルワード埋め込み技術を提案する。
この辞書を用いて、10のアプリケーションドメインで初めて、ポリセミ臭(ドメイン固有の曖昧さ)を自動的に検出できる。
6つの著名な産業・学術プロジェクトによる1000近いソフトウェア要件に関する実証研究は、提案された嗅覚検出アプローチが、要求の匂いを検出する上で最先端のツールであるSmellaより優れていることを実証している。
検出精度は平均0.03と0.33と、最先端と比較して改善されている。
提案モデルでは, 平均絶対誤差0.12, 平均二乗誤差0.03を用いて, 985 要件の検証可能性を測定し, 実用上の可能性を示す。
関連論文リスト
- The Art of Saying No: Contextual Noncompliance in Language Models [123.383993700586]
本稿では,ユーザの要求に従わないモデルについて,コンテキスト非準拠の包括的分類を導入する。
我々の分類は、不完全、不完全、不完全、不決定、人為的要求を含む幅広いカテゴリーにまたがる。
言語モデルの非準拠性をテストするために,1000個の非準拠プロンプトの新たな評価スイートを開発するために,この分類法を用いる。
論文 参考訳（メタデータ） (2024-07-02T07:12:51Z) - A Catalog of Transformations to Remove Smells From Natural Language Tests [1.260984934917191]
テストの臭いは、保守性の低さ、非決定的な振る舞い、不完全な検証など、テスト活動中に困難を引き起こす可能性がある。
本稿では,自然言語テストの臭いを7つ除去するために設計された変換のカタログと,自然言語処理(NLP)技術を用いて実装された補助ツールを紹介する。
論文 参考訳（メタデータ） (2024-04-25T19:23:24Z) - Zero-Shot Multi-task Hallucination Detection [8.539639901976594]
幻覚は、生成したテキストがソースへの忠実さを欠いているモデルにおいて、創発的な状態である。
幻覚を正式に定義し,ゼロショット設定における定量的検出のための枠組みを提案する。
幻覚検出では, モデル認識設定では0.78, モデル認識設定では0.61の精度が得られた。
論文 参考訳（メタデータ） (2024-03-18T20:50:26Z) - Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。
我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
論文 参考訳（メタデータ） (2023-11-26T22:47:54Z) - Fine-Tuning Language Models Using Formal Methods Feedback [53.24085794087253]
我々は、自律システムにおけるアプリケーションのための、微調整済み言語モデルに対して、完全に自動化されたアプローチを提案する。
本手法は,自然言語タスク記述による事前学習モデルから自動制御器を合成する。
その結果、コントローラが満たした仕様の割合が60%から90%に改善したことが示唆された。
論文 参考訳（メタデータ） (2023-10-27T16:24:24Z) - Detecting Pretraining Data from Large Language Models [90.12037980837738]
事前学習データ検出問題について検討する。
事前学習データを知ることなく、テキスト片とLCMへのブラックボックスアクセスを条件に、モデルが提供されたテキストでトレーニングされたかどうかを判断できますか?
簡単な仮説に基づく新しい検出手法Min-K% Probを提案する。
論文 参考訳（メタデータ） (2023-10-25T17:21:23Z) - CiRA: An Open-Source Python Package for Automated Generation of Test
Case Descriptions from Natural Language Requirements [1.3082545468017672]
本稿では,条件付き自然言語要求を自動的に処理するCiRA(Causality In Requirements Artifacts)イニシアチブのツールを提案する。
我々は,このツールを,ドイツ・コロナ・ワーン・アプリ(Corona-Warn-App)の要件仕様から,61の要件の公開データセット上で評価する。
論文 参考訳（メタデータ） (2023-10-12T11:30:59Z) - Manual Tests Do Smell! Cataloging and Identifying Natural Language Test
Smells [1.43994708364763]
テストの臭いは、自動化されたソフトウェアテストの設計と実装における潜在的な問題を示しています。
本研究は,手動テストの匂いのカタログ化に寄与することを目的としている。
論文 参考訳（メタデータ） (2023-08-02T19:05:36Z) - Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。
提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
論文 参考訳（メタデータ） (2021-11-11T16:57:53Z) - On the use of test smells for prediction of flaky tests [0.0]
不安定な検査は 検査結果の評価を妨げ コストを増大させる
既存のテストケース語彙の使用に基づくアプローチは、文脈に敏感であり、過度に適合する傾向がある。
フレキな検査の予測因子として, 試験臭の使用について検討した。
論文 参考訳（メタデータ） (2021-08-26T13:21:55Z) - Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。
本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。
本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文 参考訳（メタデータ） (2020-06-27T08:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。