論文の概要: On Systematically Building a Controlled Natural Language for Functional
Requirements
- arxiv url: http://arxiv.org/abs/2005.01355v1
- Date: Mon, 4 May 2020 09:55:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 01:24:32.635916
- Title: On Systematically Building a Controlled Natural Language for Functional
Requirements
- Title(参考訳): 機能要件のための制御自然言語の構築に関する研究
- Authors: Alvaro Veizaga, Mauricio Alferez, Damiano Torre, Mehrdad Sabetzadeh,
Lionel Briand
- Abstract要約: 自然言語(NL)は、ソフトウェア要件仕様(SRS)において広く普及している。
その人気と広く使われているにもかかわらず、NLはあいまいさ、曖昧さ、不完全さといった品質の問題に高い傾向にある。
要求文書の品質問題を防止する手段として,制御自然言語(CNL)が提案されている。
- 参考スコア(独自算出の注目度): 2.9676973500772887
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: [Context] Natural language (NL) is pervasive in software requirements
specifications (SRSs). However, despite its popularity and widespread use, NL
is highly prone to quality issues such as vagueness, ambiguity, and
incompleteness. Controlled natural languages (CNLs) have been proposed as a way
to prevent quality problems in requirements documents, while maintaining the
flexibility to write and communicate requirements in an intuitive and
universally understood manner. [Objective] In collaboration with an industrial
partner from the financial domain, we systematically develop and evaluate a
CNL, named Rimay, intended at helping analysts write functional requirements.
[Method] We rely on Grounded Theory for building Rimay and follow well-known
guidelines for conducting and reporting industrial case study research.
[Results] Our main contributions are: (1) a qualitative methodology to
systematically define a CNL for functional requirements; this methodology is
general and applicable to information systems beyond the financial domain, (2)
a CNL grammar to represent functional requirements; this grammar is derived
from our experience in the financial domain, but should be applicable, possibly
with adaptations, to other information-system domains, and (3) an empirical
evaluation of our CNL (Rimay) through an industrial case study. Our
contributions draw on 15 representative SRSs, collectively containing 3215 NL
requirements statements from the financial domain. [Conclusion] Our evaluation
shows that Rimay is expressive enough to capture, on average, 88% (405 out of
460) of the NL requirements statements in four previously unseen SRSs from the
financial domain.
- Abstract(参考訳): [コンテキスト]自然言語(NL)は、ソフトウェア要件仕様(SRS)において広く普及しています。
しかし、その人気と広く使われているにもかかわらず、NLはあいまいさ、曖昧さ、不完全さといった品質の問題に高い傾向にある。
制御自然言語(cnls)は、直感的かつ普遍的に理解された方法で要求を書き、伝達する柔軟性を維持しながら、要求文書の品質問題を防止する方法として提案されている。
[目的]金融分野の産業パートナーと共同で、アナリストが機能要件を書くのを支援することを目的としたCNLを体系的に開発・評価します。
【方法】利米建築の根拠理論に依拠し、工業事例研究の実施・報告の指針を定めている。
[Results] Our main contributions are: (1) a qualitative methodology to systematically define a CNL for functional requirements; this methodology is general and applicable to information systems beyond the financial domain, (2) a CNL grammar to represent functional requirements; this grammar is derived from our experience in the financial domain, but should be applicable, possibly with adaptations, to other information-system domains, and (3) an empirical evaluation of our CNL (Rimay) through an industrial case study.
当社のコントリビューションは、金融ドメインから3215NLの要求文をまとめて含む15の代表的SRSを参考にしています。
[結論]我々の評価は、金融分野の4つの未確認SRSにおいて、NL要求文の88%(460件中405件)を、平均的に把握できるほど表現力があることを示している。
関連論文リスト
- Evaluating Large Language Models on Financial Report Summarization: An Empirical Study [9.28042182186057]
我々は3つの最先端大言語モデル(LLM)の比較研究を行っている。
我々の主な動機は、これらのモデルがどのように金融の中で活用できるかを探求することであり、正確さ、文脈的関連性、誤った情報や誤解を招く情報に対する堅牢性を要求する分野である。
本稿では,定量的メトリクス(精度,リコールなど)と質的分析(コンテキスト適合性,一貫性など)を統合し,各モデルの出力品質の全体像を提供する,革新的な評価フレームワークを提案する。
論文 参考訳(メタデータ) (2024-11-11T10:36:04Z) - Scalable Frame-based Construction of Sociocultural NormBases for Socially-Aware Dialogues [66.69453609603875]
社会文化的規範は、社会的相互作用における個人的行為の指針となる。
大規模言語モデル(LLM)を用いた社会文化的ノルム(SCN)ベース構築のためのスケーラブルなアプローチを提案する。
我々は、包括的で広くアクセス可能な中国社会文化ノルムベースを構築した。
論文 参考訳(メタデータ) (2024-10-04T00:08:46Z) - CFinBench: A Comprehensive Chinese Financial Benchmark for Large Language Models [61.324062412648075]
CFinBenchは、中国の文脈下での大規模言語モデル(LLM)の財務知識を評価するための評価ベンチマークである。
この質問は、43の第二級カテゴリーにまたがる99,100の質問で構成されており、3つの質問タイプがある: シングルチョイス、マルチチョイス、そして判断である。
結果は、GPT4といくつかの中国指向モデルがベンチマークをリードし、平均精度は60.16%であることを示している。
論文 参考訳(メタデータ) (2024-07-02T14:34:36Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。
まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
論文 参考訳(メタデータ) (2024-06-20T17:56:07Z) - Leveraging Large Language Models for NLG Evaluation: Advances and Challenges [57.88520765782177]
大規模言語モデル(LLM)は、コヒーレンス、クリエイティビティ、コンテキスト関連など、生成されたコンテンツ品質を評価するための新たな道を開いた。
既存のLCMに基づく評価指標を整理し、これらの手法を理解し比較するための構造化された枠組みを提供する。
本稿では, 偏見, 堅牢性, ドメイン固有性, 統一評価などの未解決課題を議論することによって, 研究者に洞察を提供し, より公平で高度なNLG評価手法を提唱することを目的とする。
論文 参考訳(メタデータ) (2024-01-13T15:59:09Z) - Practical Guidelines for the Selection and Evaluation of Natural Language Processing Techniques in Requirements Engineering [8.779031107963942]
自然言語(NL)は現在、要求自動化の基盤となっている。
多くの異なるNLPソリューション戦略が利用可能であるため、特定のREタスクに対して適切な戦略を選択することは困難である。
特に,従来のNLP,特徴ベース機械学習,言語モデルに基づく手法など,さまざまな戦略を選択する方法について議論する。
論文 参考訳(メタデータ) (2024-01-03T02:24:35Z) - Status Quo and Problems of Requirements Engineering for Machine
Learning: Results from an International Survey [7.164324501049983]
要求工学(RE)は、機械学習対応システムにおいて多くの問題を解決するのに役立つ。
我々は,ML対応システムにおけるREの現状と問題点について,実践者の知見を収集する調査を行った。
MLプロジェクトでは,REプラクティスに有意な違いが認められた。
論文 参考訳(メタデータ) (2023-10-10T15:53:50Z) - Situated Natural Language Explanations [54.083715161895036]
自然言語の説明(NLE)は、人間に意思決定を説明する最もアクセスしやすいツールである。
既存のNLE研究の視点は、観客を考慮に入れない。
Situated NLEは視点を提供し、説明の生成と評価に関するさらなる研究を促進する。
論文 参考訳(メタデータ) (2023-08-27T14:14:28Z) - Automated Smell Detection and Recommendation in Natural Language
Requirements [8.672583050502496]
Paskaは、任意の自然言語(NL)要求を入力するツールである。
要求の匂いとして品質問題を自動的に検出し、品質を改善するための推奨を提供する。
論文 参考訳(メタデータ) (2023-05-11T19:01:25Z) - The Use of NLP-Based Text Representation Techniques to Support
Requirement Engineering Tasks: A Systematic Mapping Review [1.5469452301122177]
研究の方向性は、語彙的・構文的特徴の使用から高度な埋め込み技術の使用へと変化した。
既存の文献の4つのギャップ、それらが問題となる理由、そして今後の研究がそれらにどう対処し始めるかを特定する。
論文 参考訳(メタデータ) (2022-05-17T02:47:26Z) - Deconstructing NLG Evaluation: Evaluation Practices, Assumptions, and
Their Implications [85.24952708195582]
本研究では,NLG評価を形作る目標,コミュニティプラクティス,前提,制約について検討する。
その影響と倫理的考察の具体化について検討する。
論文 参考訳(メタデータ) (2022-05-13T18:00:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。