論文の概要: Applying Bayesian Data Analysis for Causal Inference about Requirements Quality: A Controlled Experiment
- arxiv url: http://arxiv.org/abs/2401.01154v4
- Date: Tue, 07 Jan 2025 09:12:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-08 15:48:08.201997
- Title: Applying Bayesian Data Analysis for Causal Inference about Requirements Quality: A Controlled Experiment
- Title（参考訳）: 要求品質の因果推論のためのベイズ解析の適用:制御実験
- Authors: Julian Frattini, Davide Fucci, Richard Torkar, Lloyd Montgomery, Michael Unterkalmsteiner, Jannik Fischbach, Daniel Mendez,
- Abstract要約: 要求仕様の品質がその後のソフトウェアエンジニアリング活動に影響を与えることは一般的に受け入れられている。
要求品質の欠陥がソフトウェアエンジニアリング活動に与える影響について実証的な証拠を提供することを目的としている。
- 参考スコア（独自算出の注目度）: 4.6068376339651635
- License:
- Abstract: It is commonly accepted that the quality of requirements specifications impacts subsequent software engineering activities. However, we still lack empirical evidence to support organizations in deciding whether their requirements are good enough or impede subsequent activities. We aim to contribute empirical evidence to the effect that requirements quality defects have on a software engineering activity that depends on this requirement. We conduct a controlled experiment in which 25 participants from industry and university generate domain models from four natural language requirements containing different quality defects. We evaluate the resulting models using both frequentist and Bayesian data analysis. Contrary to our expectations, our results show that the use of passive voice only has a minor impact on the resulting domain models. The use of ambiguous pronouns, however, shows a strong effect on various properties of the resulting domain models. Most notably, ambiguous pronouns lead to incorrect associations in domain models. Despite being equally advised against by literature and frequentist methods, the Bayesian data analysis shows that the two investigated quality defects have vastly different impacts on software engineering activities and, hence, deserve different levels of attention. Our employed method can be further utilized by researchers to improve reliable, detailed empirical evidence on requirements quality.
- Abstract（参考訳）: 要求仕様の品質がその後のソフトウェアエンジニアリング活動に影響を与えることは一般的に受け入れられている。
しかし、これらの要件が十分であるかどうか、あるいはその後の活動を妨げるかどうかを判断する上で、組織を支援するための実証的な証拠は依然として欠如している。
この要件に依存するソフトウェアエンジニアリング活動において,要求品質の欠陥が持つ影響について,実証的な証拠の提供を目的としている。
業界と大学の25人の参加者が、異なる品質欠陥を含む4つの自然言語要件からドメインモデルを生成する制御実験を行った。
ベイジアンデータの頻度分析とベイジアンデータ解析の両方を用いて,得られたモデルを評価する。
私たちの期待とは対照的に、受動的音声の使用は、結果のドメインモデルに小さな影響しか与えないことを示す。
しかし、あいまいな代名詞の使用は、結果として生じるドメインモデルの様々な性質に強い影響を示す。
特に、曖昧な代名詞は、ドメインモデルにおける誤った関連をもたらす。
文学的手法や頻繁な手法に等しく反対されているにもかかわらず、ベイジアンのデータ分析は、調査された2つの品質欠陥がソフトウェアエンジニアリング活動に大きく異なる影響を与えることを示しており、したがって、異なるレベルの注意に値することを示している。
提案手法は,要求品質に関する信頼性,詳細な実証的証拠を改善するために,研究者によってさらに活用することができる。
関連論文リスト
- Causal Fine-Tuning and Effect Calibration of Non-Causal Predictive Models [1.3124513975412255]
本稿では,無作為な実験データを用いた因果推論のための非因果モデルの性能向上手法を提案する。
広告、顧客の保持、精密医療のような領域では、介入なしの結果を予測する非因果モデルはしばしば、介入の期待された効果に応じて個人をスコアしランク付けするために使用される。
論文 参考訳（メタデータ） (2024-06-13T20:18:16Z) - A Second Look at the Impact of Passive Voice Requirements on Domain
Modeling: Bayesian Reanalysis of an Experiment [4.649794383775257]
我々は、受動音声がその後のドメイン・モデリング活動に与える影響について、唯一知られている制御実験を再分析する。
その結果, 原作者の観察した影響は, 以前考えられていたよりも遥かに少ないことがわかった。
論文 参考訳（メタデータ） (2024-02-16T16:24:00Z) - Identifying relevant Factors of Requirements Quality: an industrial Case Study [0.5603839226601395]
本研究は,要求品質の関連要因を特定するために,面接書と報告の双方からのデータを考慮したケーススタディを行う。
その結果,(1)既存の要求工学理論を強化し,(2)産業関連要求品質研究を進展させるという実証的証拠が得られた。
論文 参考訳（メタデータ） (2024-02-01T13:45:06Z) - Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition [49.38757847011105]
計算誤認識は、さまざまなジャンル、ドメイン、データセットに見られる誤認識のタイプによって、課題に直面します。
我々は、追加の文脈を取り入れ、大規模な言語モデルを活用して合成データを生成することによって、誤認識のための既存のモデルを強化することを目指している。
評価結果は、誤検出タイプ、データセット、ジェネレータ間で一貫した改善を示す。
論文 参考訳（メタデータ） (2023-11-16T04:17:47Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳（メタデータ） (2023-02-06T16:55:37Z) - A Causal Framework to Quantify the Robustness of Mathematical Reasoning
with Language Models [81.15974174627785]
入力空間における直接的介入に対する頑健さと感度の観点から言語モデルの振舞いについて検討する。
しかし, GPT-3 Davinciモデル(175B)は, 他のGPTモデルと比較して, 頑健さと感度の両面で劇的な改善を実現している。
論文 参考訳（メタデータ） (2022-10-21T15:12:37Z) - Testing Causality in Scientific Modelling Software [0.26388783516590225]
Causal Testing Frameworkは、Causal Inferenceテクニックを使用して、既存のデータから因果効果を確立するフレームワークである。
実世界の科学モデルをカバーする3つのケーススタディとして、Causal Testing Frameworkがいかにメタモルフィックテストの結果を推測できるかを示す。
論文 参考訳（メタデータ） (2022-09-01T10:57:54Z) - Towards a Fair Comparison and Realistic Design and Evaluation Framework
of Android Malware Detectors [63.75363908696257]
一般的な評価フレームワークを用いて,Androidのマルウェア検出に関する10の研究成果を分析した。
データセットの作成やデザイナの設計に考慮しない場合、トレーニングされたMLモデルに大きく影響する5つの要因を特定します。
その結果,MLに基づく検出器は楽観的に評価され,良好な結果が得られた。
論文 参考訳（メタデータ） (2022-05-25T08:28:08Z) - Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards
Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。
正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。
人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
論文 参考訳（メタデータ） (2022-01-27T22:15:56Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳（メタデータ） (2021-09-24T03:49:38Z) - MASSIVE: Tractable and Robust Bayesian Learning of Many-Dimensional
Instrumental Variable Models [8.271859911016719]
モデル不確実性を考慮した汎用的かつ効率的な因果推論アルゴリズムを提案する。
いくつかの候補が(近い)有効である限り、どの候補が先験的かを知ることなく、それらの集団が目標との相互作用に十分な制限を課し、信頼できる因果効果の推定を得る。
論文 参考訳（メタデータ） (2020-12-18T10:06:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。