論文の概要: Applying Bayesian Data Analysis for Causal Inference about Requirements
Quality: A Replicated Experiment
- arxiv url: http://arxiv.org/abs/2401.01154v1
- Date: Tue, 2 Jan 2024 11:08:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 14:11:05.041725
- Title: Applying Bayesian Data Analysis for Causal Inference about Requirements
Quality: A Replicated Experiment
- Title（参考訳）: 要求品質に関する因果推論にベイズデータ分析を適用する:再現実験
- Authors: Julian Frattini, Davide Fucci, Richard Torkar, Lloyd Montgomery,
Michael Unterkalmsteiner, Jannik Fischbach, Daniel Mendez
- Abstract要約: 25人の参加者が異なる品質欠陥を含む4つの自然言語要求からドメインモデルを生成する制御された実験を再現する。
ベイジアンデータの頻度分析とベイジアンデータ解析の両方を用いて,得られたモデルを評価する。
しかし、あいまいな代名詞の使用は、結果として生じるドメインモデルの様々な性質に強い影響を示す。
- 参考スコア（独自算出の注目度）: 4.8378508270172675
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Context: It is commonly accepted that the quality of requirements
specifications impacts subsequent software engineering activities. However, we
still lack empirical evidence to support organizations in deciding whether
their requirements are good enough or impede subsequent activities. Objective:
We aim to contribute empirical evidence to the effect that requirements quality
defects have on a software engineering activity that depends on this
requirement. Method: We replicate a controlled experiment in which 25
participants from industry and university generate domain models from four
natural language requirements containing different quality defects. We evaluate
the resulting models using both frequentist and Bayesian data analysis.
Results: Contrary to our expectations, our results show that the use of passive
voice only has a minor impact on the resulting domain models. The use of
ambiguous pronouns, however, shows a strong effect on various properties of the
resulting domain models. Most notably, ambiguous pronouns lead to incorrect
associations in domain models. Conclusion: Despite being equally advised
against by literature and frequentist methods, the Bayesian data analysis shows
that the two investigated quality defects have vastly different impacts on
software engineering activities and, hence, deserve different levels of
attention. Our employed method can be further utilized by researchers to
improve reliable, detailed empirical evidence on requirements quality.
- Abstract（参考訳）: コンテキスト: 要件仕様の品質がその後のソフトウェアエンジニアリング活動に影響を与えることは一般的に受け入れられます。
しかし、これらの要件が十分であるかどうか、あるいはその後の活動を妨げるかどうかを判断する上で、組織を支援するための実証的な証拠は残っていない。
目的: この要件に依存するソフトウェアエンジニアリング活動において,要求品質の欠陥が持つ影響について,実証的な証拠を提供することを目指しています。
方法: 異なる品質欠陥を含む4つの自然言語要件から, 産学・産学の25人の参加者がドメインモデルを生成する制御実験を再現する。
ベイジアンデータ解析とベイジアンデータ解析の両方を用いて結果モデルを評価する。
結果: 我々の期待に反して, パッシブ音声の使用は, 結果のドメインモデルにわずかな影響しか及ぼさないことが示された。
しかし、あいまいな代名詞の使用は、結果として生じるドメインモデルの様々な特性に強い影響を示す。
特に、曖昧な代名詞は、ドメインモデルにおける誤った関連をもたらす。
結論: 文学的手法や頻繁な手法に等しく反対されているにもかかわらず、ベイジアンのデータ分析は、調査された2つの品質欠陥がソフトウェアエンジニアリング活動に大きく異なる影響を与えることを示しており、従って、異なるレベルの注意を払っている。
提案手法は,要求品質に関する信頼性と詳細な実証的エビデンスを向上させるために,研究者によってさらに活用できる。
関連論文リスト
- Causal Fine-Tuning and Effect Calibration of Non-Causal Predictive Models [1.3124513975412255]
本稿では,無作為な実験データを用いた因果推論のための非因果モデルの性能向上手法を提案する。
広告、顧客の保持、精密医療のような領域では、介入なしの結果を予測する非因果モデルはしばしば、介入の期待された効果に応じて個人をスコアしランク付けするために使用される。
論文 参考訳（メタデータ） (2024-06-13T20:18:16Z) - A Second Look at the Impact of Passive Voice Requirements on Domain
Modeling: Bayesian Reanalysis of an Experiment [4.649794383775257]
我々は、受動音声がその後のドメイン・モデリング活動に与える影響について、唯一知られている制御実験を再分析する。
その結果, 原作者の観察した影響は, 以前考えられていたよりも遥かに少ないことがわかった。
論文 参考訳（メタデータ） (2024-02-16T16:24:00Z) - Identifying relevant Factors of Requirements Quality: an industrial Case Study [0.5603839226601395]
本研究は,要求品質の関連要因を特定するために,面接書と報告の双方からのデータを考慮したケーススタディを行う。
その結果,(1)既存の要求工学理論を強化し,(2)産業関連要求品質研究を進展させるという実証的証拠が得られた。
論文 参考訳（メタデータ） (2024-02-01T13:45:06Z) - Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition [49.38757847011105]
計算誤認識は、さまざまなジャンル、ドメイン、データセットに見られる誤認識のタイプによって、課題に直面します。
我々は、追加の文脈を取り入れ、大規模な言語モデルを活用して合成データを生成することによって、誤認識のための既存のモデルを強化することを目指している。
評価結果は、誤検出タイプ、データセット、ジェネレータ間で一貫した改善を示す。
論文 参考訳（メタデータ） (2023-11-16T04:17:47Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳（メタデータ） (2023-02-06T16:55:37Z) - A Causal Framework to Quantify the Robustness of Mathematical Reasoning
with Language Models [81.15974174627785]
入力空間における直接的介入に対する頑健さと感度の観点から言語モデルの振舞いについて検討する。
しかし, GPT-3 Davinciモデル(175B)は, 他のGPTモデルと比較して, 頑健さと感度の両面で劇的な改善を実現している。
論文 参考訳（メタデータ） (2022-10-21T15:12:37Z) - Testing Causality in Scientific Modelling Software [0.26388783516590225]
Causal Testing Frameworkは、Causal Inferenceテクニックを使用して、既存のデータから因果効果を確立するフレームワークである。
実世界の科学モデルをカバーする3つのケーススタディとして、Causal Testing Frameworkがいかにメタモルフィックテストの結果を推測できるかを示す。
論文 参考訳（メタデータ） (2022-09-01T10:57:54Z) - Towards a Fair Comparison and Realistic Design and Evaluation Framework
of Android Malware Detectors [63.75363908696257]
一般的な評価フレームワークを用いて,Androidのマルウェア検出に関する10の研究成果を分析した。
データセットの作成やデザイナの設計に考慮しない場合、トレーニングされたMLモデルに大きく影響する5つの要因を特定します。
その結果,MLに基づく検出器は楽観的に評価され,良好な結果が得られた。
論文 参考訳（メタデータ） (2022-05-25T08:28:08Z) - Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards
Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。
正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。
人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
論文 参考訳（メタデータ） (2022-01-27T22:15:56Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳（メタデータ） (2021-09-24T03:49:38Z) - MASSIVE: Tractable and Robust Bayesian Learning of Many-Dimensional
Instrumental Variable Models [8.271859911016719]
モデル不確実性を考慮した汎用的かつ効率的な因果推論アルゴリズムを提案する。
いくつかの候補が(近い)有効である限り、どの候補が先験的かを知ることなく、それらの集団が目標との相互作用に十分な制限を課し、信頼できる因果効果の推定を得る。
論文 参考訳（メタデータ） (2020-12-18T10:06:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。