論文の概要: Testing Causality in Scientific Modelling Software
- arxiv url: http://arxiv.org/abs/2209.00357v2
- Date: Fri, 30 Jun 2023 14:01:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 15:06:57.163737
- Title: Testing Causality in Scientific Modelling Software
- Title(参考訳): 科学モデリングソフトウェアにおける因果性テスト
- Authors: Andrew G. Clark, Michael Foster, Benedikt Prifling, Neil Walkinshaw,
Robert M. Hierons, Volker Schmidt, Robert D. Turner
- Abstract要約: Causal Testing Frameworkは、Causal Inferenceテクニックを使用して、既存のデータから因果効果を確立するフレームワークである。
実世界の科学モデルをカバーする3つのケーススタディとして、Causal Testing Frameworkがいかにメタモルフィックテストの結果を推測できるかを示す。
- 参考スコア(独自算出の注目度): 0.26388783516590225
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: From simulating galaxy formation to viral transmission in a pandemic,
scientific models play a pivotal role in developing scientific theories and
supporting government policy decisions that affect us all. Given these critical
applications, a poor modelling assumption or bug could have far-reaching
consequences. However, scientific models possess several properties that make
them notoriously difficult to test, including a complex input space, long
execution times, and non-determinism, rendering existing testing techniques
impractical. In fields such as epidemiology, where researchers seek answers to
challenging causal questions, a statistical methodology known as Causal
Inference has addressed similar problems, enabling the inference of causal
conclusions from noisy, biased, and sparse data instead of costly experiments.
This paper introduces the Causal Testing Framework: a framework that uses
Causal Inference techniques to establish causal effects from existing data,
enabling users to conduct software testing activities concerning the effect of
a change, such as Metamorphic Testing, a posteriori. We present three case
studies covering real-world scientific models, demonstrating how the Causal
Testing Framework can infer metamorphic test outcomes from reused, confounded
test data to provide an efficient solution for testing scientific modelling
software.
- Abstract(参考訳): パンデミックにおける銀河形成のシミュレーションからウイルス感染まで、科学モデルが科学理論を発展させ、私たち全員に影響を与える政府の政策決定を支援する上で重要な役割を果たす。
これらの重要なアプリケーションを考えると、モデリングの不十分な仮定やバグは広範囲な結果をもたらす可能性がある。
しかし、科学モデルには、複雑な入力空間、長い実行時間、非決定論など、テストが難しいいくつかの特性があり、既存のテスト技術は実用的ではない。
研究者が因果問題に挑戦する答えを求める疫学のような分野において、因果推論(Causal Inference)として知られる統計学的手法は同様の問題に対処し、ノイズ、偏見、スパースデータからの因果結論の推論を可能にした。
本稿では,Causal Testing Frameworkについて紹介する。Causal Inference(因果推論)技術を用いて,既存のデータから因果的影響を確定するフレームワークである。
実世界の科学モデルをカバーする3つのケーススタディとして、Causal Testing Frameworkは、再利用されたテストデータからメタモルフィックテストの結果を推測し、科学モデリングソフトウェアをテストするための効率的なソリューションを提供する。
関連論文リスト
- A Second Look at the Impact of Passive Voice Requirements on Domain
Modeling: Bayesian Reanalysis of an Experiment [4.649794383775257]
我々は、受動音声がその後のドメイン・モデリング活動に与える影響について、唯一知られている制御実験を再分析する。
その結果, 原作者の観察した影響は, 以前考えられていたよりも遥かに少ないことがわかった。
論文 参考訳(メタデータ) (2024-02-16T16:24:00Z) - Applying Bayesian Data Analysis for Causal Inference about Requirements
Quality: A Replicated Experiment [4.8378508270172675]
25人の参加者が異なる品質欠陥を含む4つの自然言語要求からドメインモデルを生成する制御された実験を再現する。
ベイジアンデータの頻度分析とベイジアンデータ解析の両方を用いて,得られたモデルを評価する。
しかし、あいまいな代名詞の使用は、結果として生じるドメインモデルの様々な性質に強い影響を示す。
論文 参考訳(メタデータ) (2024-01-02T11:08:39Z) - Partially Specified Causal Simulations [0.0]
多くの因果推論文学は、過剰に制限された、または不特定な研究を設計する傾向がある。
本研究では,これらのデシラタに対応するシミュレーションフレームワークであるPARCSを導入する。
我々は、よく知られた因果発見と欠落データ分析論文のシミュレーション研究を再現し、拡張する。
論文 参考訳(メタデータ) (2023-09-19T10:50:35Z) - A Causal Framework for Decomposing Spurious Variations [68.12191782657437]
我々はマルコフモデルとセミマルコフモデルの急激な変分を分解するツールを開発する。
突発効果の非パラメトリック分解を可能にする最初の結果を証明する。
説明可能なAIや公平なAIから、疫学や医学における疑問まで、いくつかの応用がある。
論文 参考訳(メタデータ) (2023-06-08T09:40:28Z) - Online simulator-based experimental design for cognitive model selection [74.76661199843284]
本稿では,抽出可能な確率を伴わない計算モデルを選択する実験設計手法BOSMOSを提案する。
シミュレーション実験では,提案手法により,既存のLFI手法に比べて最大2桁の精度でモデルを選択することができることを示した。
論文 参考訳(メタデータ) (2023-03-03T21:41:01Z) - GFlowNets for AI-Driven Scientific Discovery [74.27219800878304]
我々はGFlowNetsと呼ばれる新しい確率論的機械学習フレームワークを提案する。
GFlowNetsは、実験科学ループのモデリング、仮説生成、実験的な設計段階に適用できる。
我々は、GFlowNetsがAIによる科学的発見の貴重なツールになり得ると論じている。
論文 参考訳(メタデータ) (2023-02-01T17:29:43Z) - A Causal Framework to Quantify the Robustness of Mathematical Reasoning
with Language Models [81.15974174627785]
入力空間における直接的介入に対する頑健さと感度の観点から言語モデルの振舞いについて検討する。
しかし, GPT-3 Davinciモデル(175B)は, 他のGPTモデルと比較して, 頑健さと感度の両面で劇的な改善を実現している。
論文 参考訳(メタデータ) (2022-10-21T15:12:37Z) - Sources of Irreproducibility in Machine Learning: A Review [3.905855359082687]
実験設計の選択と結論に対する潜在的な影響を関連付ける理論的枠組みは存在しない。
本研究の目的は、応用データサイエンスの実践者や研究者が、どのような設計選択が誤った発見につながるかを理解するためのフレームワークを開発することである。
論文 参考訳(メタデータ) (2022-04-15T18:26:03Z) - Evaluating Causal Inference Methods [0.4588028371034407]
我々は、因果推論手法を検証するために、深層生成モデルに基づくフレームワーク、クレデンスを導入する。
我々の研究は、因果推論手法を検証するために、深層生成モデルに基づくフレームワーク、クレデンスを導入している。
論文 参考訳(メタデータ) (2022-02-09T00:21:22Z) - Marginal likelihood computation for model selection and hypothesis
testing: an extensive review [66.37504201165159]
この記事では、このトピックの最先端に関する総合的な研究について紹介する。
さまざまなテクニックの制限、メリット、コネクション、差異を強調します。
また、不適切な事前利用の問題や解決法についても述べる。
論文 参考訳(メタデータ) (2020-05-17T18:31:58Z) - A Survey on Causal Inference [64.45536158710014]
因果推論は統計学、コンピュータ科学、教育、公共政策、経済学など、多くの分野において重要な研究トピックである。
観測データに対する様々な因果効果推定法が誕生した。
論文 参考訳(メタデータ) (2020-02-05T21:35:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。