論文の概要: Exploring the Garden of Forking Paths in Empirical Software Engineering Research: A Multiverse Analysis
- arxiv url: http://arxiv.org/abs/2512.08910v1
- Date: Tue, 09 Dec 2025 18:47:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-10 22:28:08.099989
- Title: Exploring the Garden of Forking Paths in Empirical Software Engineering Research: A Multiverse Analysis
- Title（参考訳）: 経験的ソフトウェア工学研究におけるフォークパスの庭を探る:多変量解析
- Authors: Nathan Cassee, Robert Feldt,
- Abstract要約: 本論文は,いわゆる多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元
9つの重要な分析的決定を、少なくとも1つの等しく防御可能な代替手段で特定する。
圧倒的多数は質的に異なる結果をもたらし、時には反対の結果ももたらした。
- 参考スコア（独自算出の注目度）: 3.6324565773746147
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In empirical software engineering (SE) research, researchers have considerable freedom to decide how to process data, what operationalizations to use, and which statistical model to fit. Gelman and Loken refer to this freedom as leading to a "garden of forking paths". Although this freedom is often seen as an advantage, it also poses a threat to robustness and replicability: variations in analytical decisions, even when justifiable, can lead to divergent conclusions. To better understand this risk, we conducted a so-called multiverse analysis on a published empirical SE paper. The paper we picked is a Mining Software Repositories study, as MSR studies commonly use non-trivial statistical models to analyze post-hoc, observational data. In the study, we identified nine pivotal analytical decisions-each with at least one equally defensible alternative and systematically reran all the 3,072 resulting analysis pipelines on the original dataset. Interestingly, only 6 of these universes (<0.2%) reproduced the published results; the overwhelming majority produced qualitatively different, and sometimes even opposite, findings. This case study of a data analytical method commonly applied to empirical software engineering data reveals how methodological choices can exert a more profound influence on outcomes than is often acknowledged. We therefore advocate that SE researchers complement standard reporting with robustness checks across plausible analysis variants or, at least, explicitly justify each analytical decision. We propose a structured classification model to help classify and improve justification for methodological choices. Secondly, we show how the multiverse analysis is a practical tool in the methodological arsenal of SE researchers, one that can help produce more reliable, reproducible science.
- Abstract（参考訳）: 経験的ソフトウェア工学(SE)研究において、研究者はデータの処理方法、使用する運用方法、適合する統計モデルを決定するためのかなりの自由がある。
ゲルマンとローケンはこの自由を「フォークの道」に導くと言及している。
この自由はしばしば利点と見なされるが、ロバスト性や複製性への脅威でもある。
このリスクをよりよく理解するために、我々はいわゆる多変量解析を実証SE論文で実施した。
MSR研究は、非自明な統計モデルを用いて、ポストホックな観測データを分析する。
そこで本研究では,少なくとも1つの等価な代替手段を用いて,9つの重要な分析決定を同定し,元のデータセット上の3,072個の解析パイプラインを体系的に再構築した。
興味深いことに、これらの宇宙のうち6つしか公表された結果を再現していない(<0.2%)。
このケーススタディでは、経験的ソフトウェアエンジニアリングデータに一般的に適用されるデータ分析手法を用いて、方法論の選択が、しばしば認識される結果よりも、より深い影響をもたらすことを示す。
したがって、SE研究者は、分析可能な変種にまたがるロバスト性チェックで標準報告を補完するか、少なくとも各分析決定を明示的に正当化することを主張する。
本稿では,方法論的選択の正当性を分類・改善するための構造的分類モデルを提案する。
第二に、多元的分析がSE研究者の方法論的アーセナルにおける実践的なツールであることを示し、より信頼性の高い再現可能な科学を創出するのに役立つ。
関連論文リスト
- Oops!... I did it again. Conclusion (In-)Stability in Quantitative Empirical Software Engineering: A Large-Scale Analysis [5.94721915761333]
ソフトウェアリポジトリのマイニングは、ソフトウェアプロジェクトの進化に関する洞察を得るための一般的な方法である。
本研究では、進化的ソフトウェア解析のための複雑なツールパイプラインの妥当性に対するいくつかの脅威について検討する。
論文 参考訳（メタデータ） (2025-10-08T10:11:39Z) - Data Fusion for Partial Identification of Causal Effects [62.56890808004615]
本稿では,研究者が重要な疑問に答えられるような,新しい部分的識別フレームワークを提案する。
因果効果は肯定的か否定的か?
本研究の枠組みをSTARプロジェクトに適用し,第3級の標準試験性能に対する教室規模の影響について検討する。
論文 参考訳（メタデータ） (2025-05-30T07:13:01Z) - Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。
第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。
第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
論文 参考訳（メタデータ） (2025-02-11T19:24:09Z) - Mitigating Omitted Variable Bias in Empirical Software Engineering [2.9506547907696006]
省略変数バイアスは、統計モデルが研究中の影響の関連する決定要因である変数を除外した場合に発生する。
オメットされた可変バイアスは、実証研究の妥当性に重大な脅威をもたらす。
本稿では,ソフトウェア工学における経験的研究を設計・実行するための一連の解析手順を示す。
論文 参考訳（メタデータ） (2025-01-28T15:43:46Z) - Detecting and Identifying Selection Structure in Sequential Data [53.24493902162797]
我々は,音楽のシーケンスなどの実践的な状況において,潜在目的に基づくデータポイントの選択的包摂が一般的である,と論じる。
選択構造はパラメトリックな仮定や介入実験なしで識別可能であることを示す。
また、他の種類の依存関係と同様に、選択構造を検知し、識別するための証明可能な正当性アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-29T20:56:34Z) - A Multiple kernel testing procedure for non-proportional hazards in
factorial designs [4.358626952482687]
本稿では,複数の因子が同時に興味を持つ場合の生存率を推定するマルチカーネルテスト手法を提案する。
我々の手法は複雑なデータを扱うことができ、比例性のような仮定を正当化できない場合、全正規の Cox モデルに代わるものとして見ることができる。
論文 参考訳（メタデータ） (2022-06-15T01:53:49Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳（メタデータ） (2022-03-29T04:54:06Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z) - Beyond Accuracy: ROI-driven Data Analytics of Empirical Data [3.5751623095926806]
データ分析を行う場合、Return-on-Investmentを検討することが重要です。
このビジョンペーパーは、データ分析を行う場合、Return-on-Investmentを検討することが重要であることを示している。
論文 参考訳（メタデータ） (2020-09-14T14:49:37Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳（メタデータ） (2020-06-11T17:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。