論文の概要: Rethinking Software Empirical Studies with Structural Causal Models

• arxiv url: http://arxiv.org/abs/2605.28482v1
• Date: Wed, 27 May 2026 13:41:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.08243
• Title: Rethinking Software Empirical Studies with Structural Causal Models
• Title（参考訳）: 構造因果モデルによるソフトウェア実証研究の再考
• Authors: Daniel Rodriguez-Cardenas, Aya Garryyeva, David Nader Palacio, Antonio Mastropaolo, Denys Poshyvanyk,
• Abstract要約: 因果推論(Causal Inference)は、経験的ソフトウェアエンジニアリング(ESE)を従来の統計的アソシエーションを超えて進めるための基本的なアプローチを提供する。 本稿では,Judea Pearl の因果推論パラダイムを ESE コンテキストで運用するフレームワーク CausalSE を紹介する。
• 参考スコア（独自算出の注目度）: 12.18241004961061
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Causal Inference offers a fundamental approach for advancing empirical software engineering (ESE) beyond traditional statistical association, enabling researchers to rigorously identify and quantify causal relationships in software experiments. This paper introduces CausalSE, a framework that operationalizes Judea Pearl's causal inference paradigm in ESE context. The paper focuses on Structural Causal Models (SCMs) to address the limitations of classical statistical methods in mitigating confounding bias. Through a case study using the Galeras dataset and propensity score matching, we demonstrate how CausalSE disentangles the effect of prompt engineering strategies on code generation outcomes in a popular LLM (i.e., GPT-3). The results reveal that while associational analyses can suggest improvements in certain interventions (e.g., more complex prompts), causal analysis often does not find a significant treatment effect, highlighting the risk of false positives when confounding is not addressed. By providing a tutorial-based methodology and a real-world case study, this work equips software researchers with practical tools to design, analyze, and interpret software experiments with methodological rigor, ultimately enabling more informed and actionable conclusions in both research and practice.
• Abstract（参考訳）: 因果推論(Causal Inference)は、経験的ソフトウェアエンジニアリング(ESE)を従来の統計的アソシエーションを超えて進めるための基本的なアプローチを提供する。 本稿では,Judea Pearl の因果推論パラダイムを ESE コンテキストで運用するフレームワーク CausalSE を紹介する。 本稿では,古典的統計手法の制約を緩和する構造因果モデル(SCM)に焦点を当てた。 ガレラスデータセットと確率スコアマッチングを用いたケーススタディを通じて、CausalSEが、人気のあるLCM(GPT-3)におけるコード生成結果に対する迅速なエンジニアリング戦略の影響を解き放つ様子を実証する。 その結果、関連分析は特定の介入(例えば、より複雑なプロンプト)の改善を示唆するが、因果解析は、しばしば顕著な治療効果を見出さず、不一致に対処しない場合に偽陽性のリスクを浮き彫りにする。 この研究はチュートリアルベースの方法論と実世界のケーススタディを提供することで、ソフトウェア研究者に方法論的な厳密さでソフトウェア実験を設計、分析、解釈するための実践的なツールを提供し、究極的には研究と実践の両方においてより情報的かつ実用的な結論を可能にする。

関連論文リスト

• Exploring the Garden of Forking Paths in Empirical Software Engineering Research: A Multiverse Analysis [3.6324565773746147]
  本論文は,いわゆる多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元 9つの重要な分析的決定を、少なくとも1つの等しく防御可能な代替手段で特定する。 圧倒的多数は質的に異なる結果をもたらし、時には反対の結果ももたらした。
  論文  参考訳（メタデータ） (2025-12-09T18:47:00Z)
• Data Fusion for Partial Identification of Causal Effects [62.56890808004615]
  本稿では,研究者が重要な疑問に答えられるような,新しい部分的識別フレームワークを提案する。 因果効果は肯定的か否定的か? 本研究の枠組みをSTARプロジェクトに適用し,第3級の標準試験性能に対する教室規模の影響について検討する。
  論文  参考訳（メタデータ） (2025-05-30T07:13:01Z)
• Causal-Copilot: An Autonomous Causal Analysis Agent [25.5944359329613]
  Causal-Copilotは、専門家レベルの因果分析を運用する自律エージェントである。 自然言語によるインタラクティブな洗練をサポートし、非専門主義者の障壁を低くする。 私たちのシステムは、ドメインエキスパートのための高度な因果的手法へのアクセスを拡大する、活発なサイクルを育みます。
  論文  参考訳（メタデータ） (2025-04-17T18:05:39Z)
• The Curse of CoT: On the Limitations of Chain-of-Thought in In-Context Learning [56.574829311863446]
  CoT(Chain-of-Thought)プロンプトは,大規模言語モデル(LLM)における推論能力の向上によって広く認識されている。 我々は、CoTとその推論変異が、様々なモデルスケールやベンチマークの複雑さに対して、直接応答を一貫して過小評価していることを実証する。 パターンベースICLにおけるCoTの性能を駆動する明示的単純推論の基本的なハイブリッド機構を明らかにする。
  論文  参考訳（メタデータ） (2025-04-07T13:51:06Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
  世界の知識と論理的推論の相互作用について検討する。 最先端の大規模言語モデル(LLM)は、しばしば表面的な一般化に依存している。 タスクの単純な再構成により、より堅牢な推論行動が引き起こされることを示す。
  論文  参考訳（メタデータ） (2024-10-31T12:48:58Z)
• Revisiting Spurious Correlation in Domain Generalization [12.745076668687748]
  データ生成プロセスにおける因果関係を記述するために,構造因果モデル(SCM)を構築した。 さらに、スプリアス相関に基づくメカニズムを徹底的に分析する。 そこで本研究では,OOD一般化における共起バイアスの制御について,相対性スコア重み付き推定器を導入して提案する。
  論文  参考訳（メタデータ） (2024-06-17T13:22:00Z)
• A Second Look at the Impact of Passive Voice Requirements on Domain Modeling: Bayesian Reanalysis of an Experiment [4.649794383775257]
  我々は、受動音声がその後のドメイン・モデリング活動に与える影響について、唯一知られている制御実験を再分析する。 その結果, 原作者の観察した影響は, 以前考えられていたよりも遥かに少ないことがわかった。
  論文  参考訳（メタデータ） (2024-02-16T16:24:00Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Towards Causal Analysis of Empirical Software Engineering Data: The Impact of Programming Languages on Coding Competitions [10.51554436183424]
  本稿では,構造因果モデルに基づく新しい手法について述べる。 Code Jamにおけるプログラマのパフォーマンスに関する公開データを解析するために,これらのアイデアを適用した。 全く同じデータの純粋に関連性のある解析と因果解析の間には,かなりの差が認められた。
  論文  参考訳（メタデータ） (2023-01-18T13:46:16Z)
• A Survey on Causal Inference [64.45536158710014]
  因果推論は統計学、コンピュータ科学、教育、公共政策、経済学など、多くの分野において重要な研究トピックである。 観測データに対する様々な因果効果推定法が誕生した。
  論文  参考訳（メタデータ） (2020-02-05T21:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。