論文の概要: Towards Improving the External Validity of Software Engineering Experiments with Transportability Methods

• arxiv url: http://arxiv.org/abs/2604.08200v1
• Date: Thu, 09 Apr 2026 12:57:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.92456
• Title: Towards Improving the External Validity of Software Engineering Experiments with Transportability Methods
• Title（参考訳）: トランスポートビリティー手法によるソフトウェア工学実験の外部妥当性向上に向けて
• Authors: Julian Frattini, Richard Torkar, Robert Feldt, Carlo Furia,
• Abstract要約: 本稿では,輸送性手法とその前提条件について紹介し,シミュレーションによりその可能性を実証する。 次に、これらの手法が適用可能ないくつかのSE研究シナリオについて概説する。 最後に,SE研究者を支援するための道路地図と実践的ガイドラインについて概説する。
• 参考スコア（独自算出の注目度）: 3.9236728810856714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Controlled experiments are a core research method in software engineering (SE) for validating causal claims. However, recruiting a sample of participants that represents the intended target population is often difficult or expensive, which limits the external validity of experimental results. At the same time, SE researchers often have access to much larger amounts of observational than experimental data (e.g., from repositories, issue trackers, logs, surveys and industrial processes). Transportability methods combine these data from experimental and observational studies to "transport" results from the experimental sample to a broader, more representative sample of the target population. Although the ability to combine observational and experimental data in a principled way could substantially benefit empirical SE research, transportability methods have - to our knowledge - not been adopted in SE. In this vision, we aim to help make that adoption possible. To that end, we introduce transportability methods, their prerequisites, and demonstrate their potential through a simulation. We then outline several SE research scenarios in which these methods could apply, e.g., how to effectively use students as substitutes for developers. Finally, we outline a road map and practical guidelines to support SE researchers in applying them. Adopting transportability methods in SE research can strengthen the external validity of controlled experiments and help the field produce results that are both more reliable and more useful in practice.
• Abstract（参考訳）: 制御された実験は、原因的クレームを検証するためのソフトウェア工学(SE)における中核的な研究手法である。 しかし,対象とする対象集団を表す参加者のサンプルを募集することはしばしば困難あるいはコストがかかるため,実験結果の外部的妥当性が制限される。 同時に、SE研究者は、しばしば実験データ(リポジトリ、イシュートラッカ、ログ、調査、産業プロセスなど)よりもはるかに多くの観測データにアクセスできます。 トランスポートビリティー法は、実験および観測研究から得られたこれらのデータを、実験サンプルからより広範に、より代表的な対象個体への"トランスポート"結果と組み合わせる。 観測データと実験データを原則的に組み合わせることで,実証SE研究に大きく貢献するが,我々の知識に照らしてトランスポートビリティー手法はSEには採用されていない。 このビジョンでは、採用を可能にすることを目指しています。 そこで本研究では,輸送性手法とその前提条件について紹介し,シミュレーションによりその可能性を実証する。 次に、これらの手法が適用可能ないくつかのSE研究シナリオについて概説する。 最後に,SE研究者を支援するための道路地図と実践的ガイドラインについて概説する。 SE研究におけるトランスポートビリティ手法の採用は、制御された実験の外的妥当性を高め、実際により信頼性が高く、より有用な結果を生み出すのに役立つ。

関連論文リスト

• Tutorial Debriefing: Applied Statistical Causal Inference in Requirements Engineering [4.29699238971962]
  ソフトウェアエンジニアリング(SE)研究コミュニティは、ソフトウェア生産者と消費者という、我々の研究の対象とする人口の改善に貢献しようと努力しています。 研究中に得た知識を実践に移すことができれば、この改善を達成できるでしょう。 これらのコントリビューションの価値は、それらを適用することで開発プロセスやユーザエクスペリエンス、その他のパフォーマンス指標が改善されるという前提に基づいている。
  論文  参考訳（メタデータ） (2025-11-05T21:43:53Z)
• MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback [136.27567671480156]
  先行テストからのフィードバックに基づいて仮説を優先順位付けする実験誘導ランキングを導入する。 我々は、シーケンシャルな意思決定問題として実験誘導型ランキングを定めている。 我々のアプローチは、実験前のベースラインと強い改善を著しく上回る。
  論文  参考訳（メタデータ） (2025-05-23T13:24:50Z)
• Simulating Field Experiments with Large Language Models [0.6144680854063939]
  本稿では,大規模言語モデル(LLM)のフィールド実験への応用を先導する。 観測者モードと参加者モードという2つの新しいプロンプト戦略を導入することで、複雑なフィールド設定において、結果の予測と参加者応答の再現の両方を行うLLMの能力を実証する。 以上の結果から,特定のシナリオにおいて実際の実験結果と良好な一致を示し,観察モードでは66%の刺激精度が得られた。
  論文  参考訳（メタデータ） (2024-08-19T03:41:43Z)
• Adaptive Instrument Design for Indirect Experiments [48.815194906471405]
  RCTとは異なり、間接的な実験は条件付き機器変数を利用して治療効果を推定する。 本稿では,データ収集ポリシーを適応的に設計することで,間接実験におけるサンプル効率の向上に向けた最初のステップについて述べる。 我々の主な貢献は、影響関数を利用して最適なデータ収集ポリシーを探索する実用的な計算手順である。
  論文  参考訳（メタデータ） (2023-12-05T02:38:04Z)
• Opportunities for Adaptive Experiments to Enable Continuous Improvement in Computer Science Education [7.50867730317249]
  適応実験では、異なる条件が学生に展開されるにつれて、データを分析・活用する。 これらのアルゴリズムは、その後の学生との相互作用において最も効果的な条件を動的に展開することができる。 本研究は, ブリッジング研究における適応実験の重要性を探求し, 継続的な改善を実現するための方法である。
  論文  参考訳（メタデータ） (2023-10-18T20:54:59Z)
• A Double Machine Learning Approach to Combining Experimental and Observational Data [58.05402364136958]
  実験と観測を組み合わせた二重機械学習手法を提案する。 本フレームワークは, より軽度な仮定の下で, 外部の妥当性と無知性に対するファルシフィケーションテストを提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。