論文の概要: Replications, Revisions, and Reanalyses: Managing Empirical Evidence in Software Engineering
- arxiv url: http://arxiv.org/abs/2609.05983v1
- Date: Sat, 05 Sep 2026 08:57:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 12:07:12.391747
- Title: Replications, Revisions, and Reanalyses: Managing Empirical Evidence in Software Engineering
- Title（参考訳）: レプリケーション,リビジョン,リアナリシス - ソフトウェアエンジニアリングにおける経験的エビデンスの管理
- Abstract要約: 分散理論の妥当性は、複数の証拠の合成に由来する。
SEにおける研究合成は稀であり、ほとんどの場合、純粋な物語合成に限られる。
実証された個々のメソッドフラグメントから研究合成を行うためのフレームワークを構築するために,手法工学を適用した。
- 参考スコア（独自算出の注目度）: 6.147136878250444
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: One aspired outcome of empirical research on quantitative data is a variance theory, i.e., a quantification of the effect of an independent on a dependent variables. The validity of variance theories stems from the synthesis of multiple pieces of evidence, which increases its validity beyond the findings of a single study. However, research synthesis in SE is rare and if done mostly limited to purely narrative syntheses. At best, researchers perform meta-analyses to synthesize variance theories from several quantitative results. But even meta-analyses only produce reliable results when synthesizing exact replications yet fail to generalize from variations. We aim to extend the frontier of research synthesis beyond the state-of-the-art to systematically manage empirical evidence and its evolution. We apply method engineering to construct a framework for research synthesis from proven, individual method fragments. The framework allows researchers to put new evidence in a clear relation to an existing body of evidence and systematically expand knowledge about a studied phenomenon. We demonstrate the application of this framework to two fields of research by explicitly modeling the relationship between existing pieces of evidence. The framework puts three types of evolution of evidence into relation: (1) replications investigate the same hypothesis in a new context to improve external validity, (2) revisions challenge an existing hypothesis to improve internal validity, and (3) reanalyses replace analysis methods to improve conclusion validity. Through a systematic evolution of evidence and clear assessment criteria for each dimension of validity, the proposed framework can determine the frontier of a field of research. The framework provides a perspective to systematically evolve empirical evidence in SE, supporting more constructive and productive advances in our field.
- Abstract（参考訳）: 定量的データに関する経験的研究の結果の1つは、分散理論、すなわち依存変数に対する独立性の効果の定量化である。
分散理論の妥当性は、複数の証拠を合成することに由来する。
しかし、SEにおける研究合成は稀であり、ほとんどの場合、純粋な物語合成に限られる。
研究者はせいぜい、いくつかの定量的結果から分散理論を合成するためにメタ分析を行う。
しかし、メタ分析でさえ、正確な複製を合成してもバリエーションから一般化できない場合にのみ信頼できる結果が得られる。
我々は、経験的証拠とその進化を体系的に管理するために、最先端技術を超えて研究合成のフロンティアを拡張することを目指している。
実証された個々のメソッドフラグメントから研究合成を行うためのフレームワークを構築するために,手法工学を適用した。
この枠組みは、研究者が既存の証拠と明確な関係に新しい証拠を配置し、研究された現象に関する知識を体系的に拡張することを可能にする。
本稿では,この枠組みを2つの研究分野に適用し,既存の証拠間の関係を明示的にモデル化する。
この枠組みは,(1) 複製が外的妥当性を改善するために, 新たな文脈で同じ仮説を探索し, (2) 内部的妥当性を改善するために既存の仮説に挑戦し, (3) 分析手法を置き換え, 結論的妥当性を向上させる。
証拠の体系的な進化と妥当性の各次元に対する明確な評価基準を通じて、提案した枠組みは研究分野のフロンティアを決定することができる。
このフレームワークは、SEにおける経験的証拠を体系的に進化させる視点を提供し、我々の分野におけるより建設的で生産的な進歩をサポートする。
関連論文リスト
- EvoSCM: Scientific Belief Revision Through Causal Model Evolution and Experimentation [68.80901568810616]
EvoSCMは、新しい証拠が収集されるにつれて進化する明確な構造因果モデルを持つ科学エージェントを装備することを目的としている。
EvoSCM onPhysicsはエージェントが実験を通して非標準物理世界の隠れたダイナミクスを明らかにするのに必要なベンチマークである。
論文 参考訳（メタデータ） (2026-09-01T16:55:56Z) - SPARK: Skeleton-Guided Reasoning Synthesis from Large-Scale Scientific Literature [26.176405135367038]
SPARKはSci-Base上に構築された紙指向合成フレームワークである。
SPARKはそれぞれの論文を、その中心の主張を捉え証拠を裏付けるコンパクトな推理骨格に蒸留する。
我々はSpark-234Kという科学推論データセットを構築し、既存のリソースよりも難易度と多様性が著しく高い。
論文 参考訳（メタデータ） (2026-08-31T03:55:30Z) - HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。
HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。
報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
論文 参考訳（メタデータ） (2026-07-27T23:50:46Z) - Externalizing Research Synthesis and Validation in AI Scientists through a Research Harness [22.631467433443362]
Xcientistは、研究合成と実験的検証を検査可能な契約統治プロセスに外部化する研究ハーネスである。
Xcientistの文献は、証拠、アイデアステート、実装計画、アブレーション記録、修復痕跡を永続的な研究成果として整理している。
論文 参考訳（メタデータ） (2026-06-17T09:52:14Z) - PaperMind: Benchmarking Agentic Reasoning and Critique over Scientific Papers in Multimodal LLMs [68.27437550335709]
本稿では,研究論文に対する統合的およびエージェント指向の科学的推論を評価するためのベンチマークであるPaperMindを紹介する。
PaperMindは、農業、生物学、化学、計算機科学、医学、物理学、経済学を含む7つの領域にわたる実際の科学論文から構築されている。
複数のタスクにわたるモデル行動を分析することにより、PaperMindは統合された科学的推論行動の診断的評価を可能にする。
論文 参考訳（メタデータ） (2026-04-23T05:42:39Z) - Exploring the Garden of Forking Paths in Empirical Software Engineering Research: A Multiverse Analysis [3.6324565773746147]
本論文は,いわゆる多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元
9つの重要な分析的決定を、少なくとも1つの等しく防御可能な代替手段で特定する。
圧倒的多数は質的に異なる結果をもたらし、時には反対の結果ももたらした。
論文 参考訳（メタデータ） (2025-12-09T18:47:00Z) - SciRAG: Adaptive, Citation-Aware, and Outline-Guided Retrieval and Synthesis for Scientific Literature [52.36039386997026]
我々は科学文献探索のためのオープンソースのフレームワークであるSciRAGを紹介する。
1) 逐次的証拠収集と並列的証拠収集を柔軟に交互に交互に行う適応的検索,(2) 引用グラフを利用して文書を整理・フィルタリングする引用型記号推論,(3) 整合性と透過的帰属性を確保するために回答を計画・批評・洗練するアウトライン誘導合成,である。
論文 参考訳（メタデータ） (2025-11-18T11:09:19Z) - Replications, Revisions, and Reanalyses: Managing Variance Theories in Software Engineering [4.147594239309427]
変数理論は、1つ以上の独立変数が依存変数で生じる分散を定量化する。
ソフトウェアエンジニアリング(SE)では、分散理論は、ツールやテクニック、その他の治療がソフトウェア開発の結果に与える影響を定量化するために使われます。
論文 参考訳（メタデータ） (2024-12-17T07:56:18Z) - Causal Representation Learning from Multimodal Biomedical Observations [57.00712157758845]
バイオメディカルデータセットの理解を容易にするために,マルチモーダルデータに対するフレキシブルな識別条件と原理的手法を開発した。
主要な理論的貢献は、モジュラリティ間の因果関係の構造的空間性である。
実世界のヒト表現型データセットの結果は、確立された生物医学研究と一致している。
論文 参考訳（メタデータ） (2024-11-10T16:40:27Z) - Retrieve to Explain: Evidence-driven Predictions for Explainable Drug Target Identification [0.791663505497707]
Retrieve to Explain (R2E) は検索に基づくモデルで、可能なすべての回答をスコア付けし、ランク付けする。
R2Eはそれぞれの答えを、その裏付けとしてのみ表現し、答え自体が隠蔽されている。
薬物標的同定の挑戦的科学的発見課題としてR2Eを開発した。
論文 参考訳（メタデータ） (2024-02-06T15:13:17Z) - A Causal Framework for Decomposing Spurious Variations [68.12191782657437]
我々はマルコフモデルとセミマルコフモデルの急激な変分を分解するツールを開発する。
突発効果の非パラメトリック分解を可能にする最初の結果を証明する。
説明可能なAIや公平なAIから、疫学や医学における疑問まで、いくつかの応用がある。
論文 参考訳（メタデータ） (2023-06-08T09:40:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。