論文の概要: Oops!... I did it again. Conclusion (In-)Stability in Quantitative Empirical Software Engineering: A Large-Scale Analysis
- arxiv url: http://arxiv.org/abs/2510.06844v1
- Date: Wed, 08 Oct 2025 10:11:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-09 16:41:20.415794
- Title: Oops!... I did it again. Conclusion (In-)Stability in Quantitative Empirical Software Engineering: A Large-Scale Analysis
- Title（参考訳）: Oops! ... もう一度やった。定量経験的ソフトウェアエンジニアリングにおける結論(In-)安定性:大規模分析
- Authors: Nicole Hoess, Carlos Paradis, Rick Kazman, Wolfgang Mauerer,
- Abstract要約: ソフトウェアリポジトリのマイニングは、ソフトウェアプロジェクトの進化に関する洞察を得るための一般的な方法である。
本研究では、進化的ソフトウェア解析のための複雑なツールパイプラインの妥当性に対するいくつかの脅威について検討する。
- 参考スコア（独自算出の注目度）: 5.94721915761333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context: Mining software repositories is a popular means to gain insights into a software project's evolution, monitor project health, support decisions and derive best practices. Tools supporting the mining process are commonly applied by researchers and practitioners, but their limitations and agreement are often not well understood. Objective: This study investigates some threats to validity in complex tool pipelines for evolutionary software analyses and evaluates the tools' agreement in terms of data, study outcomes and conclusions for the same research questions. Method: We conduct a lightweight literature review to select three studies on collaboration and coordination, software maintenance and software quality from high-ranked venues, which we formally replicate with four independent, systematically selected mining tools to quantitatively and qualitatively compare the extracted data, analysis results and conclusions. Results: We find that numerous technical details in tool design and implementation accumulate along the complex mining pipelines and can cause substantial differences in the extracted baseline data, its derivatives, subsequent results of statistical analyses and, under specific circumstances, conclusions. Conclusions: Users must carefully choose tools and evaluate their limitations to assess the scope of validity in an adequate way. Reusing tools is recommended. Researchers and tool authors can promote reusability and help reducing uncertainties by reproduction packages and comparative studies following our approach.
- Abstract（参考訳）: コンテキスト: ソフトウェアリポジトリのマイニングは、ソフトウェアプロジェクトの進化に関する洞察を得て、プロジェクトの健全性を監視し、意思決定をサポートし、ベストプラクティスを導出する一般的な方法です。
採掘プロセスを支援するツールは研究者や実践者によって一般的に適用されているが、その制限や合意はよく理解されていない。
目的: 本研究は, 進化的ソフトウェア解析のための複雑なツールパイプラインの妥当性を検証し, ツールの合意をデータ, 結果, 結論の観点から評価する。
方法: 高階の会場から, 協力・調整・ソフトウェア保守・ソフトウェア品質の3つの研究を選考し, 4つの独立した, 体系的に選択されたマイニングツールを用いて, 抽出したデータ, 分析結果, 結論を定量的・質的に比較した。
結果: ツール設計と実装に関する多くの技術的詳細が複雑な採掘パイプラインに沿って蓄積され, 抽出したベースラインデータ, 誘導体, その後の統計分析結果, 具体的な状況下での結論にかなりの差が生じることが判明した。
結論: ユーザはツールを慎重に選択し,有効範囲を適切な方法で評価するために,その制限を評価する必要がある。
ツールの再利用が推奨されている。
研究者やツール作者は、再利用可能性を促進し、再現パッケージによる不確実性を低減し、我々のアプローチによる比較研究を支援することができる。
関連論文リスト
- Toward Effective Tool-Integrated Reasoning via Self-Evolved Preference Learning [68.89572566071575]
Tool-Integrated Reasoning (TIR)により、大きな言語モデル(LLM)は、外部ツールを統合することで、内部推論能力を改善することができる。
提案するTool-Lightは,LDMがTIRを効率的にかつ正確に実行できるようにするためのフレームワークである。
10個のデータセットの実験結果は、ツールライトの有効性を示している。
論文 参考訳（メタデータ） (2025-09-27T12:53:37Z) - Does the Tool Matter? Exploring Some Causes of Threats to Validity in Mining Software Repositories [9.539825294372786]
10の大規模なソフトウェアプロジェクトを抽出し分析するために、2つのツールを使用します。
同様の傾向にもかかわらず、コミット数や開発者の数のような単純なメトリクスでさえ、最大500%の違いがある。
このような大きな違いは、しばしば小さな技術的な詳細によって引き起こされる。
論文 参考訳（メタデータ） (2025-01-25T07:42:56Z) - A Computational Method for Measuring "Open Codes" in Qualitative Analysis [44.39424825305388]
本稿では,人間と生成AI(GAI)による帰納的符号化結果を測定するための理論インフォームド計算手法を提案する。
これは、各コーダのコントリビューションを、Coverage、Overlap、Noverety、Divergenceの4つの新しいメトリクスを使用して、マージした結果に対して測定する。
本研究は,人間とAIの質的分析における方法論的厳密性を確保するための信頼性の高い経路を提供する。
論文 参考訳（メタデータ） (2024-11-19T00:44:56Z) - Data Analysis in the Era of Generative AI [56.44807642944589]
本稿では,AIを活用したデータ分析ツールの可能性について考察する。
我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。
次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
論文 参考訳（メタデータ） (2024-09-27T06:31:03Z) - Efficacy of static analysis tools for software defect detection on open-source projects [0.0]
この調査では、SonarQube、PMD、Checkstyle、FindBugsといった一般的な分析ツールを使って比較を行った。
その結果,SonarQubeの欠陥検出は,他のツールと比較してかなり優れていることがわかった。
論文 参考訳（メタデータ） (2024-05-20T19:05:32Z) - Toward Unified Practices in Trajectory Prediction Research on Bird's-Eye-View Datasets [3.1406146587437904]
高品質なデータセットの可用性は、自動運転車の行動予測アルゴリズムの開発に不可欠である。
本稿では,動き予測研究における特定のデータセットの利用の標準化の必要性を強調した。
これを実現するためのツールとプラクティスのセットを提案します。
論文 参考訳（メタデータ） (2024-05-01T16:17:39Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Distributed intelligence on the Edge-to-Cloud Continuum: A systematic
literature review [62.997667081978825]
このレビューは、現在利用可能な機械学習とデータ分析のための最先端ライブラリとフレームワークに関する包括的なビジョンを提供することを目的としている。
現在利用可能なEdge-to-Cloud Continuumに関する実験的な研究のための、主要なシミュレーション、エミュレーション、デプロイメントシステム、テストベッドも調査されている。
論文 参考訳（メタデータ） (2022-04-29T08:06:05Z) - Open Source Software for Efficient and Transparent Reviews [0.11179881480027788]
ASReviewはオープンソースの機械学習支援パイプラインで、アクティブラーニングを適用している。
シミュレーションにより,ASReviewは手作業によるレビューよりもはるかに効率的なレビューを実現することができることを示す。
論文 参考訳（メタデータ） (2020-06-22T11:57:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。