論文の概要: A Call for Critically Rethinking and Reforming Data Analysis in Empirical Software Engineering

• arxiv url: http://arxiv.org/abs/2501.12728v1
• Date: Wed, 22 Jan 2025 09:05:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:53:45.264736
• Title: A Call for Critically Rethinking and Reforming Data Analysis in Empirical Software Engineering
• Title（参考訳）: 経験的ソフトウェア工学におけるデータ分析の批判的再考と改革の呼びかけ
• Authors: Matteo Esposito, Mikel Robredo, Murali Sridharan, Guilherme Horta Travassos, Rafael Peñaloza, Valentina Lenarduzzi,
• Abstract要約: 経験的方法論の正しい適用に関する懸念は、2006年のDagtuhl Seminar on Empirical Software Engineeringから存在する。 LLMを用いて,27,000件の実証研究の文献調査を行い,統計的方法論を適切あるいは不十分と分類した。 我々は,30の初等研究を選定し,統計問題を特定し,解決する能力を評価するために,33人のESE専門家とワークショップを開催した。
• 参考スコア（独自算出の注目度）: 5.687882380471718
• License:
• Abstract: Context: Empirical Software Engineering (ESE) drives innovation in SE through qualitative and quantitative studies. However, concerns about the correct application of empirical methodologies have existed since the 2006 Dagstuhl seminar on SE. Objective: To analyze three decades of SE research, identify mistakes in statistical methods, and evaluate experts' ability to detect and address these issues. Methods: We conducted a literature survey of ~27,000 empirical studies, using LLMs to classify statistical methodologies as adequate or inadequate. Additionally, we selected 30 primary studies and held a workshop with 33 ESE experts to assess their ability to identify and resolve statistical issues. Results: Significant statistical issues were found in the primary studies, and experts showed limited ability to detect and correct these methodological problems, raising concerns about the broader ESE community's proficiency in this area. Conclusions. Despite our study's eventual limitations, its results shed light on recurring issues from promoting information copy-and-paste from past authors' works and the continuous publication of inadequate approaches that promote dubious results and jeopardize the spread of the correct statistical strategies among researchers. Besides, it justifies further investigation into empirical rigor in software engineering to expose these recurring issues and establish a framework for reassessing our field's foundation of statistical methodology application. Therefore, this work calls for critically rethinking and reforming data analysis in empirical software engineering, paving the way for our work soon.
• Abstract（参考訳）: コンテキスト: 経験的ソフトウェア工学(ESE)は質的かつ定量的な研究を通じてSEのイノベーションを推進します。 しかし、経験的方法論の正しい適用に関する懸念は、2006年のDagtuhl seminar on SEから存在する。 目的:30年間のSE研究を分析し、統計手法の誤りを特定し、これらの問題を検出し、対処する専門家の能力を評価する。 方法: 統計的方法論を適切あるいは不十分と分類するために, LLMを用いて, 約27,000の実証的研究の文献調査を行った。 さらに,30のプライマリスタディを選定し,統計問題を特定し,解決する能力を評価するために,33のESE専門家とともにワークショップを開催した。 結果: 基礎研究では有意な統計的問題がみられ, 専門家はこれらの方法論的問題を検出し, 修正する能力に限界を示し, この分野におけるESEコミュニティの幅広い習熟度に関する懸念を提起した。 結論。 結果, 過去の著者の著作からの情報コピー・アンド・ペーストを推進し, 疑わしい結果を促進し, 正確な統計戦略の普及を危うくする不適切なアプローチを継続的に発表することから, 繰り返しの問題に光を当てた。 さらに、ソフトウェア工学における経験的厳密性に関するさらなる調査を正当化し、これらの繰り返し問題を明らかにし、我々の分野の統計方法論アプリケーションの基礎を再評価する枠組みを確立する。 したがって、この研究は経験的ソフトウェア工学におけるデータ分析を批判的に再考し、改革することを求めている。

関連論文リスト

• A Comprehensive Survey on Evidential Deep Learning and Its Applications [64.83473301188138]
  Evidential Deep Learning (EDL)は、単一のフォワードパスで最小限の追加計算で信頼性の高い不確実性推定を提供する。 まず、主観的論理理論であるEDLの理論的基礎を掘り下げ、他の不確実性推定フレームワークとの区別について議論する。 さまざまな機械学習パラダイムや下流タスクにまたがる広範な応用について詳しく述べる。
  論文  参考訳（メタデータ） (2024-09-07T05:55:06Z)
• Teaching Software Metrology: The Science of Measurement for Software Engineering [10.23712090082156]
  この章は測定の科学における重要な概念をレビューし、それらをソフトウェア工学の研究に適用する。 読者の研究に重要な測定概念を適用するための一連の演習を含む。
  論文  参考訳（メタデータ） (2024-06-20T16:57:23Z)
• Lazy Data Practices Harm Fairness Research [49.02318458244464]
  本稿では,公正な機械学習データセットを包括的に分析し,不反射的手法がアルゴリズム的公正度発見の到達度と信頼性をいかに妨げているかを示す。 本分析では,(1)データと評価における特定の保護属性の表現のテクスブフラック,(2)データ前処理におけるマイノリティの広汎なテキストbf,(3)フェアネス研究の一般化を脅かすテキストbfopaqueデータ処理の3つの分野について検討した。 この研究は、公正なMLにおけるデータプラクティスの批判的な再評価の必要性を強調し、データセットのソーシングと使用の両方を改善するための指針を提供する。
  論文  参考訳（メタデータ） (2024-04-26T09:51:24Z)
• Privacy Impact Assessments in the Wild: A Scoping Review [1.7677916783208343]
  プライバシ・インパクト・アセスメント(PIAs)は、プロジェクトやシステムのプライバシ・インパクトを評価するための体系的なプロセスを提供する。 PIAは、設計によるプライバシに対する主要なアプローチの1つであり、脅威とコントロールの早期識別をサポートする。 質的かつ定量的な、このトピックに関するより基本的な研究には、依然として大きなニーズがある。
  論文  参考訳（メタデータ） (2024-02-17T05:07:10Z)
• SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models [70.5763210869525]
  拡張ベンチマークスイートSciBench for Large Language Model (LLM)を導入する。 SciBenchには、数学、化学、物理学の分野から、さまざまな大学レベルの科学的問題を含むデータセットが含まれている。 その結果、現在のLLMは満足のいく性能を達成できないことが判明し、全体のスコアは43.22%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-07-20T07:01:57Z)
• A Diachronic Analysis of Paradigm Shifts in NLP Research: When, How, and Why? [84.46288849132634]
  本稿では、因果発見と推論技術を用いて、科学分野における研究トピックの進化を分析するための体系的な枠組みを提案する。 我々は3つの変数を定義し、NLPにおける研究トピックの進化の多様な側面を包含する。 我々は因果探索アルゴリズムを用いてこれらの変数間の因果関係を明らかにする。
  論文  参考訳（メタデータ） (2023-05-22T11:08:00Z)
• Measuring Bias in AI Models: An Statistical Approach Introducing N-Sigma [19.072543709069087]
  自動意思決定システムにおけるバイアスを測定する統計的アプローチを解析する。 我々は,N-Sigma法に基づく統計的手法を用いて,機械学習モデルのバイアスを測定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-26T16:49:25Z)
• Applications of statistical causal inference in software engineering [2.969705152497174]
  本稿では,統計的因果推論手法を適用したソフトウェア工学における既存の研究を概観する。 その結果,統計的因果推論手法の適用は比較的最近であり,それに対応する研究コミュニティは比較的断片的であることがわかった。
  論文  参考訳（メタデータ） (2022-11-21T14:16:55Z)
• Differential privacy and robust statistics in high dimensions [49.50869296871643]
  高次元Propose-Test-Release (HPTR) は指数的メカニズム、頑健な統計、Propose-Test-Release メカニズムという3つの重要なコンポーネントの上に構築されている。 本論文では,HPTRが複数のシナリオで最適サンプル複雑性をほぼ達成していることを示す。
  論文  参考訳（メタデータ） (2021-11-12T06:36:40Z)
• Targeting Learning: Robust Statistics for Reproducible Research [1.1455937444848387]
  ターゲティング・ラーニング(Targeted Learning)は、因果推論、機械学習、統計理論の進歩を統一して、科学的に影響のある質問に統計的信頼性で答えるのに役立つ統計分野である。 ターゲット学習のロードマップは、仮説を最小化し、利用可能な科学的知識にのみ注意深く根ざすように、統計的手続きを調整することを強調する。
  論文  参考訳（メタデータ） (2020-06-12T17:17:01Z)
• A Survey on Causal Inference [64.45536158710014]
  因果推論は統計学、コンピュータ科学、教育、公共政策、経済学など、多くの分野において重要な研究トピックである。 観測データに対する様々な因果効果推定法が誕生した。
  論文  参考訳（メタデータ） (2020-02-05T21:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。