論文の概要: How Many Interviews Are Enough in a Software Engineering Study? Preliminary Findings on Sample Size and Saturation
- arxiv url: http://arxiv.org/abs/2607.12326v1
- Date: Tue, 14 Jul 2026 04:15:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.032515
- Title: How Many Interviews Are Enough in a Software Engineering Study? Preliminary Findings on Sample Size and Saturation
- Title(参考訳): ソフトウェア工学研究におけるインタビューの総数は? サンプルサイズと飽和に関する予備調査
- Abstract要約: 本稿では,経験的ソフトウェア工学研究において,インタビューサンプルの精度と飽和度がどのように運用されているかを検討する。
私たちは2016年から2025年の間に、主要なソフトウェアエンジニアリングの会場で公開された論文を分析しました。
- 参考スコア(独自算出の注目度): 2.012425476229879
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Background. Interview based studies are widely used in empirical software engineering to investigate human, organizational, and socio technical phenomena, yet interview sample adequacy and saturation are reported inconsistently across the literature. Aims. This paper investigates how interview sample adequacy and saturation are operationalized in empirical software engineering research. Method. We analyzed papers published between 2016 and 2025 across major software engineering venues, focusing on interview sample sizes, saturation discussions, and sample adequacy justifications. Results. Preliminary findings indicate substantial variation in sample sizes, from highly specialized small sample studies to broader investigations involving large interview datasets. Studies involving fewer than 12 interviewees were common and frequently associated with specialized industrial contexts or constrained organizational access. However, the most recurrent range was 13 to 24 interviewees, suggesting that moderate sized samples represent the most common configuration in empirical software engineering research. Saturation and sample adequacy justification were heterogeneous, with many studies relying on implicit or contextual reasoning rather than explicit methodological discussion. Conclusions. Our findings provide initial empirical insights into methodological reporting practices in interview based software engineering research and contribute to ongoing discussions regarding qualitative rigor and transparency.
- Abstract(参考訳): 背景。
インタビューベースの研究は、経験的ソフトウェア工学において、人間、組織、社会的な技術的現象を研究するために広く利用されているが、インタビューのサンプルの妥当性と飽和は、文献全体で矛盾している。
エイムズ。
本稿では,経験的ソフトウェア工学研究において,インタビューサンプルの精度と飽和度がどのように運用されているかを検討する。
方法。
我々は、2016年から2025年の間に、主要なソフトウェアエンジニアリングの会場で公開された論文を分析し、インタビューのサンプルサイズ、飽和に関する議論、サンプルの妥当性の正当化に焦点を当てた。
結果。
予備的な発見は、高度に専門化された小サンプル研究から、大規模なインタビューデータセットを含む広範な調査まで、サンプルサイズがかなり変化していることを示している。
12人未満のインタビュアーを含む研究は、専門的な産業状況や制約のある組織的アクセスとよく関連付けられていた。
しかし、最も頻繁な範囲は13から24人の面接者であり、中程度の大きさのサンプルは経験的ソフトウェア工学研究において最も一般的な構成であることを示唆している。
飽和度とサンプル精度の正当性は異種であり、多くの研究は明示的な方法論的議論よりも暗黙的あるいは文脈的推論に頼っていた。
結論。
本研究は,インタビューをベースとしたソフトウェア工学研究における方法論報告実践に関する実証的研究であり,質的な厳密さと透明性に関する議論に引き続き貢献している。
関連論文リスト
- The Influence of Fraudulent AI-Generated Responses on Software Engineering Surveys [3.183470571353323]
大規模言語モデル(LLM)は、ソフトウェアエンジニアリング調査への不正またはAIの支援に関する新たな懸念を導入する。
本研究は,疑わしい,あるいは潜在的にAI支援応答がソフトウェア工学調査の妥当性に与える影響について検討する。
論文 参考訳(メタデータ) (2026-07-26T19:08:31Z) - AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。
エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。
最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
論文 参考訳(メタデータ) (2026-04-28T06:05:17Z) - PaperScope: A Multi-Modal Multi-Document Benchmark for Agentic Deep Research Across Massive Scientific Papers [52.97586643334384]
本稿ではエージェントディープリサーチのベンチマークであるPaperScopeを紹介する。
3年にわたる2000以上のAI論文の知識グラフ上に構築されている。
意味的に関連するキー情報ノードを統合し、最適化されたランダムウォーク記事セレクタを使用する。
論文 参考訳(メタデータ) (2026-04-13T11:07:08Z) - Measuring the State of Open Science in Transportation Using Large Language Models [8.915048816245394]
オープンサイエンスのイニシアチブは、科学の完全性を強化し、多くの分野における研究の進歩を加速してきた。
オープンサイエンスの主要な特徴は、ここではデータとコードの可用性として定義されており、フィールド固有の複雑さのために抽出するのが困難である。
本稿では,交通研究におけるデータとコード可用性を計測する,自動かつスケーラブルな特徴抽出パイプラインを提案する。
論文 参考訳(メタデータ) (2026-01-20T19:39:52Z) - Exploring the Garden of Forking Paths in Empirical Software Engineering Research: A Multiverse Analysis [3.6324565773746147]
本論文は,いわゆる多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元
9つの重要な分析的決定を、少なくとも1つの等しく防御可能な代替手段で特定する。
圧倒的多数は質的に異なる結果をもたらし、時には反対の結果ももたらした。
論文 参考訳(メタデータ) (2025-12-09T18:47:00Z) - Beyond Memorization: Reasoning-Driven Synthesis as a Mitigation Strategy Against Benchmark Contamination [77.69093448529455]
本稿では,arXiv論文から直接研究レベルのQAを合成するために,無限にスケーラブルなフレームワークを用いて実証的研究を行う。
各種サイズ,開発者,リリース日といったモデルについて,知識カットオフ日に近い性能劣化の欠如を評価した。
合成パイプラインで要求される多段階の推論は、浅い記憶よりも深い複雑さをもたらしたと仮定する。
論文 参考訳(メタデータ) (2025-08-26T16:41:37Z) - The Quest for the Right Mediator: Surveying Mechanistic Interpretability Through the Lens of Causal Mediation Analysis [51.046457649151336]
本稿では,因果媒介分析に基づく解釈可能性研究の視点を提案する。
本稿では, 原因単位(メディエーター)の種類に応じて分類された解釈可能性の歴史と現状について述べる。
我々は,各メディエータの長所と短所について論じ,特定の種類のメディエータや検索手法が最適であるかどうかについての洞察を提供する。
論文 参考訳(メタデータ) (2024-08-02T17:51:42Z) - Meta-survey on outlier and anomaly detection [0.0]
本稿では,一般的な調査の体系的メタサーベイと,異常検出と異常検出に関するレビューを実装した。
2つの専門的な科学的な検索エンジンを使って500近い論文を集めている。
本稿は,20年間にわたる外乱検出フィールドの進化を考察し,新たなテーマと方法を明らかにする。
論文 参考訳(メタデータ) (2023-12-12T09:29:22Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - Square One Bias in NLP: Towards a Multi-Dimensional Exploration of the
Research Manifold [88.83876819883653]
我々は、最近のNLP研究論文のマニュアル分類を通して、これが事実であることを示す。
NLP研究は正方形ではなく、精度だけでなく、公平性や解釈可能性にも焦点をあてる。
論文 参考訳(メタデータ) (2022-06-20T13:04:23Z) - Exploring Context Generalizability in Citywide Crowd Mobility Prediction: An Analytic Framework and Benchmark [8.32409186492201]
本稿では,コンテキストの一般化性を評価するための統合分析フレームワークと大規模ベンチマークを提案する。
我々は,自転車の走行,地下鉄の乗客流,電気自動車の充電需要といった,群衆の移動予測タスクで実験を行った。
より多くのコンテキスト機能を使用すると、既存のコンテキストモデリング技術で予測がより良くなるとは限らない。
文脈モデリング手法では、ゲート単位を用いて生の文脈特徴を深部予測モデルに組み込むことで、優れた一般化性が得られる。
論文 参考訳(メタデータ) (2021-06-30T13:19:41Z) - Topic Space Trajectories: A case study on machine learning literature [0.0]
本稿では,研究トピックの包括的追跡を可能にする構造であるトピック空間トラジェクトリを提案する。
我々は,32の出版会場から50年間の機械学習研究を対象とする出版コーパスへのアプローチの適用性を示した。
本手法は,論文分類,今後の研究課題の予測,未発表の論文提出のための会議や雑誌の掲載を推奨するために利用することができる。
論文 参考訳(メタデータ) (2020-10-23T10:53:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。