論文の概要: LLM-Assisted Empirical Software Engineering: Systematic Literature Review and Research Agenda
- arxiv url: http://arxiv.org/abs/2604.26192v1
- Date: Wed, 29 Apr 2026 00:34:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.208753
- Title: LLM-Assisted Empirical Software Engineering: Systematic Literature Review and Research Agenda
- Title（参考訳）: LLM支援経験的ソフトウェアエンジニアリング:システム文献レビューと研究アジェンダ
- Authors: Victoria Gomes, Delaney Selb, Fabio Palomba, Rodrigo Spinola, David Lo,
- Abstract要約: 経験的ソフトウェアエンジニアリング(ESE)は、データスケール、方法論的複雑さ、関心事による課題の増加に直面します。
大きな言語モデル(LLM)は経験的をサポートするための有望なツールとして登場したが、それでもその使用は断片化されている。
本研究では,ESEにおけるLCMの使用状況,サポート対象タスクの検証,リポジトリへの統合,報告されたメリットと制限,報告範囲について分析する。
- 参考スコア（独自算出の注目度）: 11.530621491409015
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context: Empirical Software Engineering (ESE) faces increasing challenges due to data scale, methodological complexity, and reproducibility concerns. Large Language Models (LLMs) have emerged as promising tools to support empirical workflows, yet their use remains fragmented, with no comprehensive synthesis to guide responsible adoption. Aims: This study analyzes how LLMs are used in ESE, examining supported tasks, phases of the empirical lifecycle, integration into workflows, reported benefits and limitations, and the extent of reproducibility-related reporting. It also identifies gaps and future research directions. Method: We conducted a systematic literature review of peer-reviewed papers (2020-2025) across 12 leading software engineering venues, resulting in 50 primary studies analyzed through qualitative and quantitative synthesis. Results: We identified 69 LLM-assisted tasks, mainly in mining software repositories and controlled experiments, focusing on classification, filtering, and evaluation. LLMs are used across multiple phases but are concentrated in data processing and analysis. Their integration is largely automation-oriented, with limited decision-support use. Benefits emphasize efficiency and scalability, while limitations include hallucinations, inconsistency, prompt sensitivity, and reproducibility issues. Reporting practices are often incomplete. Conclusion: LLM use in ESE is growing but remains automation-driven, with gaps in human-centered integration and transparency. We outline implications and research agenda for responsible use.
- Abstract（参考訳）: コンテキスト: 経験的ソフトウェア工学(ESE)は、データスケール、方法論的複雑さ、再現性に関する懸念によって、ますます課題に直面しています。
大きな言語モデル(LLM)は実証的なワークフローをサポートするための有望なツールとして登場したが、それらの使用は断片化され、責任ある採用を導く包括的な合成は行われていない。
Aims: 本研究は,LEMがESEでどのように使用されているかを分析し,サポートされたタスク,経験的ライフサイクルのフェーズ,ワークフローへの統合,報告されたメリットと制限,再現性に関する報告の程度を分析します。
また、ギャップと将来の研究方向も特定できる。
Method: We performed a systematic literature review of peer-reviewed papers (2020-2025) across 12 leading software engineering venues, result to 50 primary study analyzed through qualitative and quantitative synthesis。
結果: 主にマイニングソフトウェアリポジトリや制御実験において, 分類, フィルタリング, 評価に重点を置いた69のLCM支援タスクを特定した。
LLMは複数のフェーズで使用されるが、データ処理と分析に集中している。
彼らの統合は主に自動化指向で、意思決定支援の使用は限られています。
利点は効率性とスケーラビリティを強調し、制限には幻覚、矛盾、迅速な感度、再現性の問題が含まれる。
報告の慣行はしばしば不完全です。
結論: ESEにおけるLLMの使用は増え続けているが、自動化駆動であり、人間中心の統合と透明性のギャップがある。
責任ある利用に関する含意と研究課題について概説する。
関連論文リスト
- AnalyticsGPT: An LLM Workflow for Scientometric Question Answering [1.5658704610960574]
AnalyticsGPTは、科学的質問応答のための、直感的で効率的な大規模言語モデル(LLM)ベースのワークフローである。
本稿では,直感的で効率的な大規模言語モデル (LLM) を用いた科学的な質問応答のためのワークフローであるAnalyticsGPTを紹介する。
論文 参考訳（メタデータ） (2026-02-10T14:23:55Z) - On the Use of a Large Language Model to Support the Conduction of a Systematic Mapping Study: A Brief Report from a Practitioner's View [2.0199251985015434]
大規模言語モデル(LLM)は大量のテキストデータとエビデンス合成のための支援方法を扱うことができる。
本稿では,LLMを用いた系統地図研究の導電性に関する経験報告を報告する。
論文 参考訳（メタデータ） (2026-02-09T15:57:30Z) - Can LLMs Clean Up Your Mess? A Survey of Application-Ready Data Preparation with LLMs [66.63911043019294]
データ準備は、生のデータセットを識別し、データセット間の関係を解明し、それらから貴重な洞察を抽出することを目的としている。
本稿では,様々な下流タスクのためのデータ準備にLLM技術を用いることに焦点を当てる。
データクリーニング、標準化、エラー処理、計算、データ統合、データ豊か化という3つの主要なタスクにフィールドを編成するタスク中心の分類を導入します。
論文 参考訳（メタデータ） (2026-01-22T12:02:45Z) - Evaluating Large Language Models for Real-World Engineering Tasks [75.97299249823972]
本稿では,実運用指向のエンジニアリングシナリオから得られた100以上の質問をキュレートしたデータベースを提案する。
このデータセットを用いて、4つの最先端の大規模言語モデル(LLM)を評価する。
以上の結果から,LLMは時間的および構造的推論において強みを示すが,抽象的推論や形式的モデリング,文脈に敏感な工学的論理にはかなり苦労することがわかった。
論文 参考訳（メタデータ） (2025-05-12T14:05:23Z) - Combating Toxic Language: A Review of LLM-Based Strategies for Software Engineering [0.49157446832511503]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)に不可欠なものとなり、開発にますます使われている。
彼らの普及した使用は、排他的環境を育む可能性のある有害なコンテンツ、有害または攻撃的なコンテンツの存在と伝播に関する懸念を提起する。
本稿では, 毒性検出と緩和に関する最近の研究を包括的に概観し, SE-specific と general-purpose の両方のデータセットに焦点をあてる。
論文 参考訳（メタデータ） (2025-04-21T21:09:33Z) - How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。
メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
論文 参考訳（メタデータ） (2025-04-10T16:14:55Z) - A Framework for Using LLMs for Repository Mining Studies in Empirical Software Engineering [12.504438766461027]
大規模言語モデル(LLM)は、ソフトウェアリポジトリを分析する革新的な方法を提供することで、ソフトウェア工学(SE)を変革した。
私たちの研究は、PRIMES(Prompt Refinement and Insights for Mining Empirical Software repository)というフレームワークをまとめています。
この結果,PRIMESの標準化により,LLMを用いた研究の信頼性と精度が向上することが示唆された。
論文 参考訳（メタデータ） (2024-11-15T06:08:57Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳（メタデータ） (2024-03-12T13:31:14Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳（メタデータ） (2023-05-24T10:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。