論文の概要: Large Language Models for Software Engineering: A Systematic Literature
Review
- arxiv url: http://arxiv.org/abs/2308.10620v2
- Date: Mon, 28 Aug 2023 06:07:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 20:46:21.125677
- Title: Large Language Models for Software Engineering: A Systematic Literature
Review
- Title(参考訳): ソフトウェア工学のための大規模言語モデル:体系的文献レビュー
- Authors: Xinyi Hou, Yanjie Zhao, Yue Liu, Zhou Yang, Kailong Wang, Li Li, Xiapu
Luo, David Lo, John Grundy, Haoyu Wang
- Abstract要約: 大規模言語モデル(LLM)は、ソフトウェア工学(SE)を含む多くの領域に大きな影響を与えている。
我々は、2017年から2023年までの合計229の研究論文を収集し、分析し、4つの重要な研究質問(RQ)に答える。
現状と動向、既存研究のギャップの特定、今後の研究に期待できる領域のフラグ付けなどについて論じる。
- 参考スコア(独自算出の注目度): 35.260023199700306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have significantly impacted numerous domains,
including Software Engineering (SE). Many recent publications have explored
LLMs applied to various SE tasks and applications. Nevertheless, a
comprehensive understanding of the application, effects, and possible
limitations of LLMs on SE is still in its early stages. To bridge this gap, we
conducted a systematic literature review on the intersection of LLMs and SE,
with a particular focus on understanding how LLMs can be exploited in SE to
optimize processes and outcomes. We collect and analyze a total of 229 research
papers from 2017 to 2023 to answer four key research questions (RQs). In RQ1,
we categorize and provide a comparative analysis of different LLMs that have
been employed in SE tasks, characterising their distinctive features and uses.
In RQ2, we analyse the methods used in data collection, preprocessing, and
application highlighting the role of robust, well-curated datasets for
successful LLM for SE implementation. RQ3 investigates the strategies employed
to optimize and evaluate the performance of LLMs in SE, as well as the common
techniques related to prompt optimization. Finally, RQ4 examines the specific
SE tasks where LLMs have shown success to date, illustrating their practical
contributions to the field. From the answers to these RQs, we discuss the
current state-of-the-art and trends, identifying gaps in existing research, and
flagging promising areas for future study.
- Abstract(参考訳): 大規模言語モデル(llm)は、ソフトウェア工学(se)を含む多くのドメインに大きな影響を与えてきた。
最近の多くの出版物は、様々なSEタスクや応用に適用されたLSMを探索している。
それでも、SE 上の LLM の応用、効果、および可能な制限に関する包括的な理解はまだ初期段階にある。
このギャップを埋めるため,我々はllmとseの交点に関する体系的文献レビューを行い,特にプロセスと成果を最適化するためにseでllmをどのように活用できるかを理解することに焦点を当てた。
2017年から2023年までの229の研究論文を収集・分析し,4つの研究課題(rqs)に回答した。
RQ1では、SEタスクに使われている異なるLLMを分類し、比較分析し、それらの特徴と用途を特徴付ける。
RQ2では、データ収集、前処理、アプリケーションで使われる手法を分析し、SE実装を成功させるために、堅牢でよく計算されたデータセットの役割を強調します。
RQ3 では,SE における LLM の性能を最適化・評価するための戦略と,迅速な最適化に関する共通技術について検討している。
最後に、RQ4は、LLMがこれまで成功してきた特定のSEタスクを調べ、その分野への実践的な貢献を説明する。
これらのRQに対する回答から、現状とトレンド、既存の研究のギャップの特定、今後の研究に期待できる領域のフラグ付けなどについて議論する。
関連論文リスト
- Automated Commit Message Generation with Large Language Models: An Empirical Study and Beyond [24.151927600694066]
コミットメッセージ生成(CMG)アプローチは、与えられたコード差分に基づいてコミットメッセージを自動的に生成することを目的としている。
本稿では,Large Language Models (LLMs) を用いて高品質なコミットメッセージの生成にどの程度の期間を費やしてきたかを調べるための,最初の包括的な実験を行う。
論文 参考訳(メタデータ) (2024-04-23T08:24:43Z) - Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文 参考訳(メタデータ) (2024-03-09T07:01:44Z) - Benchmarking LLMs on the Semantic Overlap Summarization Task [9.656095701778975]
本稿では,セマンティック・オーバーラップ・サマリゼーション(SOS)タスクにおいて,Large Language Models (LLM) を包括的に評価する。
本稿では, ROUGE, BERTscore, SEM-F1$などの定評ある指標を, 2種類の代替物語のデータセット上で報告する。
論文 参考訳(メタデータ) (2024-02-26T20:33:50Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When
and What to Retrieve for LLMs [64.0049955128318]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳(メタデータ) (2024-02-19T11:11:08Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - A Survey on Large Language Models for Software Engineering [16.134715510164366]
大規模言語モデル(LLM)は、幅広いソフトウェア工学(SE)タスクを自動化するために使われる。
LLMベースのSEコミュニティにおける最先端の研究を要約するために、系統的な調査を行う。
本稿では,LLMが一般的に用いられている最近のSE研究について,43の特定のコード関連タスクに関する155の研究を含む詳細な要約を行う。
論文 参考訳(メタデータ) (2023-12-23T11:09:40Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳(メタデータ) (2023-10-11T14:18:03Z) - Large Language Models as Data Preprocessors [10.914067455923847]
OpenAIのGPTシリーズとMetaのLLaMAに代表されるLarge Language Models (LLMs)は、人工知能において大きな進歩を遂げている。
この研究は、LLMの応用を拡大し、データ前処理におけるその可能性を探る。
我々は,最先端のプロンプト技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-30T23:28:43Z) - Towards an Understanding of Large Language Models in Software
Engineering Tasks [32.09925582943177]
大規模言語モデル(LLM)は、テキスト生成や推論といったタスクにおける驚くべき性能のために、広く注目され、研究されている。
本論文は, LLMとソフトウェア工学を組み合わせた研究・製品について, 総合的に調査し, 検討した最初の論文である。
我々は7つの主流データベースから関連文献を広範囲に収集し、分析のために123の論文を選択した。
論文 参考訳(メタデータ) (2023-08-22T12:37:29Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳(メタデータ) (2023-05-24T10:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。