論文の概要: A Survey on Large Language Models for Software Engineering
- arxiv url: http://arxiv.org/abs/2312.15223v1
- Date: Sat, 23 Dec 2023 11:09:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 19:14:51.282751
- Title: A Survey on Large Language Models for Software Engineering
- Title（参考訳）: ソフトウェア工学における大規模言語モデルの検討
- Authors: Quanjun Zhang, Chunrong Fang, Yang Xie, Yaxin Zhang, Yun Yang, Weisong
Sun, Shengcheng Yu, Zhenyu Chen
- Abstract要約: 大規模言語モデル(LLM)は、幅広いソフトウェア工学(SE)タスクを自動化するために使われる。
LLMベースのSEコミュニティにおける最先端の研究を要約するために、系統的な調査を行う。
本稿では,LLMが一般的に用いられている最近のSE研究について,43の特定のコード関連タスクに関する155の研究を含む詳細な要約を行う。
- 参考スコア（独自算出の注目度）: 16.134715510164366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software Engineering (SE) is the systematic design, development, and
maintenance of software applications, underpinning the digital infrastructure
of our modern mainworld. Very recently, the SE community has seen a rapidly
increasing number of techniques employing Large Language Models (LLMs) to
automate a broad range of SE tasks. Nevertheless, existing information of the
applications, effects, and possible limitations of LLMs within SE is still not
well-studied.
In this paper, we provide a systematic survey to summarize the current
state-of-the-art research in the LLM-based SE community. We summarize 30
representative LLMs of Source Code across three model architectures, 15
pre-training objectives across four categories, and 16 downstream tasks across
five categories. We then present a detailed summarization of the recent SE
studies for which LLMs are commonly utilized, including 155 studies for 43
specific code-related tasks across four crucial phases within the SE workflow.
Besides, we summarize existing attempts to empirically evaluate LLMs in SE,
such as benchmarks, empirical studies, and exploration of SE education. We also
discuss several critical aspects of optimization and applications of LLMs in
SE, such as security attacks, model tuning, and model compression. Finally, we
highlight several challenges and potential opportunities on applying LLMs for
future SE studies, such as exploring domain LLMs and constructing clean
evaluation datasets. Overall, our work can help researchers gain a
comprehensive understanding about the achievements of the existing LLM-based SE
studies and promote the practical application of these techniques. Our
artifacts are publicly available and will continuously updated at the living
repository: \url{https://github.com/iSEngLab/AwesomeLLM4SE}.
- Abstract（参考訳）: ソフトウェアエンジニアリング(SE)は、ソフトウェアアプリケーションの体系的な設計、開発、保守であり、現代の主要世界のデジタルインフラを支えています。
つい最近、SEコミュニティは広範囲のSEタスクを自動化するためにLLM(Large Language Models)を使用する技術が急速に増えているのを見た。
それでも、SE 内の LLM のアプリケーション、エフェクト、および可能な制限に関する既存の情報は、まだ十分に研究されていない。
本稿では,LLM ベースの SE コミュニティにおける現状研究を要約する体系的な調査を行う。
3つのモデルアーキテクチャにまたがる30の代表的なLLM,4つのカテゴリにまたがる15の事前学習目標,5つのカテゴリにまたがる16のダウンストリームタスクをまとめた。
次に、LLMが一般的に利用される最近のSE研究を詳細に要約し、SEワークフロー内の4つの重要なフェーズにわたる43の特定のコード関連タスクに関する155の研究を含む。
さらに、ベンチマーク、実証研究、SE教育の探索など、SEにおけるLLMを実証的に評価するための既存の試みを要約する。
また,セキュリティアタックやモデルチューニング,モデル圧縮など,seにおけるllmの最適化と応用に関するいくつかの重要な側面についても論じる。
最後に,ドメインLLMの探索やクリーンな評価データセットの構築など,将来のSE研究にLLMを適用する上での課題と可能性について述べる。
本研究は,既存のLLMベースのSE研究の成果を総合的に理解し,これらの手法の実用化を促進する上で有効である。
私たちのアーティファクトは公開されており、リビングリポジトリで継続的に更新されます。
関連論文リスト
- Agents in Software Engineering: Survey, Landscape, and Vision [46.021478509599895]
大規模言語モデル(LLM)は目覚ましい成功を収め、下流の様々なタスクで広く使われてきた。
LLMとソフトウェア工学(SE)を組み合わせた多くの研究では、明示的にも暗黙的にもエージェントの概念が採用されている。
本稿では,知覚,記憶,行動の3つの重要なモジュールを含む,SE における LLM ベースのエージェントのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-13T17:55:58Z) - From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future [15.568939568441317]
本稿では,大規模言語モデル (LLM) と LLM をベースとしたソフトウェア工学エージェントの実践とソリューションについて検討する。
特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、ソフトウェアメンテナンスの6つの主要なトピックを要約します。
我々は、使用するモデルとベンチマークについて論じ、ソフトウェア工学におけるそれらの応用と有効性について包括的に分析する。
論文 参考訳（メタデータ） (2024-08-05T14:01:15Z) - Large Language Models as Software Components: A Taxonomy for LLM-Integrated Applications [0.0]
大規模言語モデル(LLM)が最近広く採用されている。自律エージェントやソフトウェア工学のツールとしての利用について調査している。
一方、LLMの統合されたアプリケーションは、LLMを利用してタスクを実行するソフトウェアシステムである。
本研究は,LLM統合アプリケーションに対する分類学を提供し,これらのシステムの解析と記述のためのフレームワークを提供する。
論文 参考訳（メタデータ） (2024-06-13T21:32:56Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳（メタデータ） (2024-02-09T05:37:09Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳（メタデータ） (2023-10-11T14:18:03Z) - Towards an Understanding of Large Language Models in Software Engineering Tasks [29.30433406449331]
大規模言語モデル(LLM)は、テキスト生成や推論タスクにおける驚くべきパフォーマンスのために、広く注目を集め、研究している。
コード生成などのソフトウェア工学タスクにおけるLLMの評価と最適化が研究の焦点となっている。
本稿では,LLMとソフトウェア工学を組み合わせた研究・製品について包括的に検討・検討する。
論文 参考訳（メタデータ） (2023-08-22T12:37:29Z) - Large Language Models for Software Engineering: A Systematic Literature Review [34.12458948051519]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)を含む多くの領域に大きな影響を与えている。
我々は、2017年1月から2024年1月までの395件の研究論文を選定、分析し、4つの重要な研究質問(RQ)に答える。
これらのRQに対する回答から、現在の最先端とトレンド、既存の研究のギャップの特定、今後の研究に向けた有望な領域のフラグ付けなどについて論じる。
論文 参考訳（メタデータ） (2023-08-21T10:37:49Z) - A Comprehensive Overview of Large Language Models [68.22178313875618]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。
本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文 参考訳（メタデータ） (2023-07-12T20:01:52Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳（メタデータ） (2023-05-24T10:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。