論文の概要: Towards an Understanding of Large Language Models in Software Engineering Tasks
- arxiv url: http://arxiv.org/abs/2308.11396v2
- Date: Sun, 29 Sep 2024 08:00:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 22:00:58.617386
- Title: Towards an Understanding of Large Language Models in Software Engineering Tasks
- Title(参考訳): ソフトウェア工学における大規模言語モデルの理解に向けて
- Authors: Zibin Zheng, Kaiwen Ning, Qingyuan Zhong, Jiachi Chen, Yanlin Wang, Wenqing Chen, Lianghong Guo, Weicheng Wang,
- Abstract要約: 大規模言語モデル(LLM)は、テキスト生成や推論タスクにおける驚くべきパフォーマンスのために、広く注目を集め、研究している。
コード生成などのソフトウェア工学タスクにおけるLLMの評価と最適化が研究の焦点となっている。
本稿では,LLMとソフトウェア工学を組み合わせた研究・製品について包括的に検討・検討する。
- 参考スコア(独自算出の注目度): 29.30433406449331
- License:
- Abstract: Large Language Models (LLMs) have drawn widespread attention and research due to their astounding performance in text generation and reasoning tasks. Derivative products, like ChatGPT, have been extensively deployed and highly sought after. Meanwhile, the evaluation and optimization of LLMs in software engineering tasks, such as code generation, have become a research focus. However, there is still a lack of systematic research on applying and evaluating LLMs in software engineering. Therefore, this paper comprehensively investigate and collate the research and products combining LLMs with software engineering, aiming to answer two questions: (1) What are the current integrations of LLMs with software engineering? (2) Can LLMs effectively handle software engineering tasks? To find the answers, we have collected related literature as extensively as possible from seven mainstream databases and selected 123 timely papers published starting from 2022 for analysis. We have categorized these papers in detail and reviewed the current research status of LLMs from the perspective of seven major software engineering tasks, hoping this will help researchers better grasp the research trends and address the issues when applying LLMs. Meanwhile, we have also organized and presented papers with evaluation content to reveal the performance and effectiveness of LLMs in various software engineering tasks, guiding researchers and developers to optimize.
- Abstract(参考訳): 大規模言語モデル(LLM)は、テキスト生成や推論タスクにおける驚くべきパフォーマンスのために、広く注目を集め、研究している。
ChatGPTのような派生製品は広範囲にデプロイされ、追求されている。
一方、コード生成などのソフトウェア工学タスクにおけるLLMの評価と最適化が研究の焦点となっている。
しかし、ソフトウェア工学におけるLLMの適用と評価に関する体系的な研究はいまだに存在しない。
そこで本研究では,LLMとソフトウェア工学を組み合わせた研究・製品について包括的に検討・検討し,(1)ソフトウェア工学とLLMの現在の統合はどのようなものか,という2つの疑問に答える。
2) LLM はソフトウェア工学のタスクを効果的に扱えるか?
そこで本研究では,7つの主流データベースから可能な限り関連文献を収集し,2022年から123のタイムリーな論文を抽出して分析を行った。
我々は、これらの論文を詳細に分類し、7つの主要なソフトウェアエンジニアリングタスクの観点から、LLMの現在の研究状況についてレビューし、このことが研究者が研究動向をよりよく把握し、LLMを適用する際の問題に対処するのに役立つことを期待している。
また,ソフトウェアエンジニアリングタスクにおけるLLMの性能と有効性を明らかにするために,評価内容に関する論文を整理,提示し,研究者や開発者の最適化を指導している。
関連論文リスト
- Towards Evaluation Guidelines for Empirical Studies involving LLMs [6.174354685766166]
大規模言語モデル(LLM)は、ソフトウェア工学の研究環境を変えました。
本稿では,このような研究のガイドラインを初めて提示する。
私たちのゴールは、LLMを含む高品質な実証研究において、私たちのコミュニティ標準が何であるかを共通理解するために、ソフトウェア工学研究コミュニティで議論を始めることです。
論文 参考訳(メタデータ) (2024-11-12T09:35:23Z) - From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future [15.568939568441317]
本稿では,大規模言語モデル (LLM) と LLM をベースとしたソフトウェア工学エージェントの実践とソリューションについて検討する。
特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、ソフトウェアメンテナンスの6つの主要なトピックを要約します。
我々は、使用するモデルとベンチマークについて論じ、ソフトウェア工学におけるそれらの応用と有効性について包括的に分析する。
論文 参考訳(メタデータ) (2024-08-05T14:01:15Z) - When Search Engine Services meet Large Language Models: Visions and Challenges [53.32948540004658]
本稿では,大規模言語モデルと検索エンジンの統合が,両者の相互に利益をもたらすかどうかを詳細に検討する。
LLM(Search4LLM)の改良と,LLM(LLM4Search)を用いた検索エンジン機能の向上という,2つの主要な領域に注目した。
論文 参考訳(メタデータ) (2024-06-28T03:52:13Z) - LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。
本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。
私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
論文 参考訳(メタデータ) (2024-06-24T01:30:22Z) - A Software Engineering Perspective on Testing Large Language Models: Research, Practice, Tools and Benchmarks [2.8061460833143346]
大規模言語モデル(LLM)は、スタンドアロンツールとしても、現在および将来のソフトウェアシステムのコンポーネントとしても、急速に普及しています。
LLMを2030年のハイテイクシステムや安全クリティカルシステムで使用するためには、厳格なテストを実施する必要がある。
論文 参考訳(メタデータ) (2024-06-12T13:45:45Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - A Survey on Large Language Models for Software Engineering [15.468484685849983]
大規模言語モデル(LLM)は、幅広いソフトウェア工学(SE)タスクを自動化するために使われる。
本稿では,LLMを基盤としたSEコミュニティにおける最先端の研究について概説する。
論文 参考訳(メタデータ) (2023-12-23T11:09:40Z) - Software Testing with Large Language Models: Survey, Landscape, and
Vision [32.34617250991638]
事前訓練された大規模言語モデル(LLM)は、自然言語処理と人工知能におけるブレークスルー技術として登場した。
本稿では,ソフトウェアテストにおけるLCMの利用状況について概説する。
論文 参考訳(メタデータ) (2023-07-14T08:26:12Z) - A Comprehensive Overview of Large Language Models [68.22178313875618]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。
本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文 参考訳(メタデータ) (2023-07-12T20:01:52Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳(メタデータ) (2023-05-24T10:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。