論文の概要: From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future
- arxiv url: http://arxiv.org/abs/2408.02479v1
- Date: Mon, 5 Aug 2024 14:01:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 13:26:57.542794
- Title: From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future
- Title（参考訳）: LLMからLLMベースのソフトウェアエンジニアリングエージェントへ:現状と課題と将来
- Authors: Haolin Jin, Linghan Huang, Haipeng Cai, Jun Yan, Bo Li, Huaming Chen,
- Abstract要約: 本稿では,大規模言語モデル (LLM) と LLM をベースとしたソフトウェア工学エージェントの実践とソリューションについて検討する。
特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、ソフトウェアメンテナンスの6つの主要なトピックを要約します。
我々は、使用するモデルとベンチマークについて論じ、ソフトウェア工学におけるそれらの応用と有効性について包括的に分析する。
- 参考スコア（独自算出の注目度）: 15.568939568441317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rise of large language models (LLMs), researchers are increasingly exploring their applications in var ious vertical domains, such as software engineering. LLMs have achieved remarkable success in areas including code generation and vulnerability detection. However, they also exhibit numerous limitations and shortcomings. LLM-based agents, a novel tech nology with the potential for Artificial General Intelligence (AGI), combine LLMs as the core for decision-making and action-taking, addressing some of the inherent limitations of LLMs such as lack of autonomy and self-improvement. Despite numerous studies and surveys exploring the possibility of using LLMs in software engineering, it lacks a clear distinction between LLMs and LLM based agents. It is still in its early stage for a unified standard and benchmarking to qualify an LLM solution as an LLM-based agent in its domain. In this survey, we broadly investigate the current practice and solutions for LLMs and LLM-based agents for software engineering. In particular we summarise six key topics: requirement engineering, code generation, autonomous decision-making, software design, test generation, and software maintenance. We review and differentiate the work of LLMs and LLM-based agents from these six topics, examining their differences and similarities in tasks, benchmarks, and evaluation metrics. Finally, we discuss the models and benchmarks used, providing a comprehensive analysis of their applications and effectiveness in software engineering. We anticipate this work will shed some lights on pushing the boundaries of LLM-based agents in software engineering for future research.
- Abstract（参考訳）: 大規模言語モデル(LLM)の台頭に伴い、研究者たちは、ソフトウェア工学などの様々な分野において、その応用を模索している。
LLMはコード生成や脆弱性検出といった分野で大きな成功を収めています。
しかし、それらはまた、多くの制限と欠点も示している。
人工知能(AGI)の可能性を秘めた新しい技術ノロジーであるLLMベースのエージェントは、LLMを意思決定とアクションテイクのコアとして組み合わせ、自律性の欠如や自己改善といったLLMの本質的な制限に対処する。
ソフトウェア工学でLLMを使用する可能性を探る多くの研究や調査にもかかわらず、LLMとLLMベースのエージェントを明確に区別するものではない。
統一標準とLLMソリューションを LLM ベースのエージェントとして評価するためのベンチマークはまだ初期段階にある。
本研究では,ソフトウェア工学におけるLLMとLLMをベースとしたエージェントの現在の実践と解決策を幅広く検討する。
特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、ソフトウェアメンテナンスの6つの主要なトピックを要約します。
これらの6つのトピックからLLMとLLMをベースとしたエージェントの作業について,タスク,ベンチマーク,評価指標の相違点と類似点について検討し,評価を行った。
最後に、使用するモデルとベンチマークについて論じ、ソフトウェア工学におけるそれらの応用と有効性について包括的に分析する。
我々はこの研究が将来の研究のために、ソフトウェア工学におけるLLMベースのエージェントの境界を推し進めることに光を当てることを期待している。
関連論文リスト
- Large Language Model-Based Agents for Software Engineering: A Survey [20.258244647363544]
近年のLarge Language Models(LLM)の進歩は、AIエージェント、すなわちLLMベースのエージェントの新しいパラダイムを形成している。
我々は106の論文を収集し、それらを2つの視点、すなわちSEとエージェントの観点から分類する。
さらに、この重要な領域におけるオープンな課題と今後の方向性についても論じる。
論文 参考訳（メタデータ） (2024-09-04T15:59:41Z) - Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。
LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。
本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文 参考訳（メタデータ） (2024-06-20T13:08:09Z) - Large Language Models as Software Components: A Taxonomy for LLM-Integrated Applications [0.0]
大規模言語モデル(LLM)が最近広く採用されている。自律エージェントやソフトウェア工学のツールとしての利用について調査している。
一方、LLMの統合されたアプリケーションは、LLMを利用してタスクを実行するソフトウェアシステムである。
本研究は,LLM統合アプリケーションに対する分類学を提供し,これらのシステムの解析と記述のためのフレームワークを提供する。
論文 参考訳（メタデータ） (2024-06-13T21:32:56Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳（メタデータ） (2024-02-19T11:11:08Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳（メタデータ） (2024-02-09T05:37:09Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳（メタデータ） (2024-01-30T17:38:54Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳（メタデータ） (2024-01-19T05:02:46Z) - A Survey of Large Language Models for Code: Evolution, Benchmarking, and
Future Trends [30.774685501251817]
一般的な大規模言語モデル(LLM)は、ソフトウェア工学におけるコード生成のようなタスクにおいて大きな可能性を証明している。
コードLLMのかなりの部分は、モデルファインチューニングを通じて一般的なLLMから派生している。
現在、Code LLMとそのパフォーマンスに関する体系的な調査が欠如している。
論文 参考訳（メタデータ） (2023-11-17T07:55:16Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳（メタデータ） (2023-10-11T14:18:03Z) - Towards an Understanding of Large Language Models in Software Engineering Tasks [29.30433406449331]
大規模言語モデル(LLM)は、テキスト生成や推論タスクにおける驚くべきパフォーマンスのために、広く注目を集め、研究している。
コード生成などのソフトウェア工学タスクにおけるLLMの評価と最適化が研究の焦点となっている。
本稿では,LLMとソフトウェア工学を組み合わせた研究・製品について包括的に検討・検討する。
論文 参考訳（メタデータ） (2023-08-22T12:37:29Z) - Software Testing with Large Language Models: Survey, Landscape, and
Vision [32.34617250991638]
事前訓練された大規模言語モデル(LLM)は、自然言語処理と人工知能におけるブレークスルー技術として登場した。
本稿では,ソフトウェアテストにおけるLCMの利用状況について概説する。
論文 参考訳（メタデータ） (2023-07-14T08:26:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。