論文の概要: Generative Software Engineering

• arxiv url: http://arxiv.org/abs/2403.02583v1
• Date: Tue, 5 Mar 2024 01:37:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-06 16:27:50.704352
• Title: Generative Software Engineering
• Title（参考訳）: 生成的ソフトウェア工学
• Authors: Yuan Huang, Yinan Chen, Xiangping Chen, Junqi Chen, Rui Peng, Zhicao Tang, Jinbo Huang, Furen Xu, Zibin Zheng
• Abstract要約: 本稿では,事前学習モデルと大規模言語モデル(LLM)を用いたソフトウェア工学における生成タスクの文献レビューを行う。 LLMには強力な言語表現と文脈認識能力があり、多様なトレーニングデータを活用し、生成タスクに適応することができる。 我々は、既存のアプローチにおける重要な強み、弱点、ギャップを特定し、潜在的研究の方向性を提案する。
• 参考スコア（独自算出の注目度）: 24.471742363601034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid development of deep learning techniques, improved computational power, and the availability of vast training data have led to significant advancements in pre-trained models and large language models (LLMs). Pre-trained models based on architectures such as BERT and Transformer, as well as LLMs like ChatGPT, have demonstrated remarkable language capabilities and found applications in Software engineering. Software engineering tasks can be divided into many categories, among which generative tasks are the most concern by researchers, where pre-trained models and LLMs possess powerful language representation and contextual awareness capabilities, enabling them to leverage diverse training data and adapt to generative tasks through fine-tuning, transfer learning, and prompt engineering. These advantages make them effective tools in generative tasks and have demonstrated excellent performance. In this paper, we present a comprehensive literature review of generative tasks in SE using pre-trained models and LLMs. We accurately categorize SE generative tasks based on software engineering methodologies and summarize the advanced pre-trained models and LLMs involved, as well as the datasets and evaluation metrics used. Additionally, we identify key strengths, weaknesses, and gaps in existing approaches, and propose potential research directions. This review aims to provide researchers and practitioners with an in-depth analysis and guidance on the application of pre-trained models and LLMs in generative tasks within SE.
• Abstract（参考訳）: ディープラーニング技術の急速な開発、計算能力の向上、膨大なトレーニングデータの提供により、事前訓練されたモデルと大規模言語モデル(LLM)が大幅に進歩した。 BERTやTransformerのようなアーキテクチャやChatGPTのようなLLMに基づく事前訓練されたモデルは、驚くべき言語機能を示し、ソフトウェア工学の応用を見出した。 ソフトウェアエンジニアリングタスクは、多くのカテゴリに分けられる。その中では、生成タスクが研究者の最も関心事である。そこでは、事前学習されたモデルとLLMが強力な言語表現と文脈認識能力を持ち、多様なトレーニングデータを活用して、微調整、移行学習、迅速なエンジニアリングを通じて生成タスクに適応することができる。 これらの利点は、生成タスクにおいて効果的なツールとなり、優れたパフォーマンスを示している。 本稿では,事前学習モデルとLLMを用いたSEにおける生成タスクの総合的な文献レビューを行う。 ソフトウェア工学手法に基づくSE生成タスクを正確に分類し、関連する高度な事前学習モデルとLCM、および使用するデータセットと評価指標を要約する。 さらに,既存手法の重要な強み,弱み,ギャップを特定し,潜在的な研究方向を提案する。 本総説は,SE内の生成作業における事前学習モデルとLCMの適用に関する詳細な分析とガイダンスを提供することを目的としている。

関連論文リスト

• Benchmarking Large Language Models for Multi-Language Software Vulnerability Detection [15.026084450436976]
  本稿では,ソフトウェア脆弱性検出タスクにおいて,大規模言語モデル(LLM)の性能を評価する。 Pythonで8,260の脆弱な関数、Javaで7,505、JavaScriptで28,983のデータセットをコンパイルしました。 これらのLSMは、5つの微調整された小さな言語モデルと2つのオープンソースの静的アプリケーションセキュリティテストツールに対してベンチマークされる。
  論文  参考訳（メタデータ） (2025-03-03T11:56:00Z)
• LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
  大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。 ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
  論文  参考訳（メタデータ） (2025-02-28T18:59:54Z)
• MLGym: A New Framework and Benchmark for Advancing AI Research Agents [51.9387884953294]
  我々はMeta MLGymとMLGym-Benchを紹介した。これはAI研究タスクにおける大規模言語モデルの評価と開発のための新しいフレームワークとベンチマークである。 これは機械学習(ML)タスクのための最初のGym環境であり、そのようなエージェントをトレーニングするための強化学習(RL)アルゴリズムの研究を可能にする。 我々は、Claude-3.5-Sonnet、Llama-3.1 405B、GPT-4o、o1-preview、Gemini-1.5 Proなどのベンチマークで、多くのフロンティア大言語モデル(LLM)を評価した。
  論文  参考訳（メタデータ） (2025-02-20T12:28:23Z)
• From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
  大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。 本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
  論文  参考訳（メタデータ） (2025-02-17T12:58:17Z)
• Personalized Multimodal Large Language Models: A Survey [127.9521218125761]
  マルチモーダル大言語モデル(MLLM)は、最先端の性能と複数のデータモダリティを統合する能力により、ますます重要になっている。 本稿では,パーソナライズされたマルチモーダルな大規模言語モデルに関する包括的調査を行い,そのアーキテクチャ,トレーニング方法,アプリケーションに焦点をあてる。
  論文  参考訳（メタデータ） (2024-12-03T03:59:03Z)
• Do Advanced Language Models Eliminate the Need for Prompt Engineering in Software Engineering? [18.726229967976316]
  本稿では,高度大言語モデル (LLM) の文脈における様々な迅速な工学的手法を再評価する。 以上の結果から, 先進モデルに適用した場合, 先進モデルに適用した場合, 早期のLLM開発技術により, メリットが低下したり, 性能が低下する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-04T13:56:37Z)
• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Large Language Models in Computer Science Education: A Systematic Literature Review [7.240148550817106]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスク(NLP)において、ますます良くなっている。 最近、これらのモデルは、自然言語(NL)とプログラミング言語(PL)のギャップを埋めて、その能力をコーディングタスクに拡張した。
  論文  参考訳（メタデータ） (2024-10-21T17:49:50Z)
• A Survey: Collaborative Hardware and Software Design in the Era of Large Language Models [16.250856588632637]
  大規模言語モデル(LLM)の急速な発展は、人工知能の分野を大きく変えた。 これらのモデルは多様なアプリケーションに統合され、研究と産業の両方に影響を及ぼす。 本稿では,大規模言語モデルの特徴と制約に対処するために,ハードウェアとソフトウェアの共同設計手法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T21:46:52Z)
• Understanding LLMs: A Comprehensive Overview from Training to Inference [52.70748499554532]
  大規模言語モデルの低コストなトレーニングと展開は、将来の開発トレンドを表している。 トレーニングに関する議論には、データ前処理、トレーニングアーキテクチャ、事前トレーニングタスク、並列トレーニング、モデル微調整に関連する関連コンテンツなど、さまざまな側面が含まれている。 推論の面では、モデル圧縮、並列計算、メモリスケジューリング、構造最適化などのトピックを取り上げている。
  論文  参考訳（メタデータ） (2024-01-04T02:43:57Z)
• Towards an Understanding of Large Language Models in Software Engineering Tasks [29.30433406449331]
  大規模言語モデル(LLM)は、テキスト生成や推論タスクにおける驚くべきパフォーマンスのために、広く注目を集め、研究している。 コード生成などのソフトウェア工学タスクにおけるLLMの評価と最適化が研究の焦点となっている。 本稿では,LLMとソフトウェア工学を組み合わせた研究・製品について包括的に検討・検討する。
  論文  参考訳（メタデータ） (2023-08-22T12:37:29Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)
• Software Testing with Large Language Models: Survey, Landscape, and Vision [32.34617250991638]
  事前訓練された大規模言語モデル(LLM)は、自然言語処理と人工知能におけるブレークスルー技術として登場した。 本稿では,ソフトウェアテストにおけるLCMの利用状況について概説する。
  論文  参考訳（メタデータ） (2023-07-14T08:26:12Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。