論文の概要: Automated DevOps Pipeline Generation for Code Repositories using Large
Language Models
- arxiv url: http://arxiv.org/abs/2312.13225v1
- Date: Wed, 20 Dec 2023 17:47:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 14:43:32.471727
- Title: Automated DevOps Pipeline Generation for Code Repositories using Large
Language Models
- Title(参考訳): 大規模言語モデルを用いたコードリポジトリの自動devopsパイプライン生成
- Authors: Deep Mehta, Kartik Rawool, Subodh Gujar, Bowen Xu
- Abstract要約: 調査では、GitHubの生成におけるGPT 3.5とGPT 4の習熟度を精査するとともに、最も効率的なパイプライン構築におけるさまざまなプロンプト要素の影響を評価している。
GPTは4。
Probot上に構築されたGitHubアプリを導入し、GitHubエコシステム内でワークフロー生成を自動化する。
- 参考スコア(独自算出の注目度): 5.011328607647701
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automating software development processes through the orchestration of GitHub
Action workflows has revolutionized the efficiency and agility of software
delivery pipelines. This paper presents a detailed investigation into the use
of Large Language Models (LLMs) specifically, GPT 3.5 and GPT 4 to generate and
evaluate GitHub Action workflows for DevOps tasks. Our methodology involves
data collection from public GitHub repositories, prompt engineering for LLM
utilization, and evaluation metrics encompassing exact match scores, BLEU
scores, and a novel DevOps Aware score. The research scrutinizes the
proficiency of GPT 3.5 and GPT 4 in generating GitHub workflows, while
assessing the influence of various prompt elements in constructing the most
efficient pipeline. Results indicate substantial advancements in GPT 4,
particularly in DevOps awareness and syntax correctness. The research
introduces a GitHub App built on Probot, empowering users to automate workflow
generation within GitHub ecosystem. This study contributes insights into the
evolving landscape of AI-driven automation in DevOps practices.
- Abstract(参考訳): githubのアクションワークフローのオーケストレーションによるソフトウェア開発プロセスの自動化は、ソフトウェアデリバリパイプラインの効率性とアジリティに革命をもたらした。
本稿では,大規模言語モデル(LLM),特にGPT 3.5とGPT 4を用いて,DevOpsタスク用のGitHub Actionワークフローの生成と評価を行う。
当社の方法論は、GitHubの公開リポジトリからのデータ収集、LDM利用のためのエンジニアリングの促進、正確なマッチスコア、BLEUスコア、新しいDevOps Awareスコアを含む評価指標を含む。
調査では、GitHubワークフローの生成におけるGPT 3.5とGPT 4の習熟度を精査するとともに、最も効率的なパイプライン構築におけるさまざまなプロンプト要素の影響を評価している。
結果は、特にDevOpsの認識と構文の正確性において、GPT 4の大幅な進歩を示している。
Probot上に構築されたGitHubアプリを導入し、GitHubエコシステム内でワークフロー生成を自動化する。
この研究は、DevOpsプラクティスにおけるAI駆動自動化の進化の展望に貢献する。
関連論文リスト
- LLM-based Test-driven Interactive Code Generation: User Study and Empirical Evaluation [13.800675921118348]
本稿では,ガイド付き意図明確化のための対話型ワークフローTiCoderを提案する。
コード生成精度を向上させるためのワークフローの有効性を実証的に評価する。
我々は,5つのユーザインタラクション内で,データセットと全LLMのパス@1コード生成精度が平均38.43%向上したことを観察した。
論文 参考訳(メタデータ) (2024-04-15T19:16:32Z) - AutoCodeRover: Autonomous Program Improvement [8.66280420062806]
プログラムの改善を自律的に達成するために、GitHubの問題を解決する自動化アプローチを提案する。
AutoCodeRoverと呼ばれるアプローチでは、LLMは洗練されたコード検索機能と組み合わせられ、最終的にプログラムの変更やパッチにつながります。
300のGitHubイシューからなるSWE-bench-liteの実験は、GitHubイシューの解決における有効性の向上を示している。
論文 参考訳(メタデータ) (2024-04-08T11:55:09Z) - Automated User Story Generation with Test Case Specification Using Large Language Model [0.0]
要件文書からユーザストーリーを自動生成するツール「GeneUS」を開発した。
アウトプットはフォーマットで提供され、ダウンストリーム統合の可能性は人気のあるプロジェクト管理ツールに開放されます。
論文 参考訳(メタデータ) (2024-04-02T01:45:57Z) - On the effectiveness of Large Language Models for GitHub Workflows [9.82254417875841]
大規模言語モデル(LLM)は、様々なソフトウェア開発タスクにおいてその効果を実証している。
異なるレベルのプロンプトを持つ5つのワークフロー関連タスクにおけるLLMの有効性を理解するための、最初の総合的研究を行う。
現状のLLMと細調整した3種類のLLMの評価結果から,LLMの現在の有効性と欠点について,様々な興味深い知見が得られた。
論文 参考訳(メタデータ) (2024-03-19T05:14:12Z) - Design2Code: How Far Are We From Automating Front-End Engineering? [83.06100360864502]
これを Design2Code タスクとして形式化し,包括的なベンチマークを行う。
具体的には、テストケースとして、484の多様な現実世界のWebページのベンチマークを手動でキュレートする。
我々は,GPT-4V と Gemini Pro Vision 上で,マルチモーダルプロンプト手法のスイートを開発し,その有効性を示す。
人的評価と自動測定の両方で、GPT-4Vは他のモデルと比較して、このタスクにおいて最善であることを示している。
論文 参考訳(メタデータ) (2024-03-05T17:56:27Z) - Octopus: Embodied Vision-Language Programmer from Environmental Feedback [59.772904419928054]
大規模視覚言語モデル (VLM) はマルチモーダル認識と推論において大きな進歩を遂げた。
本稿では,エージェントの視覚とテキストタスクの目的を正確に解読する新しいVLMであるOctopusを紹介する。
我々の設計では、シミュレーターの日常的な雑用から複雑なビデオゲームの高度なインタラクションまで、エージェントは幅広いタスクを十分に扱えるようにしている。
論文 参考訳(メタデータ) (2023-10-12T17:59:58Z) - SoTaNa: The Open-Source Software Development Assistant [81.86136560157266]
SoTaNaはオープンソースのソフトウェア開発アシスタントだ。
ソフトウェア工学の分野のための高品質な命令ベースのデータを生成する。
オープンソースの基盤モデルであるLLaMAを強化するためにパラメータ効率のよい微調整アプローチを採用している。
論文 参考訳(メタデータ) (2023-08-25T14:56:21Z) - Exploring and Characterizing Large Language Models For Embedded System
Development and Debugging [10.967443876391611]
大規模言語モデル (LLM) は、コードを生成する際、顕著な能力を示しているが、組み込みシステム用のソフトウェアを開発する能力は研究されていない。
我々は,組込みシステム開発におけるLLMの能力と限界を評価するためのオープンソースフレームワークを開発した。
この発見を利用して、人間のプログラマがこれらのツールとどのように相互作用するかを研究し、組み込みシステムを構築するためのヒューマンAIベースのソフトウェアエンジニアリングワークフローを開発する。
論文 参考訳(メタデータ) (2023-07-07T20:14:22Z) - The GitHub Development Workflow Automation Ecosystems [47.818229204130596]
大規模なソフトウェア開発は、非常に協力的な取り組みになっています。
この章では、開発ボットとGitHub Actionsのエコシステムについて解説する。
この領域における最先端技術に関する広範な調査を提供する。
論文 参考訳(メタデータ) (2023-05-08T15:24:23Z) - Visual Transformer for Task-aware Active Learning [49.903358393660724]
プールベースのアクティブラーニングのための新しいパイプラインを提案する。
提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。
ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
論文 参考訳(メタデータ) (2021-06-07T17:13:59Z) - How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。
我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
論文 参考訳(メタデータ) (2020-03-31T16:03:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。