論文の概要: Insights from the Usage of the Ansible Lightspeed Code Completion Service
- arxiv url: http://arxiv.org/abs/2402.17442v3
- Date: Sun, 20 Oct 2024 15:18:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 17:02:09.790483
- Title: Insights from the Usage of the Ansible Lightspeed Code Completion Service
- Title(参考訳): 可視光速コード補完サービス利用の展望
- Authors: Priyam Sahoo, Saurabh Pujar, Ganesh Nalawade, Richard Gebhardt, Louis Mandel, Luca Buratti,
- Abstract要約: Lightspeedは、自然言語プロンプトによってYAMLを生成するように設計されたサービスである。
光速は多線提案に対して49.08$%の強い受容率を達成することができる。
- 参考スコア(独自算出の注目度): 2.6401871006820534
- License:
- Abstract: The availability of Large Language Models (LLMs) which can generate code, has made it possible to create tools that improve developer productivity. Integrated development environments or IDEs which developers use to write software are often used as an interface to interact with LLMs. Although many such tools have been released, almost all of them focus on general-purpose programming languages. Domain-specific languages, such as those crucial for Information Technology (IT) automation, have not received much attention. Ansible is one such YAML-based IT automation-specific language. Ansible Lightspeed is an LLM-based service designed explicitly to generate Ansible YAML, given natural language prompt. In this paper, we present the design and implementation of the Ansible Lightspeed service. We then evaluate its utility to developers using diverse indicators, including extended utilization, analysis of user edited suggestions, as well as user sentiments analysis. The evaluation is based on data collected for 10,696 real users including 3,910 returning users. The code for Ansible Lightspeed service and the analysis framework is made available for others to use. To our knowledge, our study is the first to involve thousands of users of code assistants for domain-specific languages. We are also the first code completion tool to present N-Day user retention figures, which is 13.66\% on Day 30. We propose an improved version of user acceptance rate, called Strong Acceptance rate, where a suggestion is considered accepted only if less than $50\%$ of it is edited and these edits do not change critical parts of the suggestion. By focusing on Ansible, Lightspeed is able to achieve a strong acceptance rate of 49.08\% for multi-line Ansible task suggestions. With our findings we provide insights into the effectiveness of small, dedicated models in a domain-specific context.
- Abstract(参考訳): コードを生成するLarge Language Models(LLMs)が利用可能になったことで、開発者の生産性を向上させるツールの開発が可能になった。
開発者がソフトウェアを書くのに使用する統合開発環境やIDEは、しばしばLLMと対話するためのインターフェースとして使用される。
このようなツールは多くリリースされているが、そのほとんどは汎用プログラミング言語に重点を置いている。
情報技術(IT)自動化に不可欠なようなドメイン固有言語はあまり注目されていない。
Ansibleは、YAMLベースのIT自動化特化言語のひとつです。
Ansible Lightspeedは、自然言語プロンプトを与えられたAnsible YAMLを生成するために明示的に設計されたLLMベースのサービスである。
本稿では,Ansible Lightspeedサービスの設計と実装について述べる。
次に、拡張利用率、ユーザ編集提案の分析、ユーザ感情分析など、多様な指標を用いて、その有用性を開発者に評価する。
評価は,3,910人の返却ユーザを含む10,696人の実ユーザを対象としたデータに基づいて行われる。
Ansible Lightspeedサービスと分析フレームワークのコードは、他の人が使えるように作られている。
私たちの知る限りでは、ドメイン固有の言語のためのコードアシスタントの何千人ものユーザを巻き込んだ初めての研究です。
私たちはまた、30日目に13.66\%であるN-Dayのユーザ保持数値を提示する最初のコード補完ツールです。
我々はStrong Acceptance rateと呼ばれるユーザ受け入れ率の改善版を提案し、50セント未満で編集された場合にのみ提案が受理され、これらの編集は提案の重要な部分を変更しない。
Ansibleにフォーカスすることで、Lightspeedは多行Ansibleタスクの提案に対して49.08\%の強い受け入れ率を達成することができる。
私たちの発見により、ドメイン固有のコンテキストにおいて、小さな、専用のモデルの有効性に関する洞察を提供する。
関連論文リスト
- GTA: A Benchmark for General Tool Agents [32.443456248222695]
229個の実世界のタスクと実行可能なツールチェーンを設計し、主要な大言語モデル(LLM)を評価する。
GPT-4 はタスクの 50% 以下であり,ほとんどの LLM は 25% 以下である。
この評価は、現実シナリオにおける現在のLLMのツール利用能力のボトルネックを明らかにし、汎用ツールエージェントを前進させるための今後の方向性を提供する。
論文 参考訳(メタデータ) (2024-07-11T17:50:09Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Language Models are Universal Embedders [48.12992614723464]
事前学習されたトランスフォーマーデコーダは、限定的な英語データに基づいて微調整された場合、普遍的に埋め込み可能であることを示す。
我々のモデルは、最小限のトレーニングデータにより、異なる埋め込みタスクにおける競争性能を達成する。
これらの結果は、強力な統合インバータを構築するための有望な道の証となる。
論文 参考訳(メタデータ) (2023-10-12T11:25:46Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳(メタデータ) (2023-09-29T17:40:26Z) - LLM and Infrastructure as a Code use case [0.0]
ドキュメントはYAMLロールとプレイブックの生成と管理のためのソリューションについて調査する。
当社の取り組みは、有効な方向を特定し、潜在的な応用を概説することに集中しています。
この実験のために、我々はLightspeedの使用に反対した。
論文 参考訳(メタデータ) (2023-09-04T09:05:17Z) - AskIt: Unified Programming Interface for Programming with Large Language
Models [0.0]
大規模言語モデル(LLM)は創発能力として知られるユニークな現象を示し、多くのタスクにまたがって適応性を示す。
本稿では,LLM用に特別に設計されたドメイン固有言語であるAskItを紹介する。
50タスクにわたって、AskItは簡潔なプロンプトを生成し、ベンチマークよりも16.14パーセントのプロンプト長の削減を実現した。
論文 参考訳(メタデータ) (2023-08-29T21:44:27Z) - VisionLLM: Large Language Model is also an Open-Ended Decoder for
Vision-Centric Tasks [81.32968995346775]
VisionLLMは視覚中心のタスクのためのフレームワークで、柔軟に定義され、言語命令を使って管理できる。
検出固有モデルと同等の精度で,COCO上で60%以上のmAPを達成できる。
論文 参考訳(メタデータ) (2023-05-18T17:59:42Z) - Automated Code generation for Information Technology Tasks in YAML
through Large Language Models [56.25231445614503]
私たちは、IT自動化の生産性向上を目的とした、自然言語のto-YAMLコード生成ツールであるWisdomを紹介します。
YAMLのための2つの新しいパフォーマンス指標を開発し、この領域の特徴を捉える。
論文 参考訳(メタデータ) (2023-05-02T21:01:01Z) - Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。
トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳(メタデータ) (2023-02-15T18:25:52Z) - Prompting Is Programming: A Query Language for Large Language Models [5.8010446129208155]
我々はLMP(Language Model Programming)という新しいアイデアを提示する。
LMPは、純粋なテキストプロンプトからテキストプロンプトとスクリプティングの直感的な組み合わせまで、言語モデルを一般化する。
LMQLは、さまざまな最先端のプロンプトメソッドを直感的にキャプチャできることを示す。
論文 参考訳(メタデータ) (2022-12-12T18:09:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。