論文の概要: Insights from the Usage of the Ansible Lightspeed Code Completion Service

• arxiv url: http://arxiv.org/abs/2402.17442v4
• Date: Tue, 22 Oct 2024 10:30:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:26:29.167771
• Title: Insights from the Usage of the Ansible Lightspeed Code Completion Service
• Title（参考訳）: 可視光速コード補完サービス利用の展望
• Authors: Priyam Sahoo, Saurabh Pujar, Ganesh Nalawade, Richard Gebhardt, Louis Mandel, Luca Buratti,
• Abstract要約: LightspeedはIT自動化に特化した言語です。 Lightspeedサービスのためのコードと分析フレームワークは、他の人が利用できるようにされている。 N-Day ユーザ保持図を表示する最初のコード補完ツール。
• 参考スコア（独自算出の注目度）: 2.6401871006820534
• License:
• Abstract: The availability of Large Language Models (LLMs) which can generate code, has made it possible to create tools that improve developer productivity. Integrated development environments or IDEs which developers use to write software are often used as an interface to interact with LLMs. Although many such tools have been released, almost all of them focus on general-purpose programming languages. Domain-specific languages, such as those crucial for Information Technology (IT) automation, have not received much attention. Ansible is one such YAML-based IT automation-specific language. Ansible Lightspeed is an LLM-based service designed explicitly to generate Ansible YAML, given natural language prompt. In this paper, we present the design and implementation of the Ansible Lightspeed service. We then evaluate its utility to developers using diverse indicators, including extended utilization, analysis of user edited suggestions, as well as user sentiments analysis. The evaluation is based on data collected for 10,696 real users including 3,910 returning users. The code for Ansible Lightspeed service and the analysis framework is made available for others to use. To our knowledge, our study is the first to involve thousands of users of code assistants for domain-specific languages. We are also the first code completion tool to present N-Day user retention figures, which is 13.66% on Day 30. We propose an improved version of user acceptance rate, called Strong Acceptance rate, where a suggestion is considered accepted only if less than 50% of it is edited and these edits do not change critical parts of the suggestion. By focusing on Ansible, Lightspeed is able to achieve a strong acceptance rate of 49.08% for multi-line Ansible task suggestions. With our findings we provide insights into the effectiveness of small, dedicated models in a domain-specific context.
• Abstract（参考訳）: コードを生成するLarge Language Models(LLMs)が利用可能になったことで、開発者の生産性を向上させるツールの開発が可能になった。 開発者がソフトウェアを書くのに使用する統合開発環境やIDEは、しばしばLLMと対話するためのインターフェースとして使用される。 このようなツールは多くリリースされているが、そのほとんどは汎用プログラミング言語に重点を置いている。 情報技術(IT)自動化に不可欠なようなドメイン固有言語はあまり注目されていない。 Ansibleは、YAMLベースのIT自動化特化言語のひとつです。 Ansible Lightspeedは、自然言語プロンプトを与えられたAnsible YAMLを生成するために明示的に設計されたLLMベースのサービスである。 本稿では,Ansible Lightspeedサービスの設計と実装について述べる。 次に、拡張利用率、ユーザ編集提案の分析、ユーザ感情分析など、多様な指標を用いて、その有用性を開発者に評価する。 評価は,3,910人の返却ユーザを含む10,696人の実ユーザを対象としたデータに基づいて行われる。 Ansible Lightspeedサービスと分析フレームワークのコードは、他の人が使えるように作られている。 私たちの知る限りでは、ドメイン固有の言語のためのコードアシスタントの何千人ものユーザを巻き込んだ初めての研究です。 私たちはまた、30日目に13.66%となるN-Dayのユーザ保持数字を提示する最初のコード補完ツールです。 そこでは,50%未満のユーザに対してのみ提案を受け付け,これらの編集が提案の重要な部分を変更しないことを前提として,Strong Acceptance rateと呼ばれるユーザ受け入れ率の改善版を提案する。 アンシブルにフォーカスすることで、ライトスピードは多行アンシブルタスクの提案に対して49.08%の強い受け入れ率を達成することができる。 私たちの発見により、ドメイン固有のコンテキストにおいて、小さな、専用のモデルの有効性に関する洞察を提供する。

関連論文リスト

• Learning to Ask: When LLMs Meet Unclear Instruction [49.256630152684764]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• GTA: A Benchmark for General Tool Agents [32.443456248222695]
  229個の実世界のタスクと実行可能なツールチェーンを設計し、主要な大言語モデル(LLM)を評価する。 GPT-4 はタスクの 50% 以下であり,ほとんどの LLM は 25% 以下である。 この評価は、現実シナリオにおける現在のLLMのツール利用能力のボトルネックを明らかにし、汎用ツールエージェントを前進させるための今後の方向性を提供する。
  論文  参考訳（メタデータ） (2024-07-11T17:50:09Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Using Large Language Models for Commit Message Generation: A Preliminary Study [5.5784148764236114]
  大規模言語モデル(LLM)はコミットメッセージを自動かつ効果的に生成するために使用することができる。 366サンプルの78%では, LLMが生成したコミットメッセージが人間によって最高のものと評価された。
  論文  参考訳（メタデータ） (2024-01-11T14:06:39Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• LLM and Infrastructure as a Code use case [0.0]
  ドキュメントはYAMLロールとプレイブックの生成と管理のためのソリューションについて調査する。 当社の取り組みは、有効な方向を特定し、潜在的な応用を概説することに集中しています。 この実験のために、我々はLightspeedの使用に反対した。
  論文  参考訳（メタデータ） (2023-09-04T09:05:17Z)
• Using an LLM to Help With Code Understanding [13.53616539787915]
  大規模言語モデル(LLM)は、コードを書くプロセスに革命をもたらしています。 プラグインはOpenAIのGPT-3.5-turboモデルに対して,ユーザが明示的なプロンプトを書かなくても4つの高レベルリクエストをクエリする。 本システムの評価は,32名の被験者を対象に行ったユーザスタディで行われ,本プラグインがWeb検索よりもタスク完了に有効であることが確認された。
  論文  参考訳（メタデータ） (2023-07-17T00:49:06Z)
• Automated Code generation for Information Technology Tasks in YAML through Large Language Models [56.25231445614503]
  私たちは、IT自動化の生産性向上を目的とした、自然言語のto-YAMLコード生成ツールであるWisdomを紹介します。 YAMLのための2つの新しいパフォーマンス指標を開発し、この領域の特徴を捉える。
  論文  参考訳（メタデータ） (2023-05-02T21:01:01Z)
• Attributed Question Answering: Evaluation and Modeling for Attributed Large Language Models [68.37431984231338]
  大規模言語モデル(LLM)は、直接の監督をほとんど必要とせず、様々なタスクにわたって印象的な結果を示している。 我々は、LLMが生成するテキストの属性に持つ能力は、この設定においてシステム開発者とユーザの両方にとって不可欠であると信じている。
  論文  参考訳（メタデータ） (2022-12-15T18:45:29Z)
• Interactive Code Generation via Test-Driven User-Intent Formalization [60.90035204567797]
  大きな言語モデル(LLM)は、非公式な自然言語(NL)の意図からコードを生成する。 自然言語は曖昧であり、形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。 言語に依存しない抽象アルゴリズムと具体的な実装TiCoderについて述べる。
  論文  参考訳（メタデータ） (2022-08-11T17:41:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。