論文の概要: Ansible Lightspeed: A Code Generation Service for IT Automation
- arxiv url: http://arxiv.org/abs/2402.17442v1
- Date: Tue, 27 Feb 2024 11:57:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 16:35:55.424112
- Title: Ansible Lightspeed: A Code Generation Service for IT Automation
- Title(参考訳): Ansible Lightspeed: IT自動化のためのコード生成サービス
- Authors: Priyam Sahoo, Saurabh Pujar, Ganesh Nalawade, Richard Gebhardt, Louis
Mandel, Luca Buratti
- Abstract要約: IT自動化に不可欠なようなドメイン固有言語はあまり注目されていません。
本稿では,ドメイン固有言語において,比較的小さな専用モデルがどのように機能するかを考察する。
- 参考スコア(独自算出の注目度): 2.7725811854847717
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The availability of Large Language Models (LLMs) which can generate code, has
made it possible to create tools that improve developer productivity.
Integrated development environments or IDEs which developers use to write
software are often used as an interface to interact with LLMs. Although many
such tools have been released, almost all of them focus on general-purpose
programming languages. Domain-specific languages, such as those crucial for IT
automation, have not received much attention. Ansible is one such YAML-based IT
automation-specific language. Red Hat Ansible Lightspeed with IBM Watson Code
Assistant, further referred to as Ansible Lightspeed, is an LLM-based service
designed explicitly for natural language to Ansible code generation.
In this paper, we describe the design and implementation of the Ansible
Lightspeed service and analyze feedback from thousands of real users. We
examine diverse performance indicators, classified according to both immediate
and extended utilization patterns along with user sentiments. The analysis
shows that the user acceptance rate of Ansible Lightspeed suggestions is higher
than comparable tools that are more general and not specific to a programming
language. This remains true even after we use much more stringent criteria for
what is considered an accepted model suggestion, discarding suggestions which
were heavily edited after being accepted. The relatively high acceptance rate
results in higher-than-expected user retention and generally positive user
feedback. This paper provides insights on how a comparatively small, dedicated
model performs on a domain-specific language and more importantly, how it is
received by users.
- Abstract(参考訳): コードを生成するLarge Language Models(LLMs)が利用可能になったことで、開発者の生産性を向上させるツールの開発が可能になった。
開発者がソフトウェアを書くのに使用する統合開発環境やIDEは、しばしばLLMと対話するためのインターフェースとして使用される。
多くのツールがリリースされたが、ほとんどが汎用プログラミング言語に焦点を当てている。
IT自動化に不可欠なようなドメイン固有言語はあまり注目されていません。
Ansibleは、YAMLベースのIT自動化専用言語である。
red hat ansible lightspeed with ibm watson code assistant、別名ansible lightspeedは、自然言語からansibleコード生成に明示的に設計されたllmベースのサービスである。
本稿では,ansible lightspeedサービスの設計と実装について述べるとともに,数千人の実ユーザからのフィードバックを分析する。
利用者の感情とともに、即時および拡張された利用パターンによって分類された多様なパフォーマンス指標について検討した。
分析の結果、Ansible Lightspeed提案のユーザ受け入れ率は、より汎用的で、プログラミング言語に特有でない同等のツールよりも高いことがわかった。
これは、受け入れられたモデル提案と見なされるものに対してより厳密な基準を使用した後でも事実であり、受け入れられた後に大々的に編集された提案を破棄する。
比較的高い受け入れ率は、期待以上のユーザ保持と概ね肯定的なユーザフィードバックをもたらす。
本稿では,ドメイン固有言語上で,比較的小さな専用モデルがどのように機能するか,さらにユーザからどのように受信されるのかについて考察する。
関連論文リスト
- If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Language Models are Universal Embedders [48.12992614723464]
事前学習されたトランスフォーマーデコーダは、限定的な英語データに基づいて微調整された場合、普遍的に埋め込み可能であることを示す。
我々のモデルは、最小限のトレーニングデータにより、異なる埋め込みタスクにおける競争性能を達成する。
これらの結果は、強力な統合インバータを構築するための有望な道の証となる。
論文 参考訳(メタデータ) (2023-10-12T11:25:46Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳(メタデータ) (2023-09-29T17:40:26Z) - LLM and Infrastructure as a Code use case [0.0]
ドキュメントはYAMLロールとプレイブックの生成と管理のためのソリューションについて調査する。
当社の取り組みは、有効な方向を特定し、潜在的な応用を概説することに集中しています。
この実験のために、我々はLightspeedの使用に反対した。
論文 参考訳(メタデータ) (2023-09-04T09:05:17Z) - AskIt: Unified Programming Interface for Programming with Large Language
Models [0.0]
大規模言語モデル(LLM)は創発能力として知られるユニークな現象を示し、多くのタスクにまたがって適応性を示す。
本稿では,LLM用に特別に設計されたドメイン固有言語であるAskItを紹介する。
50タスクにわたって、AskItは簡潔なプロンプトを生成し、ベンチマークよりも16.14パーセントのプロンプト長の削減を実現した。
論文 参考訳(メタデータ) (2023-08-29T21:44:27Z) - VisionLLM: Large Language Model is also an Open-Ended Decoder for
Vision-Centric Tasks [81.32968995346775]
VisionLLMは視覚中心のタスクのためのフレームワークで、柔軟に定義され、言語命令を使って管理できる。
検出固有モデルと同等の精度で,COCO上で60%以上のmAPを達成できる。
論文 参考訳(メタデータ) (2023-05-18T17:59:42Z) - Automated Code generation for Information Technology Tasks in YAML
through Large Language Models [56.25231445614503]
私たちは、IT自動化の生産性向上を目的とした、自然言語のto-YAMLコード生成ツールであるWisdomを紹介します。
YAMLのための2つの新しいパフォーマンス指標を開発し、この領域の特徴を捉える。
論文 参考訳(メタデータ) (2023-05-02T21:01:01Z) - Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。
トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳(メタデータ) (2023-02-15T18:25:52Z) - Prompting Is Programming: A Query Language for Large Language Models [5.8010446129208155]
我々はLMP(Language Model Programming)という新しいアイデアを提示する。
LMPは、純粋なテキストプロンプトからテキストプロンプトとスクリプティングの直感的な組み合わせまで、言語モデルを一般化する。
LMQLは、さまざまな最先端のプロンプトメソッドを直感的にキャプチャできることを示す。
論文 参考訳(メタデータ) (2022-12-12T18:09:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。