論文の概要: Ansible Lightspeed: A Code Generation Service for IT Automation

• arxiv url: http://arxiv.org/abs/2402.17442v1
• Date: Tue, 27 Feb 2024 11:57:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 16:35:55.424112
• Title: Ansible Lightspeed: A Code Generation Service for IT Automation
• Title（参考訳）: Ansible Lightspeed: IT自動化のためのコード生成サービス
• Authors: Priyam Sahoo, Saurabh Pujar, Ganesh Nalawade, Richard Gebhardt, Louis Mandel, Luca Buratti
• Abstract要約: IT自動化に不可欠なようなドメイン固有言語はあまり注目されていません。 本稿では,ドメイン固有言語において,比較的小さな専用モデルがどのように機能するかを考察する。
• 参考スコア（独自算出の注目度）: 2.7725811854847717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The availability of Large Language Models (LLMs) which can generate code, has made it possible to create tools that improve developer productivity. Integrated development environments or IDEs which developers use to write software are often used as an interface to interact with LLMs. Although many such tools have been released, almost all of them focus on general-purpose programming languages. Domain-specific languages, such as those crucial for IT automation, have not received much attention. Ansible is one such YAML-based IT automation-specific language. Red Hat Ansible Lightspeed with IBM Watson Code Assistant, further referred to as Ansible Lightspeed, is an LLM-based service designed explicitly for natural language to Ansible code generation. In this paper, we describe the design and implementation of the Ansible Lightspeed service and analyze feedback from thousands of real users. We examine diverse performance indicators, classified according to both immediate and extended utilization patterns along with user sentiments. The analysis shows that the user acceptance rate of Ansible Lightspeed suggestions is higher than comparable tools that are more general and not specific to a programming language. This remains true even after we use much more stringent criteria for what is considered an accepted model suggestion, discarding suggestions which were heavily edited after being accepted. The relatively high acceptance rate results in higher-than-expected user retention and generally positive user feedback. This paper provides insights on how a comparatively small, dedicated model performs on a domain-specific language and more importantly, how it is received by users.
• Abstract（参考訳）: コードを生成するLarge Language Models(LLMs)が利用可能になったことで、開発者の生産性を向上させるツールの開発が可能になった。 開発者がソフトウェアを書くのに使用する統合開発環境やIDEは、しばしばLLMと対話するためのインターフェースとして使用される。 多くのツールがリリースされたが、ほとんどが汎用プログラミング言語に焦点を当てている。 IT自動化に不可欠なようなドメイン固有言語はあまり注目されていません。 Ansibleは、YAMLベースのIT自動化専用言語である。 red hat ansible lightspeed with ibm watson code assistant、別名ansible lightspeedは、自然言語からansibleコード生成に明示的に設計されたllmベースのサービスである。 本稿では,ansible lightspeedサービスの設計と実装について述べるとともに,数千人の実ユーザからのフィードバックを分析する。 利用者の感情とともに、即時および拡張された利用パターンによって分類された多様なパフォーマンス指標について検討した。 分析の結果、Ansible Lightspeed提案のユーザ受け入れ率は、より汎用的で、プログラミング言語に特有でない同等のツールよりも高いことがわかった。 これは、受け入れられたモデル提案と見なされるものに対してより厳密な基準を使用した後でも事実であり、受け入れられた後に大々的に編集された提案を破棄する。 比較的高い受け入れ率は、期待以上のユーザ保持と概ね肯定的なユーザフィードバックをもたらす。 本稿では,ドメイン固有言語上で,比較的小さな専用モデルがどのように機能するか,さらにユーザからどのように受信されるのかについて考察する。

関連論文リスト

• Learning to Ask: When LLMs Meet Unclear Instruction [49.256630152684764]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• GTA: A Benchmark for General Tool Agents [32.443456248222695]
  229個の実世界のタスクと実行可能なツールチェーンを設計し、主要な大言語モデル(LLM)を評価する。 GPT-4 はタスクの 50% 以下であり,ほとんどの LLM は 25% 以下である。 この評価は、現実シナリオにおける現在のLLMのツール利用能力のボトルネックを明らかにし、汎用ツールエージェントを前進させるための今後の方向性を提供する。
  論文  参考訳（メタデータ） (2024-07-11T17:50:09Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Using Large Language Models for Commit Message Generation: A Preliminary Study [5.5784148764236114]
  大規模言語モデル(LLM)はコミットメッセージを自動かつ効果的に生成するために使用することができる。 366サンプルの78%では, LLMが生成したコミットメッセージが人間によって最高のものと評価された。
  論文  参考訳（メタデータ） (2024-01-11T14:06:39Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• LLM and Infrastructure as a Code use case [0.0]
  ドキュメントはYAMLロールとプレイブックの生成と管理のためのソリューションについて調査する。 当社の取り組みは、有効な方向を特定し、潜在的な応用を概説することに集中しています。 この実験のために、我々はLightspeedの使用に反対した。
  論文  参考訳（メタデータ） (2023-09-04T09:05:17Z)
• Using an LLM to Help With Code Understanding [13.53616539787915]
  大規模言語モデル(LLM)は、コードを書くプロセスに革命をもたらしています。 プラグインはOpenAIのGPT-3.5-turboモデルに対して,ユーザが明示的なプロンプトを書かなくても4つの高レベルリクエストをクエリする。 本システムの評価は,32名の被験者を対象に行ったユーザスタディで行われ,本プラグインがWeb検索よりもタスク完了に有効であることが確認された。
  論文  参考訳（メタデータ） (2023-07-17T00:49:06Z)
• Automated Code generation for Information Technology Tasks in YAML through Large Language Models [56.25231445614503]
  私たちは、IT自動化の生産性向上を目的とした、自然言語のto-YAMLコード生成ツールであるWisdomを紹介します。 YAMLのための2つの新しいパフォーマンス指標を開発し、この領域の特徴を捉える。
  論文  参考訳（メタデータ） (2023-05-02T21:01:01Z)
• Attributed Question Answering: Evaluation and Modeling for Attributed Large Language Models [68.37431984231338]
  大規模言語モデル(LLM)は、直接の監督をほとんど必要とせず、様々なタスクにわたって印象的な結果を示している。 我々は、LLMが生成するテキストの属性に持つ能力は、この設定においてシステム開発者とユーザの両方にとって不可欠であると信じている。
  論文  参考訳（メタデータ） (2022-12-15T18:45:29Z)
• Interactive Code Generation via Test-Driven User-Intent Formalization [60.90035204567797]
  大きな言語モデル(LLM)は、非公式な自然言語(NL)の意図からコードを生成する。 自然言語は曖昧であり、形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。 言語に依存しない抽象アルゴリズムと具体的な実装TiCoderについて述べる。
  論文  参考訳（メタデータ） (2022-08-11T17:41:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。