論文の概要: Interactive Code Generation via Test-Driven User-Intent Formalization

• arxiv url: http://arxiv.org/abs/2208.05950v1
• Date: Thu, 11 Aug 2022 17:41:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-12 13:50:31.150459
• Title: Interactive Code Generation via Test-Driven User-Intent Formalization
• Title（参考訳）: テスト駆動ユーザインテント形式によるインタラクティブコード生成
• Authors: Shuvendu K. Lahiri and Aaditya Naik and Georgios Sakkas and Piali Choudhury and Curtis von Veh and Madanlal Musuvathi and Jeevana Priya Inala and Chenglong Wang and Jianfeng Gao
• Abstract要約: テスト駆動型ユーザインテントフォーマライゼーション(TDUIF)のワークフローを提案する。 参照解を用いて高忠実度でのユーザインタラクションをシミュレートする方法を示す。 我々はTDUIFにいくつかのソリューションを実装するシステムTICODERを開発した。
• 参考スコア（独自算出の注目度）: 60.599528284483156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained large language models (LLMs) such as OpenAI Codex have shown immense potential in automating significant aspects of coding by producing natural code from informal natural language (NL) intent. However, the code produced does not have any correctness guarantees around satisfying user's intent. In fact, it is hard to define a notion of correctness since natural language can be ambiguous and lacks a formal semantics. In this paper, we take a first step towards addressing the problem above by proposing the workflow of test-driven user-intent formalization (TDUIF), which leverages lightweight user feedback to jointly (a) formalize the user intent as tests (a partial specification), and (b) generates code that meets the formal user intent. To perform a scalable and large-scale automated evaluation of the algorithms without requiring a user in the loop, we describe how to simulate user interaction with high-fidelity using a reference solution. We also describe and implement alternate implementations of several algorithmic components (including mutating and ranking a set of tests) that can be composed for efficient solutions to the TDUIF problem. We have developed a system TICODER that implements several solutions to TDUIF, and compare their relative effectiveness on the MBPP academic code generation benchmark. Our results are promising with using the OpenAI Codex LLM on MBPP: our best algorithm improves the pass@1 code generation accuracy metric from 48.39% to 70.49% with a single user query, and up to 85.48% with up to 5 user queries. Second, we can generate a non-trivial functional unit test consistent with the user intent within an average of 1.69 user queries for 90.40% of the examples for this dataset.
• Abstract（参考訳）: OpenAI Codexのような事前訓練された大規模言語モデル(LLM)は、非公式な自然言語(NL)の意図から自然言語を生成することによって、コーディングの重要な側面を自動化する大きな可能性を示している。 しかし、生成されたコードはユーザの意図を満たすための正当性を保証するものではない。 実際、自然言語は曖昧で形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。 本稿では,テスト駆動型ユーザインテリジェンスフォーマライゼーション(TDUIF)のワークフローを提案し,軽量なユーザフィードバックを併用することで,上記の問題を解決するための第一歩を踏み出す。 (a) ユーザ意図をテスト(部分仕様)として形式化し、 (b) 正式なユーザ意図を満たすコードを生成する。 ループ内のユーザを必要とせずに,スケーラブルかつ大規模にアルゴリズムの自動評価を行うため,参照ソリューションを用いてユーザインタラクションを高忠実度でシミュレートする方法を述べる。 また、TDUIF問題に対する効率的な解を構成することができるアルゴリズムコンポーネント(一連のテストの修正とランキングを含む)の代替実装についても記述し、実装する。 我々は,tduif のソリューションをいくつか実装したシステム ticoder を開発し,mbpp のアカデミックコード生成ベンチマークでその相対的効果を比較した。 MBPP上でのOpenAI Codex LLMの使用は有望である: 最高のアルゴリズムは、パス@1コード生成精度を48.39%から70.49%に改善し、1つのユーザクエリで最大85.48%、最大5つのユーザクエリで最大85.48%に向上します。 第2に、このデータセットの例の90.40%に対して、平均1.69のユーザクエリでユーザ意図と整合した非自明な機能ユニットテストを生成することができる。

関連論文リスト

• LLM-Based Test-Driven Interactive Code Generation: User Study and Empirical Evaluation [13.800675921118348]
  本稿では,ガイド付き意図明確化のための対話型ワークフローTiCoderを提案する。 コード生成精度を向上させるためのワークフローの有効性を実証的に評価する。 我々は,5つのユーザインタラクション内において,データセットと全LLMのパス@1コード生成精度が平均45.97%向上したことを観察した。
  論文  参考訳（メタデータ） (2024-04-15T19:16:32Z)
• Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
  本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。 その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。 論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
  論文  参考訳（メタデータ） (2024-04-11T08:30:46Z)
• JumpCoder: Go Beyond Autoregressive Coder via Online Modification [18.9350072969148]
  JumpCoderは、人間に似たオンライン修正と非逐次生成が可能な新しいモデルに依存しないフレームワークで、LLMを増強する。 JumpCoderの背景にある重要なアイデアは、生成時に必要に応じて、現在生成されたコードに新しいコードを挿入することである。
  論文  参考訳（メタデータ） (2024-01-15T18:04:29Z)
• Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for Code Generation [22.219645213202178]
  本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。 本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-10-16T05:09:58Z)
• CodeFuse-13B: A Pretrained Multi-lingual Code Large Language Model [58.127534002232096]
  本稿では,オープンソースの事前学習型LLMであるCodeFuse-13Bを紹介する。 英語と中国語の両方のプロンプトによるコード関連のタスク用に特別に設計されている。 CodeFuseは、高品質な事前トレーニングデータセットを利用することで、その効果を達成する。
  論文  参考訳（メタデータ） (2023-10-10T02:38:44Z)
• Prompting with Pseudo-Code Instructions [12.166296720125187]
  我々は、分類、QA、生成言語タスクにまたがる132のタスクに対して、擬似コードプロンプトのデータセットを作成する。 これらのプロンプトと自然言語の対応を利用して, BLOOM と CodeGen の2つの LLM ファミリ上での性能について検討する。 実験の結果, 擬似符号命令を用いることで, 分類作業におけるF1得点の平均7～16ポイント, ROUGE-L得点の12～38%の増加(絶対値)が得られた。
  論文  参考訳（メタデータ） (2023-05-19T16:25:01Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• Natural Language to Code Translation with Execution [82.52142893010563]
  実行結果-プログラム選択のための最小ベイズリスク復号化。 そこで本研究では,自然言語からコードへのタスクにおいて,事前訓練されたコードモデルの性能を向上することを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:06:08Z)
• ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
  本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。 我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-03-15T08:25:08Z)
• Automatic Code Generation using Pre-Trained Language Models [0.0]
  学習済み言語モデルの上に構築されたPython言語におけるコード生成のためのエンドツーエンドの機械学習モデルを提案する。 本研究では,BLEUスコア0.22を達成し,適切なシーケンス・ツー・シーケンスベースラインよりも46%向上した,微調整モデルがコード生成タスクで良好に動作できることを実証する。
  論文  参考訳（メタデータ） (2021-02-21T07:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。