論文の概要: NoviCode: Generating Programs from Natural Language Utterances by Novices

• arxiv url: http://arxiv.org/abs/2407.10626v2
• Date: Tue, 16 Jul 2024 05:36:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 13:14:33.738668
• Title: NoviCode: Generating Programs from Natural Language Utterances by Novices
• Title（参考訳）: NoviCode: 初心者による自然言語の発話からプログラムを生成する
• Authors: Asaf Achi Mordechai, Yoav Goldberg, Reut Tsarfaty,
• Abstract要約: 初心者非プログラマによるAPIと自然言語記述を入力とする新しいNLプログラミングタスクであるNoviCodeを提示する。 我々は、NoviCodeがコード合成領域における挑戦的なタスクであることを示し、非技術的命令から複雑なコードを生成することは、現在のText-to-Codeパラダイムを超えている。
• 参考スコア（独自算出の注目度）: 59.71218039095155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current Text-to-Code models demonstrate impressive capabilities in generating executable code from natural language snippets. However, current studies focus on technical instructions and programmer-oriented language, and it is an open question whether these models can effectively translate natural language descriptions given by non-technical users and express complex goals, to an executable program that contains an intricate flow - composed of API access and control structures as loops, conditions, and sequences. To unlock the challenge of generating a complete program from a plain non-technical description we present NoviCode, a novel NL Programming task, which takes as input an API and a natural language description by a novice non-programmer and provides an executable program as output. To assess the efficacy of models on this task, we provide a novel benchmark accompanied by test suites wherein the generated program code is assessed not according to their form, but according to their functional execution. Our experiments show that, first, NoviCode is indeed a challenging task in the code synthesis domain, and that generating complex code from non-technical instructions goes beyond the current Text-to-Code paradigm. Second, we show that a novel approach wherein we align the NL utterances with the compositional hierarchical structure of the code, greatly enhances the performance of LLMs on this task, compared with the end-to-end Text-to-Code counterparts.
• Abstract（参考訳）: 現在のText-to-Codeモデルは、自然言語スニペットから実行可能なコードを生成する素晴らしい機能を示している。 しかし、近年の研究では、技術的な指示やプログラマ指向言語に焦点をあてており、これらのモデルが、非技術的ユーザによる自然言語記述を効果的に翻訳し、複雑な目標を表現できるかどうか、複雑なフローを含む実行可能プログラム(APIアクセスと制御構造をループとしてループ、条件、シーケンスとして構成する)に翻訳できるかどうか、疑問視されている。 非技術的記述から完全なプログラムを生成するという課題を解き明かすため,新しいNLプログラミングタスクであるNoviCodeを紹介した。 このタスクにおけるモデルの有効性を評価するために,生成したプログラムコードをその形式ではなく機能的実行に応じて評価するテストスイートを伴って,新しいベンチマークを提案する。 我々の実験によると、まず最初に、NoviCodeはコード合成領域における挑戦的なタスクであり、非技術的命令から複雑なコードを生成することは、現在のText-to-Codeパラダイムを越えている。 第2に,NL音声をコードの構成階層構造に整合させることにより,このタスクにおけるLLMの性能を,エンドツーエンドのText-to-Codeに比べて大幅に向上させる手法を提案する。

関連論文リスト

• UniCoder: Scaling Code Large Language Model via Universal Code [40.248836046285014]
  中間表現としてユニバーサルコード(UniCode)を導入する。 UniCoder-Instructは自然言語の質問、コードソリューション、および対応するユニバーサルコードから構成される。 中間普遍符号表現と最終符号解とのアライメントは、生成されたコードの品質を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-06-24T08:32:48Z)
• Synthetic Programming Elicitation for Text-to-Code in Very Low-Resource Programming and Formal Languages [21.18996339478024]
  SPEAC(emphsynthetic programming elicitation and compilation)を紹介する。 SPEACは、より頻繁に、意味的正しさを犠牲にすることなく、構文的に正しいプログラムを生成する。 UCLID5形式検証言語のケーススタディにおいて,SPEACの性能を実証的に評価した。
  論文  参考訳（メタデータ） (2024-06-05T22:16:19Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• Code Execution with Pre-trained Language Models [88.04688617516827]
  コードインテリジェンスのトレーニング済みモデルのほとんどは実行トレースを無視しており、ソースコードと構文構造のみに依存している。 我々は,大規模かつ現実的なPythonデータセットとコード実行タスクを作成するために,突然変異に基づくデータ拡張手法を開発した。 次に、コード実行事前学習とカリキュラム学習を活用して意味理解を強化するトランスフォーマーモデルであるCodeExecutorを提案する。
  論文  参考訳（メタデータ） (2023-05-08T10:00:05Z)
• A Syntax-Guided Multi-Task Learning Approach for Turducken-Style Code Generation [19.489202790935902]
  本稿では,構文誘導型マルチタスク学習手法TurduckenGenを提案する。 具体的には、まず最初に型情報をコードトークンに明示的に付加し、構文制約の表現をキャプチャします。 次に,構文制約表現を用いたコード生成を補助タスクとして形式化し,モデルの構文制約学習を可能にする。
  論文  参考訳（メタデータ） (2023-03-09T06:22:07Z)
• Python Code Generation by Asking Clarification Questions [57.63906360576212]
  本稿では,この課題に対して,より斬新で現実的なセットアップを導入する。 我々は、自然言語記述の過小評価は、明確化を問うことで解決できると仮定する。 我々は、生成した合成明確化質問と回答を含む自然言語記述とコードのペアを含む、CodeClarQAという新しいデータセットを収集し、導入する。
  論文  参考訳（メタデータ） (2022-12-19T22:08:36Z)
• PanGu-Coder: Program Synthesis with Function-Level Language Modeling [47.63943623661298]
  PanGu-Coderは、PanGu-Alphaアーキテクチャを採用した事前訓練されたデコーダのみの言語モデルである。 最初の段階ではCausal Language Modellingを使用して、生のプログラミング言語データで事前トレーニングを行います。 第2段階では、Causal Language ModellingとMasked Language Modellingを組み合わせて、自然言語プログラム定義とコード関数のゆるくキュレートされたペアをトレーニングしている。
  論文  参考訳（メタデータ） (2022-07-22T18:08:16Z)
• Using Document Similarity Methods to create Parallel Datasets for Code Translation [60.36392618065203]
  あるプログラミング言語から別のプログラミング言語へのソースコードの翻訳は、重要で時間を要する作業です。 本稿では、文書類似性手法を用いて、ノイズの多い並列データセットを作成することを提案する。 これらのモデルは、妥当なレベルのノイズに対して、地上の真実に基づいて訓練されたモデルと相容れない性能を示す。
  論文  参考訳（メタデータ） (2021-10-11T17:07:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。