論文の概要: Asking Clarification Questions for Code Generation in General-Purpose Programming Language

• arxiv url: http://arxiv.org/abs/2212.09885v1
• Date: Mon, 19 Dec 2022 22:08:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 15:03:38.966548
• Title: Asking Clarification Questions for Code Generation in General-Purpose Programming Language
• Title（参考訳）: 汎用プログラミング言語におけるコード生成に関する明確化質問
• Authors: Haau-Sing Li, Mohsen Mesgar, Andr\'e F. T. Martins, Iryna Gurevych
• Abstract要約: テキストからのコード生成には、自然言語記述(NLD)からユーザの意図を理解する必要がある 本稿では,この課題に対して,より斬新で現実的なセットアップを導入する。 我々は、NLDの仕様の曖昧さは、明確化問題(CQ)を問うことによって解決されると仮定する。
• 参考スコア（独自算出の注目度）: 57.63906360576212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code generation from text requires understanding the user's intent from a natural language description (NLD) and generating an executable program code snippet that satisfies this intent. While recent pretrained language models (PLMs) demonstrate remarkable performance for this task, these models fail when the given NLD is ambiguous due to the lack of enough specifications for generating a high-quality code snippet. In this work, we introduce a novel and more realistic setup for this task. We hypothesize that ambiguities in the specifications of an NLD are resolved by asking clarification questions (CQs). Therefore, we collect and introduce a new dataset named CodeClarQA containing NLD-Code pairs with created CQAs. We evaluate the performance of PLMs for code generation on our dataset. The empirical results support our hypothesis that clarifications result in more precise generated code, as shown by an improvement of 17.52 in BLEU, 12.72 in CodeBLEU, and 7.7\% in the exact match. Alongside this, our task and dataset introduce new challenges to the community, including when and what CQs should be asked.
• Abstract（参考訳）: テキストからコードを生成するには、自然言語記述(NLD)からユーザの意図を理解し、この意図を満たす実行可能なプログラムコードスニペットを生成する必要がある。 最近のプレトレーニング言語モデル(PLM)は、このタスクで顕著な性能を示すが、これらのモデルは、高品質なコードスニペットを生成するのに十分な仕様が不足しているために、与えられたNLDが曖昧であるときに失敗する。 本稿では,この課題に対する新しい,より現実的な設定を提案する。 我々は、NLDの仕様の曖昧さは、明確化質問(CQ)によって解決されると仮定する。 そこで我々は、生成したCQAとNLD-Codeペアを含むCodeClarQAという新しいデータセットを収集し、導入する。 データセット上でのコード生成のためのPLMの性能を評価する。 実験結果は、BLEUの17.52、CodeBLEUの12.72、正確な一致の7.7\%の改善によって示されているように、明確化がより正確な生成コードをもたらすという我々の仮説を支持する。 これに加えて、私たちのタスクとデータセットは、いつ、どのCQを問うべきかなど、コミュニティに新しい課題をもたらします。

関連論文リスト

• NoviCode: Generating Programs from Natural Language Utterances by Novices [59.71218039095155]
  初心者非プログラマによるAPIと自然言語記述を入力とする新しいNLプログラミングタスクであるNoviCodeを提示する。 我々は、NoviCodeがコード合成領域における挑戦的なタスクであることを示し、非技術的命令から複雑なコードを生成することは、現在のText-to-Codeパラダイムを超えている。
  論文  参考訳（メタデータ） (2024-07-15T11:26:03Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
  事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。 本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。 この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
  論文  参考訳（メタデータ） (2022-10-26T04:47:18Z)
• Explaining Patterns in Data with Language Models via Interpretable Autoprompting [143.4162028260874]
  本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。 iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。 fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
  論文  参考訳（メタデータ） (2022-10-04T18:32:14Z)
• MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages [76.93265104421559]
  英語以外の自然言語コマンドからコード生成をベンチマークします。 スペイン語,日本語,ロシア語の3言語で896個のNLコードペアを注釈した。 難易度はこれらの3つの言語によって異なるが、全てのシステムは英語にかなり遅れている。
  論文  参考訳（メタデータ） (2022-03-16T04:21:50Z)
• Can Machines Read Coding Manuals Yet? -- A Benchmark for Building Better Language Models for Code Understanding [3.98345038769576]
  フォーラムの投稿で、質問に対する最良の回答を予測するなどのタスクに基づいて、コード理解を評価するためのベンチマークのセットを導出します。 我々は,これらのタスクにおける現状の言語モデルの性能を評価し,微調整による各タスクの大幅な改善を示す。
  論文  参考訳（メタデータ） (2021-09-15T17:42:44Z)
• BERT2Code: Can Pretrained Language Models be Leveraged for Code Search? [0.7953229555481884]
  我々は,本モデルが埋め込み空間と改良のスコープに対するさらなるプローブの間に固有の関係を学習することを示す。 本稿では,コード埋め込みモデルの品質が,我々のモデルの性能のボトルネックであることを示す。
  論文  参考訳（メタデータ） (2021-04-16T10:28:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。