論文の概要: Python Code Generation by Asking Clarification Questions
- arxiv url: http://arxiv.org/abs/2212.09885v2
- Date: Fri, 26 May 2023 16:03:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 23:01:49.322536
- Title: Python Code Generation by Asking Clarification Questions
- Title（参考訳）: 明確化質問によるpythonコード生成
- Authors: Haau-Sing Li, Mohsen Mesgar, Andr\'e F. T. Martins, Iryna Gurevych
- Abstract要約: 本稿では,この課題に対して,より斬新で現実的なセットアップを導入する。
我々は、自然言語記述の過小評価は、明確化を問うことで解決できると仮定する。
我々は、生成した合成明確化質問と回答を含む自然言語記述とコードのペアを含む、CodeClarQAという新しいデータセットを収集し、導入する。
- 参考スコア（独自算出の注目度）: 57.63906360576212
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Code generation from text requires understanding the user's intent from a
natural language description and generating an executable code snippet that
satisfies this intent. While recent pretrained language models demonstrate
remarkable performance for this task, these models fail when the given natural
language description is under-specified. In this work, we introduce a novel and
more realistic setup for this task. We hypothesize that the under-specification
of a natural language description can be resolved by asking clarification
questions. Therefore, we collect and introduce a new dataset named CodeClarQA
containing pairs of natural language descriptions and code with created
synthetic clarification questions and answers. The empirical results of our
evaluation of pretrained language model performance on code generation show
that clarifications result in more precisely generated code, as shown by the
substantial improvement of model performance in all evaluation metrics.
Alongside this, our task and dataset introduce new challenges to the community,
including when and what clarification questions should be asked. Our code and
dataset are available on GitHub.
- Abstract（参考訳）: テキストからコードを生成するには、自然言語記述からユーザの意図を理解し、この意図を満たす実行可能なコードスニペットを生成する必要がある。
最近の事前学習された言語モデルは、このタスクに顕著な性能を示すが、与えられた自然言語記述が不特定である場合、これらのモデルは失敗する。
本稿では,この課題に対する新しい,より現実的な設定を提案する。
我々は、自然言語記述の過小評価は、明確化を問うことで解決できると仮定する。
そこで我々は,生成した合成明確化質問と回答を含む自然言語記述とコードを含む,CodeClarQAという新しいデータセットを収集,導入した。
コード生成における事前学習された言語モデルの性能評価の結果から,すべての評価指標におけるモデル性能の大幅な向上が示すように,より正確に生成されたコードが得られることがわかった。
これと並行して、私たちのタスクとデータセットは、いつ、どんな明確な質問をすべきなのかを含む、コミュニティに新しい課題を導入します。
コードとデータセットはGitHubで入手可能です。
関連論文リスト
- NoviCode: Generating Programs from Natural Language Utterances by Novices [59.71218039095155]
初心者非プログラマによるAPIと自然言語記述を入力とする新しいNLプログラミングタスクであるNoviCodeを提示する。
我々は、NoviCodeがコード合成領域における挑戦的なタスクであることを示し、非技術的命令から複雑なコードを生成することは、現在のText-to-Codeパラダイムを超えている。
論文 参考訳（メタデータ） (2024-07-15T11:26:03Z) - Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。
これらのデータセットは10以上のプログラミング言語をカバーする。
コード生成モデルの性能を多言語で評価することができる。
論文 参考訳（メタデータ） (2022-10-26T17:17:06Z) - Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。
本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。
この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
論文 参考訳（メタデータ） (2022-10-26T04:47:18Z) - Explaining Patterns in Data with Language Models via Interpretable
Autoprompting [143.4162028260874]
本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。
iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。
fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
論文 参考訳（メタデータ） (2022-10-04T18:32:14Z) - MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages [76.93265104421559]
英語以外の自然言語コマンドからコード生成をベンチマークします。
スペイン語,日本語,ロシア語の3言語で896個のNLコードペアを注釈した。
難易度はこれらの3つの言語によって異なるが、全てのシステムは英語にかなり遅れている。
論文 参考訳（メタデータ） (2022-03-16T04:21:50Z) - Can Machines Read Coding Manuals Yet? -- A Benchmark for Building Better
Language Models for Code Understanding [3.98345038769576]
フォーラムの投稿で、質問に対する最良の回答を予測するなどのタスクに基づいて、コード理解を評価するためのベンチマークのセットを導出します。
我々は,これらのタスクにおける現状の言語モデルの性能を評価し,微調整による各タスクの大幅な改善を示す。
論文 参考訳（メタデータ） (2021-09-15T17:42:44Z) - BERT2Code: Can Pretrained Language Models be Leveraged for Code Search? [0.7953229555481884]
我々は,本モデルが埋め込み空間と改良のスコープに対するさらなるプローブの間に固有の関係を学習することを示す。
本稿では,コード埋め込みモデルの品質が,我々のモデルの性能のボトルネックであることを示す。
論文 参考訳（メタデータ） (2021-04-16T10:28:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。