論文の概要: Lyra: A Benchmark for Turducken-Style Code Generation
- arxiv url: http://arxiv.org/abs/2108.12144v1
- Date: Fri, 27 Aug 2021 07:22:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-30 18:04:35.434311
- Title: Lyra: A Benchmark for Turducken-Style Code Generation
- Title（参考訳）: Lyra: Turducken-Styleコード生成のベンチマーク
- Authors: Qingyuan Liang, Zeyu Sun, Qihao Zhu, Wenjie Zhang, Lian Yu, Yingfei
Xiong, Lu Zhang
- Abstract要約: ソフトウェア開発では、あるプログラミング言語が別のプログラミング言語に埋め込まれることが多い。
本稿では、自然言語のコメントを前提として、組み込み言語でプログラムを生成することを目的とした新しいコード生成タスクを定義する。
私たちの知る限り、これが最初のturduckenスタイルのコード生成タスクです。
- 参考スコア（独自算出の注目度）: 15.810088578588028
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Code generation is crucial to reduce manual software development efforts.
Recently, neural techniques have been used to generate source code
automatically. While promising, these approaches are evaluated on tasks for
generating code in single programming languages. However, in actual
development, one programming language is often embedded in another. For
example, SQL statements are often embedded as strings in base programming
languages such as Python and Java, and JavaScript programs are often embedded
in sever-side programming languages, such as PHP, Java, and Python. We call
this a turducken-style programming. In this paper, we define a new code
generation task: given a natural language comment, this task aims to generate a
program in a base language with an embedded language. To our knowledge, this is
the first turducken-style code generation task. For this task, we present Lyra:
a dataset in Python with embedded SQL. This dataset contains 2,000 carefully
annotated database manipulation programs from real usage projects. Each program
is paired with both a Chinese comment and an English comment. In our
experiment, we adopted Transformer, a state-of-the-art technique, as the
baseline. In the best setting, Transformer achieves 0.5% and 1.5% AST exact
matching accuracy using Chinese and English comments, respectively. Therefore,
we believe that Lyra provides a new challenge for code generation.
- Abstract（参考訳）: 手動のソフトウェア開発作業を減らすにはコード生成が不可欠である。
近年,ソースコードの自動生成にニューラルネットワークが用いられている。
有望だが、これらのアプローチは単一のプログラミング言語でコードを生成するタスクで評価される。
しかし、実際の開発では、あるプログラミング言語が別の言語に埋め込まれることがしばしばある。
例えば、SQLステートメントはPythonやJavaのような基本プログラミング言語の文字列として組み込まれ、JavaScriptプログラムはPHP、Java、Pythonのような厳格なプログラミング言語に埋め込まれることが多い。
これをturduckenスタイルのプログラミングと呼びます。
本稿では,新しいコード生成タスクを定義する。自然言語のコメントを前提として,組み込み言語を用いたベース言語でのプログラム生成を目標とする。
私たちの知る限り、これが最初のturduckenスタイルのコード生成タスクです。
このタスクでは、lyra:組込みsqlを備えたpythonのデータセットです。
このデータセットは、実際のプロジェクトから2000の注意深い注釈付きデータベース操作プログラムを含んでいる。
各プログラムには、中国語のコメントと英語のコメントがペアリングされる。
実験では,最先端技術であるtransformerをベースラインとして採用した。
最良の設定では、transformerは中国語と英語のコメントでそれぞれ0.5%と1.5%の正確なマッチング精度を達成している。
したがって、lyraはコード生成に新たな課題をもたらすと信じています。
関連論文リスト
- Benchmarking LLM Code Generation for Audio Programming with Visual Dataflow Languages [1.559169421643164]
ノードベースのプログラミング言語は、メディアアートコーディングドメインでますます人気がある。
LLMベースのコード生成を使用して、創造的なアウトプットの障壁をさらに低くするというのは、エキサイティングな機会です。
ビジュアルノードベースのプログラミング言語のためのコード生成の最良の戦略は、まだオープンな問題である。
論文 参考訳（メタデータ） (2024-09-01T22:11:23Z) - CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.7413285637879]
CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。
各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。
Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
論文 参考訳（メタデータ） (2024-08-23T11:43:00Z) - Automatic Generation of Python Programs Using Context-Free Grammars [0.1227734309612871]
TinyPy Generatorは、文脈自由文法を使ってランダムなPythonプログラムを生成するツールである。
私たちのシステムは、さまざまなレベルの複雑さを持つコードを生成するために、カスタムプロダクションルールを使用します。
TinyPy Generatorは機械学習の分野で有用であり、Python言語モデルをトレーニングするための大量のPythonコードを生成することができる。
論文 参考訳（メタデータ） (2024-03-11T08:25:52Z) - Natural Language Embedded Programs for Hybrid Language Symbolic Reasoning [84.12154024070024]
本研究では,数学・記号的推論,自然言語理解,後続の課題に対処するための統合フレームワークとして,自然言語組み込みプログラム(NLEP)を提案する。
我々のアプローチは,構造化知識の自然言語表現を含むデータ構造上の関数を定義する完全なPythonプログラムを生成するよう,言語モデルに促す。
Pythonインタープリタが生成されたコードを実行し、出力をプリントする。
論文 参考訳（メタデータ） (2023-09-19T17:54:21Z) - Natural Language to Code Translation with Execution [82.52142893010563]
実行結果-プログラム選択のための最小ベイズリスク復号化。
そこで本研究では,自然言語からコードへのタスクにおいて,事前訓練されたコードモデルの性能を向上することを示す。
論文 参考訳（メタデータ） (2022-04-25T06:06:08Z) - MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages [76.93265104421559]
英語以外の自然言語コマンドからコード生成をベンチマークします。
スペイン語,日本語,ロシア語の3言語で896個のNLコードペアを注釈した。
難易度はこれらの3つの言語によって異なるが、全てのシステムは英語にかなり遅れている。
論文 参考訳（メタデータ） (2022-03-16T04:21:50Z) - AVATAR: A Parallel Corpus for Java-Python Program Translation [77.86173793901139]
プログラム翻訳とは、ある言語から別の言語へソースコードを移行することを指す。
AVATARは9,515のプログラミング問題とそのソリューションをJavaとPythonという2つの人気のある言語で記述したものです。
論文 参考訳（メタデータ） (2021-08-26T05:44:20Z) - Natural Language-guided Programming [1.3955252961896318]
私たちは、このプロセスを大幅に自動化する可能性を秘めた、新しいタイプの開発ツールに基づいたビジョンを提唱しました。
主要なアイデアは、開発者がすでに記述したコードだけでなく、開発者が次に達成しようとしているタスクの意図も考慮して、コードの自動補完ツールを適用することである。
我々は、自然言語誘導プログラミングの完成を促進するために、このコードを自然言語意図で豊かにするプラクティスを、このプラクティスと呼んでいる。
論文 参考訳（メタデータ） (2021-08-11T13:06:33Z) - Incorporating External Knowledge through Pre-training for Natural
Language to Code Generation [97.97049697457425]
オープンドメインコード生成は、自然言語(NL)の意図から汎用プログラミング言語でコードを生成することを目的としている。
オンラインプログラミングQAフォーラムStackOverflowとプログラミング言語APIドキュメントからNL-codeペアを自動的にマイニングする。
評価の結果,2つのソースとデータ拡張と検索ベースデータ再サンプリングを組み合わせることで,コード生成テストベッドCoNaLa上でのBLEUスコアが最大2.2%向上することがわかった。
論文 参考訳（メタデータ） (2020-04-20T01:45:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。