論文の概要: Transformer-based Program Synthesis for Low-Data Environments
- arxiv url: http://arxiv.org/abs/2205.09246v1
- Date: Wed, 18 May 2022 23:33:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-21 08:31:59.631258
- Title: Transformer-based Program Synthesis for Low-Data Environments
- Title（参考訳）: 変圧器を用いた低データ環境向けプログラム合成
- Authors: Jack Roper
- Abstract要約: 大規模な事前学習型トランスフォーマーモデル(GPT2/3, T5)は、入力/出力の一連の例を満たすプログラムを生成するためにプログラム合成に使われている。
本稿では,これら2つの問題に対処するために,プログラミング言語の属性付き文脈自由文法を用いてプログラムを生成する手法について検討する。
まず、合成データセットを効率的に作成でき、十分なデータでトランスフォーマーモデルを提供できることを発見した。
また,プログラム属性へのアクセスをモデルに与えることは,低データ環境において特に有効であることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in large pre-trained transformer models (GPT2/3, T5) have
found use in program synthesis to generate programs that satisfy a set of
input/output examples. However, these models perform poorly on long-horizon and
low-data tasks, and often don't seem to understand the semantics of the
languages they generate. We investigate an approach that tackles both of these
issues, by using attributed context-free-grammars of programming languages to
generate programs, and then analyzing generated programs so that they can be
annotated with compile and runtime attributes, such as types, so that
information about the program can be remembered during long-horizon generation.
We firstly find that synthesized datasets can be made efficiently and can
provide transformer models with enough data in order to perform well on some
synthesis tasks. We also find that giving models access to program attributes
is especially effective in low-data environments, and tends improve the quality
and reduce errors of transformer-generated programs.
- Abstract（参考訳）: 大規模な事前学習型トランスフォーマーモデル(GPT2/3, T5)の最近の進歩は、入力/出力の一連の例を満たすプログラムを生成するためにプログラム合成に使われている。
しかし、これらのモデルは長い水平および低データのタスクでは不十分であり、しばしばそれらが生成する言語のセマンティクスを理解していないように見える。
そこで本研究では,プログラム生成に属性付き文脈自由文法を用い,コンパイルや実行時属性,例えば型などのアノテートでアノテートできるように生成したプログラムを解析し,長期にわたってプログラムに関する情報を記憶可能にする手法について検討する。
まず、合成されたデータセットを効率的に作成でき、変換器モデルに十分なデータを提供して、いくつかの合成タスクをうまくこなせるようにする。
また,低データ環境では,モデルにプログラム属性へのアクセスを与えることが特に有効であり,トランスフォーマティブ生成プログラムの品質向上とエラー低減が期待できることがわかった。
関連論文リスト
- Modelling Concurrency Bugs Using Machine Learning [0.0]
このプロジェクトは、一般的な機械学習アプローチと最近の機械学習アプローチを比較することを目的としている。
我々は、実生活(同時)プログラムをシミュレートする範囲で生成する合成データセットを定義する。
各種機械学習モデルモデルの基本的な限界に関する仮説を定式化する。
論文 参考訳（メタデータ） (2023-05-08T17:30:24Z) - Enhancing Automated Program Repair through Fine-tuning and Prompt
Engineering [2.3826139428423576]
シーケンス・ツー・シーケンスのモデルは、十分に大規模なデータセットでトレーニングされた時に、誤ったプログラムを正しいプログラムに変換するために使われてきた。
いくつかの最近の研究は、コードレビューがプログラムの修復をさらに改善できるという強い実証的な証拠を示した。
PLとNLの本質的な知識が,プログラムの自動修復の改善に有効かどうかを検討する。
論文 参考訳（メタデータ） (2023-04-16T17:29:51Z) - Planning with Large Language Models for Code Generation [100.07232672883897]
Planning-Guided Transformer Decoding (PG-TD) は、計画アルゴリズムを用いてルックアヘッド検索を行い、トランスフォーマーを誘導してより良いプログラムを生成する。
我々は、公開コーディングチャレンジベンチマークのバックボーンとして、いくつかの大きな言語モデルを用いて、我々のフレームワークを実証的に評価する。
論文 参考訳（メタデータ） (2023-03-09T18:59:47Z) - CodeRL: Mastering Code Generation through Pretrained Models and Deep
Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。
推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。
モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文 参考訳（メタデータ） (2022-07-05T02:42:15Z) - A Conversational Paradigm for Program Synthesis [110.94409515865867]
本稿では,大規模言語モデルを用いた対話型プログラム合成手法を提案する。
私たちは、自然言語とプログラミング言語のデータに基づいて、CodeGenと呼ばれる大規模な言語モデルのファミリーを訓練します。
本研究は,会話能力の出現と,提案した会話プログラム合成パラダイムの有効性を示すものである。
論文 参考訳（メタデータ） (2022-03-25T06:55:15Z) - Latent Execution for Neural Program Synthesis Beyond Domain-Specific
Languages [97.58968222942173]
入力出力の例からCプログラムを合成する第一歩を踏み出す。
特に,部分生成プログラムの実行を近似するために潜在表現を学習するLa Synthを提案する。
これらのプログラムのトレーニングにより,Karel と C のプログラム合成における予測性能がさらに向上することを示す。
論文 参考訳（メタデータ） (2021-06-29T02:21:32Z) - Unnatural Language Processing: Bridging the Gap Between Synthetic and
Natural Language Data [37.542036032277466]
本稿では,言語理解問題における-simulation-to-real'転送手法を提案する。
我々のアプローチは、いくつかのドメインで自然言語データに基づいて訓練された最先端のモデルと一致または性能を向上する。
論文 参考訳（メタデータ） (2020-04-28T16:41:00Z) - Creating Synthetic Datasets via Evolution for Neural Program Synthesis [77.34726150561087]
いくつかのプログラム合成手法は、ランダムに生成された例と異なるデータ分布によく一般化されていることを示す。
本稿では, 合成データ分布のバイアスを制御し, 現在の手法より優れていることを示すための, 新たな敵対的手法を提案する。
論文 参考訳（メタデータ） (2020-03-23T18:34:15Z) - Synthetic Datasets for Neural Program Synthesis [66.20924952964117]
本稿では,プログラムと仕様の両方で合成データ分布のバイアスを制御し,評価するための新しい手法を提案する。
そこで我々は,Karel DSLと小さなCalculator DSLを用いて,これらの分布上でのディープネットワークのトレーニングにより,分散一般化性能が向上することが実証された。
論文 参考訳（メタデータ） (2019-12-27T21:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。