論文の概要: Synchromesh: Reliable code generation from pre-trained language models
- arxiv url: http://arxiv.org/abs/2201.11227v1
- Date: Wed, 26 Jan 2022 22:57:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-28 15:15:12.984595
- Title: Synchromesh: Reliable code generation from pre-trained language models
- Title（参考訳）: Synchromesh: トレーニング済み言語モデルからの信頼性の高いコード生成
- Authors: Gabriel Poesia, Oleksandr Polozov, Vu Le, Ashish Tiwari, Gustavo
Soares, Christopher Meek, Sumit Gulwani
- Abstract要約: コード生成のための事前学習モデルの信頼性を大幅に向上するフレームワークであるSynchromeshを提案する。
まず、TST(Target similarity Tuning)を使用して、トレーニングバンクから、セマンティックなサンプル選択の新しい方法を使用して、数ショットのサンプルを検索する。
次に、Synchromeshはサンプルをトレーニング済みの言語モデルに供給し、対象言語の有効なプログラムセットに出力を制約する一般的なフレームワークであるConstrained Semantic Decoding (CSD)を使用してプログラムをサンプリングする。
- 参考スコア（独自算出の注目度）: 38.15391794443022
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large pre-trained language models have been used to generate code,providing a
flexible interface for synthesizing programs from natural language
specifications. However, they often violate syntactic and semantic rules of
their output language, limiting their practical usability. In this paper, we
propose Synchromesh: a framework for substantially improving the reliability of
pre-trained models for code generation. Synchromesh comprises two components.
First, it retrieves few-shot examples from a training bank using Target
Similarity Tuning (TST), a novel method for semantic example selection. TST
learns to recognize utterances that describe similar target programs despite
differences in surface natural language features. Then, Synchromesh feeds the
examples to a pre-trained language model and samples programs using Constrained
Semantic Decoding (CSD): a general framework for constraining the output to a
set of valid programs in the target language. CSD leverages constraints on
partial outputs to sample complete correct programs, and needs neither
re-training nor fine-tuning of the language model. We evaluate our methods by
synthesizing code from natural language descriptions using GPT-3 and Codex in
three real-world languages: SQL queries, Vega-Lite visualizations and SMCalFlow
programs. These domains showcase rich constraints that CSD is able to enforce,
including syntax, scope, typing rules, and contextual logic. We observe
substantial complementary gains from CSD and TST in prediction accuracy and in
effectively preventing run-time errors.
- Abstract（参考訳）: 大規模な事前訓練された言語モデルは、自然言語仕様からプログラムを合成するための柔軟なインターフェイスを提供するためにコードを生成するために使われてきた。
しかし、しばしば出力言語の構文規則や意味規則に違反し、実用的な使用性を制限する。
本稿では,コード生成のための事前学習モデルの信頼性を大幅に向上するフレームワークであるSynchromeshを提案する。
synchromeshには2つのコンポーネントがある。
まず、意味的サンプル選択のための新しい手法であるtarget similarity tuning(tst)を使用して、トレーニングバンクから少数のサンプルを取得する。
TSTは、表面自然言語の特徴の違いにもかかわらず、類似のターゲットプログラムを記述する発話を認識することを学ぶ。
次に、syncmeshはサンプルを事前学習された言語モデルに供給し、制約付きセマンティックデコーディング(csd:stricted semantic decoding)を使用してプログラムをサンプル化する。
CSDは部分出力の制約を利用して完全なプログラムをサンプリングし、言語モデルの再訓練も微調整も必要としない。
我々は,GPT-3 と Codex を用いた自然言語記述から,SQL クエリ,Vega-Lite の可視化,SMCalFlow プログラムの3つの実世界の言語でコードを合成して評価した。
これらのドメインは、構文、スコープ、型付けルール、コンテキスト論理など、CSDが強制できる豊富な制約を示す。
予測精度はCSDとTSTの相補的に向上し,実行時のエラーを効果的に防止する。
関連論文リスト
- Synthetic Programming Elicitation and Repair for Text-to-Code in Very Low-Resource Programming Languages [21.18996339478024]
SPEAC(emphsynthetic programming elicitation and compilation)を紹介する。
SPEACは意味的正当性を犠牲にすることなく、構文的正当性プログラムをはるかに頻繁に生成する。
ケーススタディにおいて,SPEACの性能を実証的に評価し,既存の検索基準や微調整基準と比較すると,SPEACは構文的に正しいプログラムをかなり頻繁に生成することがわかった。
論文 参考訳（メタデータ） (2024-06-05T22:16:19Z) - Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。
しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。
本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
論文 参考訳（メタデータ） (2024-05-24T04:35:13Z) - SLFNet: Generating Semantic Logic Forms from Natural Language Using Semantic Probability Graphs [6.689539418123863]
自然言語インターフェースの構築は通常、ユーザの自然言語を解析し、構造化された textbfSemantic textbfLogic textbfForms (SLFs) に変換するために semanticSlot を使用する。
本研究では,依存構文情報を先行知識として組み込んだニューラルネットワークSLFNetを提案し,文脈情報と単語間の長距離相互作用を捉える。
実験の結果,中国QCI-TSデータセットとオカピデータセットのSLFNetによる最先端のパフォーマンス,ATISデータセットの競合性能が得られた。
論文 参考訳（メタデータ） (2024-03-29T02:42:39Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳（メタデータ） (2023-06-13T08:08:08Z) - GanLM: Encoder-Decoder Pre-training with an Auxiliary Discriminator [114.8954615026781]
本稿では,補助判別器を導入して,エンコーダ・デコーダ事前学習のためのGANスタイルのモデルを提案する。
GanLMは2つのトレーニング済みの目標 – トークン検出の置き換えとトークン記述の置き換え – でトレーニングされている。
言語生成ベンチマークの実験では、強力な言語理解能力を持つ GanLM が、様々な強力な事前学習言語モデルより優れていることが示されている。
論文 参考訳（メタデータ） (2022-12-20T12:51:11Z) - Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。
本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。
この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
論文 参考訳（メタデータ） (2022-10-26T04:47:18Z) - PanGu-Coder: Program Synthesis with Function-Level Language Modeling [47.63943623661298]
PanGu-Coderは、PanGu-Alphaアーキテクチャを採用した事前訓練されたデコーダのみの言語モデルである。
最初の段階ではCausal Language Modellingを使用して、生のプログラミング言語データで事前トレーニングを行います。
第2段階では、Causal Language ModellingとMasked Language Modellingを組み合わせて、自然言語プログラム定義とコード関数のゆるくキュレートされたペアをトレーニングしている。
論文 参考訳（メタデータ） (2022-07-22T18:08:16Z) - BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and
Semantic Parsing [55.058258437125524]
本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。
APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。
実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
論文 参考訳（メタデータ） (2022-06-21T18:34:11Z) - Multi-modal Program Inference: a Marriage of Pre-trainedLanguage Models
and Component-based Synthesis [15.427687814482724]
マルチモーダルプログラム合成(マルチモーダルプログラムせき、英: Multi-modal program synthesis)とは、プログラム(コード)を異なる形式で指定した仕様から合成するタスクである。
例は正確だが不完全な仕様を提供し、自然言語は曖昧だがより「完全」なタスク記述を提供する。
2つのプログラミング領域に対するマルチモーダル合成システムのインスタンス化に,我々の組み合わせアプローチを用いる。
論文 参考訳（メタデータ） (2021-09-03T16:12:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。