論文の概要: Energy-Based Models for Code Generation under Compilability Constraints

• arxiv url: http://arxiv.org/abs/2106.04985v1
• Date: Wed, 9 Jun 2021 11:06:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 00:08:12.249686
• Title: Energy-Based Models for Code Generation under Compilability Constraints
• Title（参考訳）: コンパイル可能性制約下におけるコード生成のためのエネルギーモデル
• Authors: Tomasz Korbak and Hady Elsahar and Marc Dymetman and Germ\'an Kruszewski
• Abstract要約: 本研究では,コンパイル可能なコードを制約満足度として生成する学習の課題を提起する。 本稿では,コンパイル可能なシーケンスのみを生成する制約を課した,事前学習された生成モデルを表すEnergy-Based Model(EBM)を定義する。 次に,KL-Adaptive Distributional Policy Gradientアルゴリズムを用いて,EMMを近似した生成モデルを訓練する。
• 参考スコア（独自算出の注目度）: 2.9176992922046923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural language models can be successfully trained on source code, leading to applications such as code completion. However, their versatile autoregressive self-supervision objective overlooks important global sequence-level features that are present in the data such as syntactic correctness or compilability. In this work, we pose the problem of learning to generate compilable code as constraint satisfaction. We define an Energy-Based Model (EBM) representing a pre-trained generative model with an imposed constraint of generating only compilable sequences. We then use the KL-Adaptive Distributional Policy Gradient algorithm (Khalifa et al., 2021) to train a generative model approximating the EBM. We conduct experiments showing that our proposed approach is able to improve compilability rates without sacrificing diversity and complexity of the generated samples.
• Abstract（参考訳）: ニューラル言語モデルはソースコードでうまくトレーニングすることができ、コード補完のようなアプリケーションに繋がる。 しかし、その汎用的自己回帰的自己超越目的は、構文的正当性やコンパイル可能性などのデータに存在する重要なグローバルなシーケンスレベル特徴を見落としている。 本研究では,コンパイル可能なコードを制約満足度として生成する学習の課題を提起する。 本稿では,コンパイル可能なシーケンスのみを生成する制約を課した,事前学習された生成モデルを表すエネルギーベースモデル(EBM)を定義する。 次に,kl適応分布政策勾配アルゴリズム(khalifa et al., 2021)を用いて,ebmに近い生成モデルを学習する。 提案手法は, 生成したサンプルの多様性や複雑さを犠牲にすることなく, コンパイル可能性を向上させることができることを示す実験を行った。

関連論文リスト

• LLM as a code generator in Agile Model Driven Development [1.12646803578849]
  この研究は、これらの課題を克服するための実行可能な戦略としてモデル駆動開発(MDD)を擁護します。 我々は GPT4 をコードジェネレータとして利用する Agile Model Driven Development (AMDD) アプローチを提案する。 GPT4自動生成機能を適用すると、JADEおよびPADEフレームワークと互換性のあるJavaとPythonコードが生成される。
  論文  参考訳（メタデータ） (2024-10-24T07:24:11Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Instructed Language Models with Retrievers Are Powerful Entity Linkers [87.16283281290053]
  Instructed Generative Entity Linker (INSGENEL)は、カジュアル言語モデルが知識ベース上でエンティティリンクを実行することを可能にする最初のアプローチである。 INSGENEL は、+6.8 F1 点が平均的に上昇する以前の生成的代替よりも優れていた。
  論文  参考訳（メタデータ） (2023-11-06T16:38:51Z)
• A Hybrid of Generative and Discriminative Models Based on the Gaussian-coupled Softmax Layer [5.33024001730262]
  本稿では,1つのニューラルネットワークにおける識別モデルと生成モデルのハイブリッドを学習する手法を提案する。 提案手法を半教師付き学習と信頼性校正に適用できることを実証する。
  論文  参考訳（メタデータ） (2023-05-10T05:48:22Z)
• Distributional Learning of Variational AutoEncoder: Application to Synthetic Data Generation [0.7614628596146602]
  本稿では,VAEフレームワークの計算上の利点を犠牲にすることなく,モデル容量を拡大する手法を提案する。 VAEモデルのデコーダは、非対称ラプラス分布の無限混合からなる。 提案したモデルを合成データ生成に適用し,特にデータプライバシの調整が容易であることを示す。
  論文  参考訳（メタデータ） (2023-02-22T11:26:50Z)
• Is Conditional Generative Modeling all you need for Decision-Making? [19.39663779573325]
  条件生成モデリングは意思決定の強力なツールであることを示す。 その結果,条件付き生成モデリングは意思決定の強力なツールであることがわかった。
  論文  参考訳（メタデータ） (2022-11-28T18:59:02Z)
• Controllable and Compositional Generation with Latent-Space Energy-Based Models [60.87740144816278]
  制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。 本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。 エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-10-21T03:31:45Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。