論文の概要: Neural Program Generation Modulo Static Analysis
- arxiv url: http://arxiv.org/abs/2111.01633v1
- Date: Tue, 26 Oct 2021 22:01:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-11-07 12:45:20.018763
- Title: Neural Program Generation Modulo Static Analysis
- Title（参考訳）: 静的解析によるニューラルプログラム生成
- Authors: Rohan Mukherjee, Yeming Wen, Dipak Chaudhari, Thomas W. Reps, Swarat
Chaudhuri, Chris Jermaine
- Abstract要約: 静的プログラムアナライザを用いて、メソッド本体全体を生成するために、深層生成モデルを訓練できることが示される。
提案手法は,プログラムのセマンティクスを明示的に学習しようとするモデルと,最先端のトランスフォーマーを著しく上回ることを示す。
- 参考スコア（独自算出の注目度）: 17.361588737402535
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: State-of-the-art neural models of source code tend to be evaluated on the
generation of individual expressions and lines of code, and commonly fail on
long-horizon tasks such as the generation of entire method bodies. We propose
to address this deficiency using weak supervision from a static program
analyzer. Our neurosymbolic method allows a deep generative model to
symbolically compute, using calls to a static-analysis tool, long-distance
semantic relationships in the code that it has already generated. During
training, the model observes these relationships and learns to generate
programs conditioned on them. We apply our approach to the problem of
generating entire Java methods given the remainder of the class that contains
the method. Our experiments show that the approach substantially outperforms
state-of-the-art transformers and a model that explicitly tries to learn
program semantics on this task, both in terms of producing programs free of
basic semantic errors and in terms of syntactically matching the ground truth.
- Abstract（参考訳）: ソースコードの最先端のニューラルモデルは、個々の表現やコード行の生成で評価される傾向があり、一般的に、メソッドボディ全体の生成のような長い水平タスクでは失敗する。
本稿では,静的プログラムアナライザの弱い監視手法を用いて,この欠陥に対処することを提案する。
我々のニューロシンボリックな手法は、静的解析ツールを呼び出し、すでに生成されたコード内の長距離意味関係を利用して、深い生成モデルを象徴的に計算することができる。
トレーニング中、モデルはこれらの関係を観察し、それらに条件付きプログラムを生成することを学ぶ。
我々は、メソッドを含むクラスの残りの部分からJavaメソッド全体を生成する問題にアプローチを適用します。
提案手法は, 基本的な意味的誤りのないプログラムの生成と, 基礎的真理の構文的マッチングという両面で, 最先端のトランスフォーマーや, このタスクのプログラム意味論を明示的に学習しようとするモデルを大きく上回っていることを示す。
関連論文リスト
- Operator Models for Continuous-Time Offline Reinforcement Learning [4.808981008878068]
環境との直接の相互作用は、しばしば安全でないか非現実的であり、歴史的データからオフラインの強化学習を動機付けている。
ハミルトン・ヤコビ・ベルマン方程式に強化学習をリンクし、演算子理論のアルゴリズムを提案することでこの問題に対処する。
具体的には、再生カーネルヒルベルト空間で学習した制御拡散過程の無限小生成という観点から世界モデルを表現している。
論文 参考訳（メタデータ） (2025-11-13T14:58:30Z) - Taming Imperfect Process Verifiers: A Sampling Perspective on Backtracking [54.43083499412643]
言語モデルの生成能力をプロセス検証器と組み合わせたテストタイムアルゴリズムは、新しい推論能力を引き出すための有望なレバーを提供する。
提案手法は, 理論的に根拠付きバックトラックを用いて, 検証誤差に対して, 確実な堅牢性を実現するための新しいプロセス誘導型テスト時間サンプリングアルゴリズムであるVGBを導入する。
論文 参考訳（メタデータ） (2025-10-03T16:21:14Z) - Continual Learning for Generative AI: From LLMs to MLLMs and Beyond [56.29231194002407]
本稿では,主流生成型AIモデルに対する連続学習手法の総合的な調査を行う。
これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースという3つのパラダイムに分類する。
我々は、トレーニング目標、ベンチマーク、コアバックボーンを含む、異なる生成モデルに対する連続的な学習設定を分析する。
論文 参考訳（メタデータ） (2025-06-16T02:27:25Z) - Self-Evaluation for Job-Shop Scheduling [1.3927943269211593]
スケジューリングやルート計画といった組合せ最適化問題は、様々な産業において重要であるが、NPハードの性質から計算的に難解である。
本稿では,従来の段階的アプローチを超えて,課題のサブセットを生成し,評価する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-12T11:22:33Z) - Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳（メタデータ） (2024-02-20T15:23:24Z) - Neural Abstractions [72.42530499990028]
本稿では,ニューラルネットワークを用いた非線形力学モデルの安全性検証手法を提案する。
提案手法は,既存のベンチマーク非線形モデルにおいて,成熟度の高いFlow*と同等に動作することを示す。
論文 参考訳（メタデータ） (2023-01-27T12:38:09Z) - CodeRL: Mastering Code Generation through Pretrained Models and Deep
Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。
推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。
モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文 参考訳（メタデータ） (2022-07-05T02:42:15Z) - Deep Active Learning with Noise Stability [24.54974925491753]
ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。
本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。
本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
論文 参考訳（メタデータ） (2022-05-26T13:21:01Z) - Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。
我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。
質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
論文 参考訳（メタデータ） (2021-10-21T13:04:21Z) - Contemporary Symbolic Regression Methods and their Relative Performance [5.285811942108162]
本研究では,252種類の回帰問題に対して,14のシンボル回帰法と7つの機械学習法を評価する。
実世界のデータセットでは、各手法が低いエラーと低い複雑さでモデルを学習する能力をベンチマークする。
合成問題に対して,様々なレベルのノイズが存在する場合に,各手法の正確な解を求める能力を評価する。
論文 参考訳（メタデータ） (2021-07-29T22:12:59Z) - A Spectral Energy Distance for Parallel Speech Synthesis [29.14723501889278]
音声合成は重要な実用的生成モデル問題である。
そこで本研究では,高度に並列な音声モデルの学習を可能にする学習手法を提案する。
論文 参考訳（メタデータ） (2020-08-03T19:56:04Z) - On the Generalizability of Neural Program Models with respect to
Semantic-Preserving Program Transformations [25.96895574298886]
意味保存変換に対するニューラルプログラムモデルの一般化性を評価する。
コードには3つの異なるサイズのJavaデータセットと3つの最先端ニューラルネットワークモデルを使用します。
本結果は,抽象構文木のみに基づくニューラルプログラムモデルよりも,プログラム内のデータおよび制御依存性に基づくニューラルプログラムモデルの方が一般化可能であることを示唆している。
論文 参考訳（メタデータ） (2020-07-31T20:39:20Z) - Learning Generalized Relational Heuristic Networks for Model-Agnostic
Planning [29.714818991696088]
本稿では,記号的行動モデルが存在しない場合の一般化を学習するための新しいアプローチを開発する。
データの効率的で一般化可能な学習を容易にするために、抽象状態表現を使用する。
論文 参考訳（メタデータ） (2020-07-10T06:08:28Z) - Evaluating the Disentanglement of Deep Generative Models through
Manifold Topology [66.06153115971732]
本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。
複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
論文 参考訳（メタデータ） (2020-06-05T20:54:11Z) - Creating Synthetic Datasets via Evolution for Neural Program Synthesis [77.34726150561087]
いくつかのプログラム合成手法は、ランダムに生成された例と異なるデータ分布によく一般化されていることを示す。
本稿では, 合成データ分布のバイアスを制御し, 現在の手法より優れていることを示すための, 新たな敵対的手法を提案する。
論文 参考訳（メタデータ） (2020-03-23T18:34:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。