論文の概要: Toward Trustworthy Neural Program Synthesis
- arxiv url: http://arxiv.org/abs/2210.00848v2
- Date: Mon, 9 Oct 2023 21:21:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 16:09:10.987108
- Title: Toward Trustworthy Neural Program Synthesis
- Title（参考訳）: 信頼できるニューラルプログラム合成に向けて
- Authors: Darren Key, Wen-Ding Li, Kevin Ellis
- Abstract要約: 本研究では,大規模言語モデルからサンプルしたプログラムが正しい確率を推定する手法を開発する。
プログラミング問題の自然言語記述を前提として,本手法では,プログラムの振る舞いを規定する候補述語だけでなく,候補プログラムも抽出する。
- 参考スコア（独自算出の注目度）: 6.3557174349423455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop an approach to estimate the probability that a program sampled
from a large language model is correct. Given a natural language description of
a programming problem, our method samples both candidate programs as well as
candidate predicates specifying how the program should behave. This allows
learning a model that forms a well-calibrated probabilistic prediction of
program correctness. Our system also infers which predicates are useful to
explain the behavior of the generated code, and humans preferred these in a
human study over raw language model outputs. Our method is simple, easy to
implement, and maintains state of the art generation accuracy results.
- Abstract（参考訳）: 本研究では,大規模言語モデルからサンプルしたプログラムが正しい確率を推定する手法を開発する。
プログラム問題の自然言語記述を与えられた場合,提案手法は,プログラムの振る舞いを規定する候補述語と候補述語の両方をサンプリングする。
これにより、プログラムの正しさの確率論的予測をよく分類したモデルを学ぶことができる。
また,本システムでは,生成したコードの振る舞いを説明する上で,どの述語が有用であるかを推定し,人間は生の言語モデル出力よりもこれらを好んだ。
本手法は, 簡便で実装が容易で, 技術生成精度の維持を図っている。
関連論文リスト
- Improving Open-Ended Text Generation via Adaptive Decoding [6.746656673563492]
本研究では、動的に言語モデルに適応的復号化を導入し、生成時に意味のある候補集合を同定する機構を提案する。
実験結果から,本手法は多様性と一貫性のバランスが良好であることが明らかとなった。
我々の手法は言語モデルの推論能力を向上させる可能性がある。
論文 参考訳（メタデータ） (2024-02-28T10:38:21Z) - Fault-Aware Neural Code Rankers [64.41888054066861]
サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。
我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2022-06-04T22:01:05Z) - Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。
自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。
提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
論文 参考訳（メタデータ） (2022-05-28T03:31:07Z) - Foundation Posteriors for Approximate Probabilistic Inference [11.64841553345271]
我々は確率的プログラムにおいて、推論をマスク付き言語モデリングとして定式化する。
ニューラルネットワークをトレーニングしてランダムな値を解き放ち、近似した後続分布を定義する。
提案手法の有効性をSTANプログラムのベンチマークで示す。
論文 参考訳（メタデータ） (2022-05-19T17:42:37Z) - Program Analysis of Probabilistic Programs [3.299672391663527]
プログラム解析を用いて確率的プログラミングを改善するための3つの新しい手法を提案する。
このテクニックは確率的プログラムを分析し、推論をより効率的にするためにそれを適用する。
論文 参考訳（メタデータ） (2022-04-14T10:40:54Z) - A Conversational Paradigm for Program Synthesis [110.94409515865867]
本稿では,大規模言語モデルを用いた対話型プログラム合成手法を提案する。
私たちは、自然言語とプログラミング言語のデータに基づいて、CodeGenと呼ばれる大規模な言語モデルのファミリーを訓練します。
本研究は,会話能力の出現と,提案した会話プログラム合成パラダイムの有効性を示すものである。
論文 参考訳（メタデータ） (2022-03-25T06:55:15Z) - Typical Decoding for Natural Language Generation [76.69397802617064]
本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。
典型的なサンプリングでは,品質面での競争性能が期待できる。
論文 参考訳（メタデータ） (2022-02-01T18:58:45Z) - Latent Programmer: Discrete Latent Codes for Program Synthesis [56.37993487589351]
プログラム合成や文書要約などの多くのシーケンス学習タスクにおいて、重要な問題は出力シーケンスの広い空間を探索することである。
本稿では,検索対象とする出力の表現を学習することを提案する。
本稿では,まず入力/出力サンプルから離散潜在コードを予測するプログラム合成手法であるemphLatent Programmerを紹介し,そのプログラムを対象言語で生成する。
論文 参考訳（メタデータ） (2020-12-01T10:11:35Z) - Transforming Probabilistic Programs for Model Checking [0.0]
確率的プログラムに静的解析を適用し、2つの重要なモデル検査手法の大部分を自動化する。
本手法は,密度関数を指定する確率的プログラムを,効率的なフォワードサンプリング形式に変換する。
本稿では,一般的なStan確率型プログラミング言語を対象とする実装を提案する。
論文 参考訳（メタデータ） (2020-08-21T21:06:34Z) - Exploring Software Naturalness through Neural Language Models [56.1315223210742]
ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。
この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
論文 参考訳（メタデータ） (2020-06-22T21:56:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。