論文の概要: PAC Prediction Sets for Large Language Models of Code
- arxiv url: http://arxiv.org/abs/2302.08703v2
- Date: Wed, 21 Jun 2023 02:35:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 17:45:47.148843
- Title: PAC Prediction Sets for Large Language Models of Code
- Title(参考訳): 大規模言語モデルのためのPAC予測セット
- Authors: Adam Khakhar, Stephen Mell, Osbert Bastani
- Abstract要約: 本稿では,コンパクトに部分的プログラムとして表現可能な,制約付き予測セットの集合を考慮した解を提案する。
これは、生成コードモデルのためのPAC予測セットを生成する最初の研究コントリビューションである。
- 参考スコア(独自算出の注目度): 19.071829387911276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prediction sets have recently been shown to be a promising strategy for
quantifying the uncertainty of deep neural networks in a way that provides
theoretical guarantees. However, existing techniques have largely targeted
settings where the space of labels is simple, so prediction sets can be
arbitrary subsets of labels. For structured prediction problems where the space
of labels is exponential in size, even prediction sets containing a small
fraction of all labels can be exponentially large. In the context of code
generation, we propose a solution that considers a restricted set of prediction
sets that can compactly be represented as partial programs, which are programs
with portions replaced with holes. Given a trained code generation model, our
algorithm leverages a programming language's abstract syntax tree to generate a
set of programs such that the correct program is in the set with
high-confidence. Valuable applications of our algorithm include a Codex-style
code generator with holes in uncertain parts of the generated code, which
provides a partial program with theoretical guarantees. We evaluate our
approach on PICARD (a T5 model for SQL semantic parsing) and Codex (a GPT model
for over a dozen programming languages, including Python), demonstrating that
our approach generates compact PAC prediction sets. This is the first research
contribution that generates PAC prediction sets for generative code models.
- Abstract(参考訳): 予測セットは、理論的な保証を提供する方法でディープニューラルネットワークの不確実性を定量化するための有望な戦略であることが最近示されている。
しかし、既存の手法はラベルの空間が単純であるような設定を主にターゲットとしているため、予測セットはラベルの任意の部分集合となることができる。
ラベルの空間が指数関数的に大きい構造化予測問題の場合、すべてのラベルのごく一部を含む予測集合でさえ指数関数的に大きい。
コード生成の文脈では、部分的なプログラムとしてコンパクトに表現できる予測セットの制限セットを考慮し、部分的な部分を穴に置き換えたプログラムを提案する。
訓練されたコード生成モデルが与えられると、アルゴリズムはプログラミング言語の抽象構文木を利用して、正しいプログラムが信頼度の高いセットにあるような一連のプログラムを生成する。
このアルゴリズムの有用な応用例としては、生成されたコードの不確かさ部分に穴があるcodexスタイルのコードジェネレータがあり、理論的な保証のある部分プログラムを提供する。
我々はPICARD(SQLセマンティックパースのためのT5モデル)とCodex(Pythonを含む12以上のプログラミング言語のためのGPTモデル)に対するアプローチを評価し、我々のアプローチがコンパクトなPAC予測セットを生成することを示した。
これは、生成コードモデルのためのPAC予測セットを生成する最初の研究貢献である。
関連論文リスト
- Multi-Candidate Speculative Decoding [82.05519287513444]
大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。
これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。
本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。
対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
論文 参考訳(メタデータ) (2024-01-12T17:15:23Z) - PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳(メタデータ) (2023-10-19T17:57:57Z) - Machine Learning-Aided Efficient Decoding of Reed-Muller Subcodes [59.55193427277134]
Reed-Muller (RM) 符号は、一般的なバイナリインプットメモリレス対称チャネルの容量を達成する。
RM符号は制限されたレートのみを許容する。
効率的なデコーダは、RM符号に対して有限長で利用可能である。
論文 参考訳(メタデータ) (2023-01-16T04:11:14Z) - CODEP: Grammatical Seq2Seq Model for General-Purpose Code Generation [13.702504014245713]
汎用コード生成は、自然言語(NL)記述をPythonのような汎用プログラミング言語(GPL)のコードスニペットに自動的に変換することを目的としている。
既存のシーケンス・ツー・シーケンス(Seq2Seq)アプローチは文法規則を無視したコードを生成する。
本稿では,プッシュダウン・オートマトン(PDA)モジュールを備えた文法型Seq2Seqコード生成フレームワークであるCODEPを提案する。
論文 参考訳(メタデータ) (2022-11-02T01:40:18Z) - Fault-Aware Neural Code Rankers [64.41888054066861]
サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。
我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
論文 参考訳(メタデータ) (2022-06-04T22:01:05Z) - Foundation Posteriors for Approximate Probabilistic Inference [11.64841553345271]
我々は確率的プログラムにおいて、推論をマスク付き言語モデリングとして定式化する。
ニューラルネットワークをトレーニングしてランダムな値を解き放ち、近似した後続分布を定義する。
提案手法の有効性をSTANプログラムのベンチマークで示す。
論文 参考訳(メタデータ) (2022-05-19T17:42:37Z) - Representing Partial Programs with Blended Abstract Semantics [62.20775388513027]
プログラム合成エンジンにおける部分的なプログラム表現手法について紹介する。
モジュラーニューラルネットワークとして実装された近似実行モデルを学ぶ。
これらのハイブリッドニューロシンボリック表現は、実行誘導型シンセサイザーがより強力な言語構成を使うことができることを示す。
論文 参考訳(メタデータ) (2020-12-23T20:40:18Z) - Latent Programmer: Discrete Latent Codes for Program Synthesis [56.37993487589351]
プログラム合成や文書要約などの多くのシーケンス学習タスクにおいて、重要な問題は出力シーケンスの広い空間を探索することである。
本稿では,検索対象とする出力の表現を学習することを提案する。
本稿では,まず入力/出力サンプルから離散潜在コードを予測するプログラム合成手法であるemphLatent Programmerを紹介し,そのプログラムを対象言語で生成する。
論文 参考訳(メタデータ) (2020-12-01T10:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。