論文の概要: PAC Prediction Sets for Large Language Models of Code

• arxiv url: http://arxiv.org/abs/2302.08703v2
• Date: Wed, 21 Jun 2023 02:35:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 17:45:47.148843
• Title: PAC Prediction Sets for Large Language Models of Code
• Title（参考訳）: 大規模言語モデルのためのPAC予測セット
• Authors: Adam Khakhar, Stephen Mell, Osbert Bastani
• Abstract要約: 本稿では,コンパクトに部分的プログラムとして表現可能な,制約付き予測セットの集合を考慮した解を提案する。 これは、生成コードモデルのためのPAC予測セットを生成する最初の研究コントリビューションである。
• 参考スコア（独自算出の注目度）: 19.071829387911276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prediction sets have recently been shown to be a promising strategy for quantifying the uncertainty of deep neural networks in a way that provides theoretical guarantees. However, existing techniques have largely targeted settings where the space of labels is simple, so prediction sets can be arbitrary subsets of labels. For structured prediction problems where the space of labels is exponential in size, even prediction sets containing a small fraction of all labels can be exponentially large. In the context of code generation, we propose a solution that considers a restricted set of prediction sets that can compactly be represented as partial programs, which are programs with portions replaced with holes. Given a trained code generation model, our algorithm leverages a programming language's abstract syntax tree to generate a set of programs such that the correct program is in the set with high-confidence. Valuable applications of our algorithm include a Codex-style code generator with holes in uncertain parts of the generated code, which provides a partial program with theoretical guarantees. We evaluate our approach on PICARD (a T5 model for SQL semantic parsing) and Codex (a GPT model for over a dozen programming languages, including Python), demonstrating that our approach generates compact PAC prediction sets. This is the first research contribution that generates PAC prediction sets for generative code models.
• Abstract（参考訳）: 予測セットは、理論的な保証を提供する方法でディープニューラルネットワークの不確実性を定量化するための有望な戦略であることが最近示されている。 しかし、既存の手法はラベルの空間が単純であるような設定を主にターゲットとしているため、予測セットはラベルの任意の部分集合となることができる。 ラベルの空間が指数関数的に大きい構造化予測問題の場合、すべてのラベルのごく一部を含む予測集合でさえ指数関数的に大きい。 コード生成の文脈では、部分的なプログラムとしてコンパクトに表現できる予測セットの制限セットを考慮し、部分的な部分を穴に置き換えたプログラムを提案する。 訓練されたコード生成モデルが与えられると、アルゴリズムはプログラミング言語の抽象構文木を利用して、正しいプログラムが信頼度の高いセットにあるような一連のプログラムを生成する。 このアルゴリズムの有用な応用例としては、生成されたコードの不確かさ部分に穴があるcodexスタイルのコードジェネレータがあり、理論的な保証のある部分プログラムを提供する。 我々はPICARD(SQLセマンティックパースのためのT5モデル)とCodex(Pythonを含む12以上のプログラミング言語のためのGPTモデル)に対するアプローチを評価し、我々のアプローチがコンパクトなPAC予測セットを生成することを示した。 これは、生成コードモデルのためのPAC予測セットを生成する最初の研究貢献である。

関連論文リスト

• Conformal Structured Prediction [32.23920437534215]
  本稿では,構造予測設定における共形予測のための一般的な枠組みを提案する。 本稿では,提案アルゴリズムを用いて,複数の領域において所望のカバレッジ保証を満たす予測セットを構築する方法について述べる。
  論文  参考訳（メタデータ） (2024-10-08T18:56:15Z)
• Divide-and-Conquer Predictive Coding: a structured Bayesian inference algorithm [11.722226132995978]
  我々は、分割・対数予測符号化(D CPC)と呼ばれる構造生成モデルのための新しい予測符号化アルゴリズムを導入する。 D CPCは、生物学的確率を犠牲にすることなく、モデルパラメーターの最大値更新を行う。 実証的には、DCPCは競合するアルゴリズムよりも優れた数値性能を達成し、これまで予測符号に対処していなかった多くの問題に対して正確な推論を提供する。
  論文  参考訳（メタデータ） (2024-08-11T17:29:03Z)
• Uncertainty Quantification for Neurosymbolic Programs via Compositional Conformal Prediction [36.88661670156255]
  コンフォーマル予測は、機械学習における不確実性を定量化するための有望な戦略として登場した。 本稿では,共形予測をニューロシンボリックプログラムに適用するための新しい枠組みを提案する。 MNISTとMS-COCOの画像を入力として利用するプログラムについて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2024-05-24T20:15:53Z)
• CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
  大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。 CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保存するために追加情報を埋め込む。 5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-24T04:25:04Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)
• PAC Prediction Sets Under Label Shift [52.30074177997787]
  予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。 ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。 提案手法を5つのデータセットで評価する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:57Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)
• Representing Partial Programs with Blended Abstract Semantics [62.20775388513027]
  プログラム合成エンジンにおける部分的なプログラム表現手法について紹介する。 モジュラーニューラルネットワークとして実装された近似実行モデルを学ぶ。 これらのハイブリッドニューロシンボリック表現は、実行誘導型シンセサイザーがより強力な言語構成を使うことができることを示す。
  論文  参考訳（メタデータ） (2020-12-23T20:40:18Z)
• Latent Programmer: Discrete Latent Codes for Program Synthesis [56.37993487589351]
  プログラム合成や文書要約などの多くのシーケンス学習タスクにおいて、重要な問題は出力シーケンスの広い空間を探索することである。 本稿では,検索対象とする出力の表現を学習することを提案する。 本稿では,まず入力/出力サンプルから離散潜在コードを予測するプログラム合成手法であるemphLatent Programmerを紹介し,そのプログラムを対象言語で生成する。
  論文  参考訳（メタデータ） (2020-12-01T10:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。