論文の概要: Conformal Prediction Sets for Deep Generative Models via Reduction to Conformal Regression

• arxiv url: http://arxiv.org/abs/2503.10512v1
• Date: Thu, 13 Mar 2025 16:16:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:54:25.865058
• Title: Conformal Prediction Sets for Deep Generative Models via Reduction to Conformal Regression
• Title（参考訳）: コンフォーマル回帰への還元による深部生成モデルのコンフォーマル予測セット
• Authors: Hooman Shahrokhi, Devjeet Raj Roy, Yan Yan, Venera Arnaoudova, Janaradhan Rao Doppa,
• Abstract要約: 入力に対するブラックボックス深部生成モデルから,有効かつ小さな予測セットを生成する問題を考える。 我々は、生成予測セット(GPS)と呼ばれる単純で効果的な共形推論アルゴリズムを開発する。 GPSの背後にある重要な洞察は、許容可能な出力を得るのに必要な最小限のサンプル数に対して、分布内の固有の構造を利用することである。
• 参考スコア（独自算出の注目度）: 7.972619160216404
• License:
• Abstract: We consider the problem of generating valid and small prediction sets by sampling outputs (e.g., software code and natural language text) from a black-box deep generative model for a given input (e.g., textual prompt). The validity of a prediction set is determined by a user-defined binary admissibility function depending on the target application. For example, requiring at least one program in the set to pass all test cases in code generation application. To address this problem, we develop a simple and effective conformal inference algorithm referred to as Generative Prediction Sets (GPS). Given a set of calibration examples and black-box access to a deep generative model, GPS can generate prediction sets with provable guarantees. The key insight behind GPS is to exploit the inherent structure within the distribution over the minimum number of samples needed to obtain an admissible output to develop a simple conformal regression approach over the minimum number of samples. Experiments on multiple datasets for code and math word problems using different large language models demonstrate the efficacy of GPS over state-of-the-art methods.
• Abstract（参考訳）: 入力(例えば、テキストのプロンプト)に対して、ブラックボックスの深層生成モデルから出力(例えば、ソフトウェアコードや自然言語テキスト)をサンプリングすることで、有効かつ小さな予測セットを生成する問題を考える。 予測セットの妥当性は、対象アプリケーションに応じて、ユーザ定義のバイナリ許容関数によって決定される。 例えば、コード生成アプリケーションですべてのテストケースをパスするために、セット内の少なくとも1つのプログラムを必要とする。 この問題に対処するために,生成予測セット (GPS) と呼ばれるシンプルで効果的な共形推論アルゴリズムを開発した。 キャリブレーションの例と深い生成モデルへのブラックボックスアクセスを考えると、GPSは証明可能な保証付き予測セットを生成することができる。 GPSの背後にある重要な洞察は、許容可能な出力を得るために必要となる最小限のサンプル数に対する分布内の固有の構造を利用して、最小限のサンプル数に対する単純な共形回帰アプローチを開発することである。 異なる大言語モデルを用いたコードおよび数学語問題のための複数のデータセットの実験は、最先端手法に対するGPSの有効性を実証している。

関連論文リスト

• Optimal Algorithms for Augmented Testing of Discrete Distributions [25.818433126197036]
  予測器は3つのプロパティテストタスクすべてに必要なサンプル数を実際に削減できることを示す。 我々のアルゴリズムの重要な利点は、予測の精度への適応性である。 アルゴリズムによって達成されるサンプルの複雑さの改善は、情報理論的に最適であることを示すために、より低い境界を提供する。
  論文  参考訳（メタデータ） (2024-12-01T21:31:22Z)
• Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
  生成モデルは出力に対する厳密な統計的保証を欠いている。 厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。 このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
  論文  参考訳（メタデータ） (2024-10-02T15:26:52Z)
• Conformal Language Modeling [61.94417935386489]
  生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
  論文  参考訳（メタデータ） (2023-06-16T21:55:08Z)
• Conformal Nucleus Sampling [67.5232384936661]
  最上位のp$集合が、様々な言語文脈における確率的意味と実際に一致しているかを評価する。 OPTモデルは過信であり、キャリブレーションはモデルサイズで適度な逆スケーリングを示す。
  論文  参考訳（メタデータ） (2023-05-04T08:11:57Z)
• PAC Prediction Sets for Large Language Models of Code [19.071829387911276]
  本稿では,コンパクトに部分的プログラムとして表現可能な,制約付き予測セットの集合を考慮した解を提案する。 これは、生成コードモデルのためのPAC予測セットを生成する最初の研究コントリビューションである。
  論文  参考訳（メタデータ） (2023-02-17T05:32:24Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Minimax rate of consistency for linear models with missing values [0.0]
  多くの実世界のデータセットでは、複数のソースが集約され、本質的に欠落した情報(センサーの故障、調査における未回答の疑問...)が欠落する。 本稿では,広範に研究された線形モデルに焦点をあてるが,不足する値が存在する場合には,非常に難しい課題であることが判明した。 最終的には、多くの学習タスクを解決し、入力機能の数を指数関数的にすることで、現在の現実世界のデータセットでは予測が不可能になる。
  論文  参考訳（メタデータ） (2022-02-03T08:45:34Z)
• Conformal prediction for text infilling and part-of-speech prediction [0.549690036417587]
  そこで本研究では,テキスト埋込処理と音声のパート・オブ・音声予測のタスクに対して,帰納的共形予測アルゴリズムを提案する。 57,000以上の文を含むBrown Corpusを用いて,シミュレーションにおけるアルゴリズムの性能を解析した。
  論文  参考訳（メタデータ） (2021-11-04T02:23:05Z)
• Few-shot Conformal Prediction with Auxiliary Tasks [29.034390810078172]
  対象タスクがトレーニングに利用可能なデータに制限がある場合に,コンフォメーション予測を行うための新しい手法を開発した。 共形予測をメタラーニングパラダイムとしてキャスティングすることで、望ましい限界保証を維持しつつ、より厳密な予測セットを得る。 本手法は,自然言語処理,コンピュータビジョン,薬物発見のための計算化学において,数発の分類と回帰タスクにまたがる効果を示す。
  論文  参考訳（メタデータ） (2021-02-17T17:46:57Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。