論文の概要: Uncertainty Quantification for Neurosymbolic Programs via Compositional Conformal Prediction
- arxiv url: http://arxiv.org/abs/2405.15912v1
- Date: Fri, 24 May 2024 20:15:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 02:10:19.797969
- Title: Uncertainty Quantification for Neurosymbolic Programs via Compositional Conformal Prediction
- Title（参考訳）: 構成等角予測によるニューロシンボリックプログラムの不確かさの定量化
- Authors: Ramya Ramalingam, Sangdon Park, Osbert Bastani,
- Abstract要約: コンフォーマル予測は、機械学習における不確実性を定量化するための有望な戦略として登場した。
本稿では,共形予測をニューロシンボリックプログラムに適用するための新しい枠組みを提案する。
MNISTとMS-COCOの画像を入力として利用するプログラムについて,本手法の評価を行った。
- 参考スコア（独自算出の注目度）: 36.88661670156255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning has become an effective tool for automatically annotating unstructured data (e.g., images) with structured labels (e.g., object detections). As a result, a new programming paradigm called neurosymbolic programming has emerged where users write queries against these predicted annotations. However, due to the intrinsic fallibility of machine learning models, these programs currently lack any notion of correctness. In many domains, users may want some kind of conservative guarantee that the results of their queries contain all possibly relevant instances. Conformal prediction has emerged as a promising strategy for quantifying uncertainty in machine learning by modifying models to predict sets of labels instead of individual labels; it provides a probabilistic guarantee that the prediction set contains the true label with high probability. We propose a novel framework for adapting conformal prediction to neurosymbolic programs; our strategy is to represent prediction sets as abstract values in some abstract domain, and then to use abstract interpretation to propagate prediction sets through the program. Our strategy satisfies three key desiderata: (i) correctness (i.e., the program outputs a prediction set that contains the true output with high probability), (ii) compositionality (i.e., we can quantify uncertainty separately for different modules and then compose them together), and (iii) structured values (i.e., we can provide uncertainty quantification for structured values such as lists). When the full program is available ahead-of-time, we propose an optimization that incorporates conformal prediction at intermediate program points to reduce imprecision in abstract interpretation. We evaluate our approach on programs that take MNIST and MS-COCO images as input, demonstrating that it produces reasonably sized prediction sets while satisfying a coverage guarantee.
- Abstract（参考訳）: 機械学習は、構造化ラベル(例:オブジェクト検出)で非構造化データ(例:イメージ)を自動的にアノテートする有効なツールになっている。
その結果、ニューロシンボリックプログラミングと呼ばれる新しいプログラミングパラダイムが出現し、ユーザーはこれらの予測されたアノテーションに対してクエリを書く。
しかし、機械学習モデルの本質的な誤認のため、これらのプログラムは現在では正確性の概念を欠いている。
多くのドメインでは、ユーザは、クエリの結果が関連するすべてのインスタンスを含む、ある種の保守的な保証を望んでいるかもしれません。
コンフォーマル予測は、個々のラベルではなくラベルの集合を予測するためにモデルを変更することによって機械学習の不確実性を定量化するための有望な戦略として現れており、予測セットが真のラベルを高い確率で含むという確率論的保証を提供する。
そこで我々は, 抽象的領域の抽象値として予測集合を表現し, 抽象的解釈を用いてプログラムを通して予測集合を伝播させることを戦略として, 共形予測をニューロシンボリックプログラムに適用する新しい枠組みを提案する。
私たちの戦略は3つの重要なデシダータを満たす。
(i)正確性(すなわち、プログラムは、真の出力を高い確率で含む予測セットを出力する)
(ii)構成性(つまり、異なる加群に対して別々に不確かさを定量化し、それらを構成することができる)、
(iii)構造化された値(すなわち、リストのような構造化された値に対して不確実な定量化を提供することができる)。
そこで本研究では,中間プログラム点における共形予測を取り入れ,抽象解釈における不正確さを低減する最適化を提案する。
我々は,MNISTとMS-COCOの画像を入力として扱うプログラムに対するアプローチを評価し,カバー範囲の保証を満足しつつ,合理的な大きさの予測セットを生成することを示した。
関連論文リスト
- Stochastic Online Conformal Prediction with Semi-Bandit Feedback [29.334511328067777]
実例が時間とともに現れるオンライン学習環境について検討し、その目標は予測セットを動的に構築することである。
本稿では,この設定を対象とする新しい共形予測アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-22T00:42:49Z) - PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳（メタデータ） (2023-10-19T17:57:57Z) - Conformal Prediction for Deep Classifier via Label Ranking [29.784336674173616]
コンフォーマル予測(Conformal prediction)は、予測セットを所望のカバレッジ保証で生成する統計フレームワークである。
我々は、$textitSorted Adaptive Prediction Sets$ (SAPS)という新しいアルゴリズムを提案する。
SAPSは最大ソフトマックス確率を除いて全ての確率値を捨てる。
論文 参考訳（メタデータ） (2023-10-10T08:54:14Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Conformal Prediction Sets with Limited False Positives [43.596058175459746]
提案手法は,有界な解数を持つ予測候補の正確なセットを出力することを目的として,多ラベル共形予測の新しい手法を開発する。
本稿では、自然言語処理、コンピュータビジョン、計算化学における様々な分類タスクにおけるこのアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-02-15T18:52:33Z) - Conformal prediction for text infilling and part-of-speech prediction [0.549690036417587]
そこで本研究では,テキスト埋込処理と音声のパート・オブ・音声予測のタスクに対して,帰納的共形予測アルゴリズムを提案する。
57,000以上の文を含むBrown Corpusを用いて,シミュレーションにおけるアルゴリズムの性能を解析した。
論文 参考訳（メタデータ） (2021-11-04T02:23:05Z) - Few-shot Conformal Prediction with Auxiliary Tasks [29.034390810078172]
対象タスクがトレーニングに利用可能なデータに制限がある場合に,コンフォメーション予測を行うための新しい手法を開発した。
共形予測をメタラーニングパラダイムとしてキャスティングすることで、望ましい限界保証を維持しつつ、より厳密な予測セットを得る。
本手法は,自然言語処理,コンピュータビジョン,薬物発見のための計算化学において,数発の分類と回帰タスクにまたがる効果を示す。
論文 参考訳（メタデータ） (2021-02-17T17:46:57Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳（メタデータ） (2021-02-11T18:59:11Z) - Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。
提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
論文 参考訳（メタデータ） (2021-01-07T18:59:33Z) - AutoCP: Automated Pipelines for Accurate Prediction Intervals [84.16181066107984]
本稿では、自動予測のための自動機械学習(Automatic Machine Learning for Conformal Prediction, AutoCP)というAutoMLフレームワークを提案する。
最高の予測モデルを選択しようとする慣れ親しんだAutoMLフレームワークとは異なり、AutoCPは、ユーザが指定したターゲットカバレッジ率を達成する予測間隔を構築する。
さまざまなデータセットでAutoCPをテストしたところ、ベンチマークアルゴリズムを著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2020-06-24T23:13:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。