論文の概要: A Gentle Introduction to Conformal Prediction and Distribution-Free
Uncertainty Quantification
- arxiv url: http://arxiv.org/abs/2107.07511v1
- Date: Thu, 15 Jul 2021 17:59:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 14:15:50.392758
- Title: A Gentle Introduction to Conformal Prediction and Distribution-Free
Uncertainty Quantification
- Title（参考訳）: コンフォーマル予測と分布自由不確かさ定量化入門
- Authors: Anastasios N. Angelopoulos, Stephen Bates
- Abstract要約: このハンズオン導入は、配布不要なUQの実践的な実装に関心のある読者を対象としている。
PyTorch構文で、Pythonで説明的なイラストやサンプル、コードサンプルを多数含みます。
- 参考スコア（独自算出の注目度）: 1.90365714903665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Black-box machine learning learning methods are now routinely used in
high-risk settings, like medical diagnostics, which demand uncertainty
quantification to avoid consequential model failures. Distribution-free
uncertainty quantification (distribution-free UQ) is a user-friendly paradigm
for creating statistically rigorous confidence intervals/sets for such
predictions. Critically, the intervals/sets are valid without distributional
assumptions or model assumptions, with explicit guarantees with finitely many
datapoints. Moreover, they adapt to the difficulty of the input; when the input
example is difficult, the uncertainty intervals/sets are large, signaling that
the model might be wrong. Without much work, one can use distribution-free
methods on any underlying algorithm, such as a neural network, to produce
confidence sets guaranteed to contain the ground truth with a user-specified
probability, such as 90%. Indeed, the methods are easy-to-understand and
general, applying to many modern prediction problems arising in the fields of
computer vision, natural language processing, deep reinforcement learning, and
so on. This hands-on introduction is aimed at a reader interested in the
practical implementation of distribution-free UQ, including conformal
prediction and related methods, who is not necessarily a statistician. We will
include many explanatory illustrations, examples, and code samples in Python,
with PyTorch syntax. The goal is to provide the reader a working understanding
of distribution-free UQ, allowing them to put confidence intervals on their
algorithms, with one self-contained document.
- Abstract（参考訳）: ブラックボックス機械学習の手法は、後続のモデル失敗を避けるために不確実な定量化を要求する医療診断など、リスクの高い環境で日常的に使用されている。
分布のない不確実性定量化(distribution-free UQ)は、そのような予測のために統計的に厳密な信頼区間/セットを作成するためのユーザフレンドリーなパラダイムである。
批判的に、区間/集合は分布的仮定やモデル仮定なしで有効であり、有限個のデータポイントを持つ明示的な保証がある。
さらに、入力の難易度に適応し、入力例が難しい場合には不確実な間隔/セットが大きくなり、モデルが間違っている可能性を示唆する。
大掛かりな作業がなければ、ニューラルネットワークなどの基盤となるアルゴリズム上で、分散フリーな方法を使用して、90%のようなユーザ指定の確率で基底真理を包含する保証された信頼セットを生成することができる。
実際、これらの手法は理解が容易で、コンピュータビジョン、自然言語処理、深層強化学習など、多くの近代的な予測問題に適用できる。
このハンズオン導入は、必ずしも統計学者ではない共形予測や関連する手法を含む、分布のないUQの実践的な実装に関心のある読者を対象としている。
PyTorch構文で、Pythonで説明的なイラストやサンプル、コードサンプルを多数含みます。
目標は、読者に分散フリーなuqを理解させることで、自己完結したドキュメントを1つで、アルゴリズムに信頼区間を設定できるようにすることだ。
関連論文リスト
- Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳（メタデータ） (2023-08-03T12:43:21Z) - ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。
我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
論文 参考訳（メタデータ） (2022-11-21T13:23:09Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - Robust uncertainty estimates with out-of-distribution pseudo-inputs
training [0.0]
我々は、信頼性のあるデータを与えられていない不確実性予測器を明示的に訓練することを提案する。
データ無しでは訓練できないので、入力空間の情報的低密度領域において擬似入力を生成するメカニズムを提供する。
総合的な評価により、様々なタスクにおける最先端性能を維持しながら、不確実性の頑健かつ解釈可能な予測が得られることを示す。
論文 参考訳（メタデータ） (2022-01-15T17:15:07Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳（メタデータ） (2021-09-27T01:09:08Z) - Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。
我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。
実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
論文 参考訳（メタデータ） (2021-05-25T14:35:46Z) - Handling Epistemic and Aleatory Uncertainties in Probabilistic Circuits [18.740781076082044]
確率的推論の大規模クラスを扱うアプローチの背後にある独立性の仮定を克服する手法を提案する。
ベイズ学習のアルゴリズムは、完全な観察にもかかわらず、スパースから提供します。
そのような回路の各リーフは、不確実な確率を表すエレガントなフレームワークを提供するベータ分散ランダム変数でラベル付けされています。
論文 参考訳（メタデータ） (2021-02-22T10:03:15Z) - Getting a CLUE: A Method for Explaining Uncertainty Estimates [30.367995696223726]
微分可能確率モデルからの不確実性推定を解釈する新しい手法を提案する。
提案手法は,データ多様体上に保持しながら,入力の変更方法を示す。
論文 参考訳（メタデータ） (2020-06-11T21:53:15Z) - Estimating g-Leakage via Machine Learning [34.102705643128004]
本稿では,ブラックボックスシナリオにおけるシステムの情報漏洩を推定する問題について考察する。
システムの内部は学習者にとって未知であり、分析するには複雑すぎると仮定される。
機械学習(ML)アルゴリズムを用いて,g-vulnerabilityをブラックボックスで推定する手法を提案する。
論文 参考訳（メタデータ） (2020-05-09T09:26:36Z) - Knowing what you know: valid and validated confidence sets in multiclass
and multilabel prediction [0.8594140167290097]
マルチクラスおよびマルチラベル問題において、有効な信頼セットを構築するための共形予測手法を開発する。
量子レグレッションのアイデアを活用することで、常に正しいカバレッジを保証すると同時に、マルチクラスとマルチラベルの予測問題に対して条件付きカバレッジを提供する手法を構築する。
論文 参考訳（メタデータ） (2020-04-21T17:45:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。