論文の概要: A comparative study of conformal prediction methods for valid uncertainty quantification in machine learning
- arxiv url: http://arxiv.org/abs/2405.02082v1
- Date: Fri, 3 May 2024 13:19:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-06 12:46:03.856694
- Title: A comparative study of conformal prediction methods for valid uncertainty quantification in machine learning
- Title（参考訳）: 機械学習における不確実性定量化のための共形予測法の比較研究
- Authors: Nicolas Dewolf,
- Abstract要約: 論文は、誰もが不確実性に気付いていて、それがどれほど重要か、そしてそれを恐れずにそれをどのように受け入れるか、という世界を探求しようとします。
しかし、正確な不確実性推定を誰でも得るための特定のフレームワークが選別され、分析される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the past decades, most work in the area of data analysis and machine learning was focused on optimizing predictive models and getting better results than what was possible with existing models. To what extent the metrics with which such improvements were measured were accurately capturing the intended goal, whether the numerical differences in the resulting values were significant, or whether uncertainty played a role in this study and if it should have been taken into account, was of secondary importance. Whereas probability theory, be it frequentist or Bayesian, used to be the gold standard in science before the advent of the supercomputer, it was quickly replaced in favor of black box models and sheer computing power because of their ability to handle large data sets. This evolution sadly happened at the expense of interpretability and trustworthiness. However, while people are still trying to improve the predictive power of their models, the community is starting to realize that for many applications it is not so much the exact prediction that is of importance, but rather the variability or uncertainty. The work in this dissertation tries to further the quest for a world where everyone is aware of uncertainty, of how important it is and how to embrace it instead of fearing it. A specific, though general, framework that allows anyone to obtain accurate uncertainty estimates is singled out and analysed. Certain aspects and applications of the framework -- dubbed `conformal prediction' -- are studied in detail. Whereas many approaches to uncertainty quantification make strong assumptions about the data, conformal prediction is, at the time of writing, the only framework that deserves the title `distribution-free'. No parametric assumptions have to be made and the nonparametric results also hold without having to resort to the law of large numbers in the asymptotic regime.
- Abstract（参考訳）: 過去数十年間、データ分析と機械学習の領域におけるほとんどの研究は、予測モデルを最適化し、既存のモデルよりも優れた結果を得ることに重点を置いていた。
このような改善を測る指標がどの程度正確に測定されたか、結果値の数値的差異が重要であるか、あるいは不確実性がこの研究で重要な役割を果たしているか、そして考慮すべきであったかは、二次的な重要性であった。
確率論(英語版)やベイズ理論(英語版)はスーパーコンピュータの登場以前に科学における金の標準であったが、大きなデータセットを扱う能力のためにブラックボックスモデルや計算能力に取って代わられた。
この進化は悲しいことに、解釈可能性と信頼性を犠牲にして起こった。
しかし、人々がまだモデルの予測能力を改善しようとしている一方で、多くのアプリケーションでは、それが重要である正確な予測ではなく、変数や不確実性であることを認識し始めている。
この論文の成果は、誰もが不確実性に気付いていて、それがどれほど重要か、そしてそれを恐れずにそれをどのように受け入れるか、という世界への探求をさらに進めようとしている。
しかし、正確な不確実性推定を誰でも得るための特定のフレームワークが選別され、分析される。
というフレームワークの特定の側面と応用を詳細に研究している。
不確実性定量化への多くのアプローチがデータについて強い仮定をしているのに対して、共形予測は、執筆時点では、"distribution-free"というタイトルに値する唯一のフレームワークである。
パラメトリックな仮定は必要とせず、非パラメトリックな結果は漸近的体制における多数の法則に従わずとも成り立つ。
関連論文リスト
- Uncertainties of Latent Representations in Computer Vision [2.33877878310217]
この論文は、事前訓練されたコンピュータビジョンモデルの潜在表現ベクトルにそれらを追加することで、不確実性推定を容易にアクセスできるようにする。
観測不可能な潜在表現に関するこれらの観測不可能な不確実性は、確実に正しいことを示す。
論文 参考訳（メタデータ） (2024-08-26T14:02:30Z) - Introducing an Improved Information-Theoretic Measure of Predictive
Uncertainty [6.3398383724486544]
予測の不確実性は、ベイズ平均(BMA)予測分布のエントロピーによってよく測定される。
これらの制限を克服するために理論的に根ざした尺度を導入する。
提案手法は, 制御された合成タスクにおいて, より合理的に振る舞う。
論文 参考訳（メタデータ） (2023-11-14T16:55:12Z) - Model-free generalized fiducial inference [0.0]
本稿では,不正確な確率的予測推定のためのモデルフリー統計フレームワークの提案と開発を行う。
このフレームワークは、タイプ1エラーの有限サンプル制御を提供する予測セットの形式での不確実性定量化を促進する。
モデルフリー不正確なフレームワークに対する正確な確率近似の理論的および経験的特性について考察する。
論文 参考訳（メタデータ） (2023-07-24T01:58:48Z) - Confidence and Dispersity Speak: Characterising Prediction Matrix for
Unsupervised Accuracy Estimation [51.809741427975105]
この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。
我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。
核の基準は既存の手法よりも正確で堅牢であることを示す。
論文 参考訳（メタデータ） (2023-02-02T13:30:48Z) - Comparison of Uncertainty Quantification with Deep Learning in Time
Series Regression [7.6146285961466]
本稿では,気象時系列データと異なる不確実性推定手法を比較した。
その結果,各不確実性推定手法が予測タスクに与える影響が示された。
論文 参考訳（メタデータ） (2022-11-11T14:29:13Z) - Uncertainty estimation of pedestrian future trajectory using Bayesian
approximation [137.00426219455116]
動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。
著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。
将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
論文 参考訳（メタデータ） (2022-05-04T04:23:38Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。
我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。
そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
論文 参考訳（メタデータ） (2021-09-30T19:19:09Z) - Don't Just Blame Over-parametrization for Over-confidence: Theoretical
Analysis of Calibration in Binary Classification [58.03725169462616]
理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。
我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。
おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
論文 参考訳（メタデータ） (2021-02-15T21:38:09Z) - Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文 参考訳（メタデータ） (2020-08-10T17:09:16Z) - Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via
Higher-Order Influence Functions [121.10450359856242]
我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。
1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
論文 参考訳（メタデータ） (2020-06-29T13:36:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。