論文の概要: confidence-planner: Easy-to-Use Prediction Confidence Estimation and
Sample Size Planning
- arxiv url: http://arxiv.org/abs/2301.05702v1
- Date: Thu, 12 Jan 2023 14:49:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 15:19:47.355117
- Title: confidence-planner: Easy-to-Use Prediction Confidence Estimation and
Sample Size Planning
- Title(参考訳): confidence-planner: 使いやすい予測信頼度推定とサンプルサイズ計画
- Authors: Antoni Klorek, Karol Roszak, Izabela Szczech, Dariusz Brzezinski
- Abstract要約: 予測信頼区間を推定するための,使い易いpythonパッケージとWebアプリケーションを提案する。
このパッケージは、サンプルのサイズと予測の信頼性を判断し、正当化する8つの異なる手順を提供する。
- 参考スコア(独自算出の注目度): 3.0969191504482247
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning applications, especially in the fields of me\-di\-cine and
social sciences, are slowly being subjected to increasing scrutiny. Similarly
to sample size planning performed in clinical and social studies, lawmakers and
funding agencies may expect statistical uncertainty estimations in machine
learning applications that impact society. In this paper, we present an
easy-to-use python package and web application for estimating prediction
confidence intervals. The package offers eight different procedures to
determine and justify the sample size and confidence of predictions from
holdout, bootstrap, cross-validation, and progressive validation experiments.
Since the package builds directly on established data analysis libraries, it
seamlessly integrates into preprocessing and exploratory data analysis steps.
Code related to this paper is available at:
https://github.com/dabrze/confidence-planner.
- Abstract(参考訳): 機械学習の応用、特に me\-di\-cine と social sciences の分野は、徐々に精査されるようになっている。
臨床および社会研究で実施されるサンプルサイズ計画と同様に、議員や資金提供機関は、社会に影響を及ぼす機械学習アプリケーションにおいて統計的不確実性の推定を期待することができる。
本稿では,予測信頼区間を推定するための簡易なpythonパッケージとWebアプリケーションを提案する。
このパッケージは、 holdout、bootstrap、cross-validation、progressive validation実験からの予測のサンプルサイズと信頼性を判断および正当化するための8つの異なる手順を提供する。
パッケージは確立したデータ分析ライブラリを直接構築するため、前処理や探索的なデータ分析ステップにシームレスに統合される。
この論文に関連するコードは、https://github.com/dabrze/confidence-planner.com/で入手できる。
関連論文リスト
- A step towards the integration of machine learning and small area
estimation [0.0]
本稿では,機械学習アルゴリズムがサポートする予測器を提案する。
仮定モデルからわずかに逸脱しただけで、この場合も提案が良い代替手段であることを示す。
さらに,機械学習予測器の精度推定手法を提案し,従来の手法との比較を行った。
論文 参考訳(メタデータ) (2024-02-12T09:43:17Z) - SMURF-THP: Score Matching-based UnceRtainty quantiFication for
Transformer Hawkes Process [76.98721879039559]
SMURF-THPは,変圧器ホークス過程を学習し,予測の不確かさを定量化するスコアベース手法である。
具体的には、SMURF-THPは、スコアマッチング目標に基づいて、イベントの到着時刻のスコア関数を学習する。
我々は,イベントタイプ予測と到着時刻の不確実性定量化の両方において,広範な実験を行う。
論文 参考訳(メタデータ) (2023-10-25T03:33:45Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳(メタデータ) (2023-04-07T23:51:07Z) - Prediction-Powered Inference [68.97619568620709]
予測を用いた推論は、実験データセットに機械学習システムからの予測を補足した場合に有効な統計的推論を行うためのフレームワークである。
このフレームワークは、手段、量子、線形およびロジスティック回帰係数などの量に対して証明可能な信頼区間を計算するための単純なアルゴリズムを生成する。
予測による推論により、研究者は機械学習を使用して、より有効な、よりデータ効率の高い結論を導き出すことができる。
論文 参考訳(メタデータ) (2023-01-23T18:59:28Z) - ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。
我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
論文 参考訳(メタデータ) (2022-11-21T13:23:09Z) - Confidence Band Estimation for Survival Random Forests [6.343191621807365]
サバイバル・ランダム・フォレスト(Survival random forest)は、検閲されたサバイバルデータをモデリングするための一般的な機械学習ツールである。
本稿では、無限次不完全U-統計学における最近の発展を延長することにより、バイアスのない信頼バンド推定を提案する。
数値解析により,提案手法は信頼性帯域を正確に推定し,所望のカバレッジ率を達成することを示す。
論文 参考訳(メタデータ) (2022-04-26T02:27:26Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - A Gentle Introduction to Conformal Prediction and Distribution-Free
Uncertainty Quantification [1.90365714903665]
このハンズオン導入は、配布不要なUQの実践的な実装に関心のある読者を対象としている。
PyTorch構文で、Pythonで説明的なイラストやサンプル、コードサンプルを多数含みます。
論文 参考訳(メタデータ) (2021-07-15T17:59:50Z) - Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文 参考訳(メタデータ) (2020-08-10T17:09:16Z) - Targeting Learning: Robust Statistics for Reproducible Research [1.1455937444848387]
ターゲティング・ラーニング(Targeted Learning)は、因果推論、機械学習、統計理論の進歩を統一して、科学的に影響のある質問に統計的信頼性で答えるのに役立つ統計分野である。
ターゲット学習のロードマップは、仮説を最小化し、利用可能な科学的知識にのみ注意深く根ざすように、統計的手続きを調整することを強調する。
論文 参考訳(メタデータ) (2020-06-12T17:17:01Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。