論文の概要: Distribution-free risk assessment of regression-based machine learning algorithms

• arxiv url: http://arxiv.org/abs/2310.03545v1
• Date: Thu, 5 Oct 2023 13:57:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 16:03:08.721052
• Title: Distribution-free risk assessment of regression-based machine learning algorithms
• Title（参考訳）: 回帰型機械学習アルゴリズムの分散フリーリスク評価
• Authors: Sukrita Singh, Neeraj Sarna, Yuanyuan Li, Yang Li, Agni Orfanoudaki, Michael Berger
• Abstract要約: 我々は回帰アルゴリズムとモデル予測の周囲に定義された区間内に存在する真のラベルの確率を計算するリスク評価タスクに焦点をあてる。 そこで,本研究では,正のラベルを所定の確率で含むことが保証される予測区間を提供する共形予測手法を用いてリスク評価問題を解決する。
• 参考スコア（独自算出の注目度）: 6.507711025292814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning algorithms have grown in sophistication over the years and are increasingly deployed for real-life applications. However, when using machine learning techniques in practical settings, particularly in high-risk applications such as medicine and engineering, obtaining the failure probability of the predictive model is critical. We refer to this problem as the risk-assessment task. We focus on regression algorithms and the risk-assessment task of computing the probability of the true label lying inside an interval defined around the model's prediction. We solve the risk-assessment problem using the conformal prediction approach, which provides prediction intervals that are guaranteed to contain the true label with a given probability. Using this coverage property, we prove that our approximated failure probability is conservative in the sense that it is not lower than the true failure probability of the ML algorithm. We conduct extensive experiments to empirically study the accuracy of the proposed method for problems with and without covariate shift. Our analysis focuses on different modeling regimes, dataset sizes, and conformal prediction methodologies.
• Abstract（参考訳）: 機械学習アルゴリズムは、長年にわたって洗練され、現実のアプリケーションにデプロイされてきている。 しかし,特に医学や工学などの高リスクアプリケーションにおいて,機械学習技術を用いた場合,予測モデルの故障確率は極めて重要である。 我々はこの問題をリスク評価タスクと呼んでいる。 我々は回帰アルゴリズムとモデル予測の周囲に定義された区間内に存在する真のラベルの確率を計算するリスク評価タスクに焦点をあてる。 本稿では,与えられた確率の真のラベルを含むことが保証される予測間隔を提供する共形予測手法を用いて,リスクアセスメント問題を解く。 このカバレッジ特性を用いて、我々の近似失敗確率は、MLアルゴリズムの真の失敗確率よりも低いという意味で保守的であることを証明した。 本研究では,共変量シフトを伴う問題に対する提案手法の精度を実験的に検討する。 本分析では,異なるモデリング手法,データセットサイズ,共形予測手法に着目した。

関連論文リスト

• Beyond the Norms: Detecting Prediction Errors in Regression Models [26.178065248948773]
  本稿では,回帰アルゴリズムにおける信頼できない振る舞いを検出するという課題に取り組む。 回帰器の出力が特定の不一致(または誤り)を超えた場合、回帰における不確実性の概念を導入する。 複数の回帰タスクに対する誤り検出の実証的改善を示す。
  論文  参考訳（メタデータ） (2024-06-11T05:51:44Z)
• Lightweight, Uncertainty-Aware Conformalized Visual Odometry [2.429910016019183]
  データ駆動型ビジュアルオドメトリー(VO)は、自律エッジロボティクスにとって重要なサブルーチンである。 昆虫スケールドローンや外科ロボットのような最先端ロボットデバイスは、VOの予測の不確実性を推定する計算的に効率的な枠組みを欠いている。 本稿では,共形推論(CI)を利用してVOの不確実な帯域を抽出する,新しい,軽量で統計的に堅牢なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T20:37:55Z)
• Uncertainty Estimation based on Geometric Separation [13.588210692213568]
  機械学習では、特定の入力が正しい確率を正確に予測することがリスク管理に不可欠である。 機械学習モデルにおける不確実性推定を改善するための新しい幾何学的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-01-11T13:19:24Z)
• A Geometric Method for Improved Uncertainty Estimation in Real-time [13.588210692213568]
  ポストホックモデルキャリブレーションは、再トレーニングを必要とせずにモデルの不確実性推定を改善することができる。 我々の研究は不確実性推定のための幾何学的アプローチを推し進めている。 提案手法は,最近提案された手法よりも不確実性評価が優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:18:05Z)
• Automated Learning of Interpretable Models with Quantified Uncertainty [0.0]
  我々は遺伝子プログラミングに基づくシンボリックレグレッション(GPSR)の新しい枠組みを導入する。 GPSRはモデルエビデンスを用いて、進化の選択段階における置換確率を定式化する。 従来のGPSR実装と比較して、解釈可能性の向上、ノイズに対する堅牢性の向上、オーバーフィッティングの低減が示されている。
  論文  参考訳（メタデータ） (2022-04-12T19:56:42Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• CC-Cert: A Probabilistic Approach to Certify General Robustness of Neural Networks [58.29502185344086]
  安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。 意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。 我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
  論文  参考訳（メタデータ） (2021-09-22T12:46:04Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited [68.8204255655161]
  確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
  論文  参考訳（メタデータ） (2020-08-07T08:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。