論文の概要: Uncertainty Quantification for Rule-Based Models
- arxiv url: http://arxiv.org/abs/2211.01915v1
- Date: Thu, 3 Nov 2022 15:50:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 12:22:38.771729
- Title: Uncertainty Quantification for Rule-Based Models
- Title(参考訳): ルールベースモデルの不確実性定量化
- Authors: Yusik Kim
- Abstract要約: ルールベースの分類モデルは、確率をモデル化し、統計モデルのように予測に変換するのではなく、直接値を予測する。
本稿では,二項出力を持つ二項分類器をブラックボックスとして扱うメタモデルの形で不確実な定量化フレームワークを提案し,その推定に対する信頼度とともに,与えられた入力におけるそのベースモデルの予測精度を推定する。
- 参考スコア(独自算出の注目度): 0.03807314298073299
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rule-based classification models described in the language of logic directly
predict boolean values, rather than modeling a probability and translating it
into a prediction as done in statistical models. The vast majority of existing
uncertainty quantification approaches rely on models providing continuous
output not available to rule-based models. In this work, we propose an
uncertainty quantification framework in the form of a meta-model that takes any
binary classifier with binary output as a black box and estimates the
prediction accuracy of that base model at a given input along with a level of
confidence on that estimation. The confidence is based on how well that input
region is explored and is designed to work in any OOD scenario. We demonstrate
the usefulness of this uncertainty model by building an abstaining classifier
powered by it and observing its performance in various scenarios.
- Abstract(参考訳): 論理学の言語で記述されたルールベースの分類モデルは、確率をモデル化して統計モデルのように予測に変換するのではなく、ブール値を直接予測する。
既存の不確実性定量化アプローチの大半は、ルールベースのモデルでは利用できない連続的な出力を提供するモデルに依存している。
本研究では,二項出力を持つ二項分類器をブラックボックスとして取り込んだメタモデルの形で不確実な定量化フレームワークを提案し,その推定に対する信頼度とともに,与えられた入力でそのベースモデルの予測精度を推定する。
信頼度は入力領域の探索方法に基づいており、任意のOODシナリオで動作するように設計されている。
我々は,この不確実性モデルの有用性を,それを利用した断続的な分類器を構築し,その性能を様々なシナリオで観察することによって示す。
関連論文リスト
- Uncertainty Quantification for Local Model Explanations Without Model
Access [0.44241702149260353]
本稿では,機械学習モデルに対するポストホックな説明を生成するためのモデルに依存しないアルゴリズムを提案する。
本アルゴリズムは,モデルクエリの有限サンプルから説明を生成する際に必然的に発生する不確実性を定量化するためにブートストラップ方式を用いる。
論文 参考訳(メタデータ) (2023-01-13T21:18:00Z) - Rigorous Assessment of Model Inference Accuracy using Language
Cardinality [5.584832154027001]
我々は,統計的推定を決定論的精度尺度に置き換えることで,モデル精度評価におけるバイアスと不確実性を最小化する体系的アプローチを開発する。
我々は、最先端の推論ツールによって推定されるモデルの精度を評価することによって、我々のアプローチの一貫性と適用性を実験的に実証した。
論文 参考訳(メタデータ) (2022-11-29T21:03:26Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳(メタデータ) (2022-11-11T19:34:17Z) - Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。
わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。
これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
論文 参考訳(メタデータ) (2022-04-17T15:55:18Z) - Uncertainty estimation under model misspecification in neural network
regression [3.2622301272834524]
モデル選択が不確実性評価に与える影響について検討する。
モデルミスセグメンテーションでは,アレータリック不確実性は適切に捉えられていない。
論文 参考訳(メタデータ) (2021-11-23T10:18:41Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳(メタデータ) (2021-10-13T01:23:48Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z) - A Causal Lens for Peeking into Black Box Predictive Models: Predictive
Model Interpretation via Causal Attribution [3.3758186776249928]
予測モデルがブラックボックスであるような設定でこの問題に対処することを目指している。
我々は、ブラックボックス予測モデルをモデル出力に対する各モデル入力の因果効果を推定する問題と比較する。
モデル入力に対するモデル出力に対する責任の因果関係が、予測モデルを解釈し、その予測を説明するためにどのように使用できるかを示す。
論文 参考訳(メタデータ) (2020-08-01T23:20:57Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳(メタデータ) (2020-05-21T16:08:38Z) - Estimating predictive uncertainty for rumour verification models [24.470032028639107]
我々は,不確実性推定を用いてモデル予測が誤っている可能性が示唆された。
本稿では,不確実性に基づくインスタンス拒絶の2つの方法を提案する。
論文 参考訳(メタデータ) (2020-05-14T17:42:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。