論文の概要: Uncertainty Quantification for Rule-Based Models

• arxiv url: http://arxiv.org/abs/2211.01915v1
• Date: Thu, 3 Nov 2022 15:50:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 12:22:38.771729
• Title: Uncertainty Quantification for Rule-Based Models
• Title（参考訳）: ルールベースモデルの不確実性定量化
• Authors: Yusik Kim
• Abstract要約: ルールベースの分類モデルは、確率をモデル化し、統計モデルのように予測に変換するのではなく、直接値を予測する。 本稿では,二項出力を持つ二項分類器をブラックボックスとして扱うメタモデルの形で不確実な定量化フレームワークを提案し,その推定に対する信頼度とともに,与えられた入力におけるそのベースモデルの予測精度を推定する。
• 参考スコア（独自算出の注目度）: 0.03807314298073299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rule-based classification models described in the language of logic directly predict boolean values, rather than modeling a probability and translating it into a prediction as done in statistical models. The vast majority of existing uncertainty quantification approaches rely on models providing continuous output not available to rule-based models. In this work, we propose an uncertainty quantification framework in the form of a meta-model that takes any binary classifier with binary output as a black box and estimates the prediction accuracy of that base model at a given input along with a level of confidence on that estimation. The confidence is based on how well that input region is explored and is designed to work in any OOD scenario. We demonstrate the usefulness of this uncertainty model by building an abstaining classifier powered by it and observing its performance in various scenarios.
• Abstract（参考訳）: 論理学の言語で記述されたルールベースの分類モデルは、確率をモデル化して統計モデルのように予測に変換するのではなく、ブール値を直接予測する。 既存の不確実性定量化アプローチの大半は、ルールベースのモデルでは利用できない連続的な出力を提供するモデルに依存している。 本研究では,二項出力を持つ二項分類器をブラックボックスとして取り込んだメタモデルの形で不確実な定量化フレームワークを提案し,その推定に対する信頼度とともに,与えられた入力でそのベースモデルの予測精度を推定する。 信頼度は入力領域の探索方法に基づいており、任意のOODシナリオで動作するように設計されている。 我々は,この不確実性モデルの有用性を,それを利用した断続的な分類器を構築し,その性能を様々なシナリオで観察することによって示す。

関連論文リスト

• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)における最初の形式的確率的評価フレームワークを紹介する。 モデルの出力分布に関する高い確率保証を持つ新しい指標を導出する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Bounding-Box Inference for Error-Aware Model-Based Reinforcement Learning [4.185571779339683]
  モデルに基づく強化学習では、シミュレーションされた経験は実環境からの経験と同等のものとして扱われることが多い。 モデルベースの更新に対する不確実性を推定するために、最適結果が分布に敏感な推測を必要とすることを示す。 境界ボックス推論は効果的な選択計画を支援することができる。
  論文  参考訳（メタデータ） (2024-06-23T04:23:15Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Uncertainty Quantification for Local Model Explanations Without Model Access [0.44241702149260353]
  本稿では,機械学習モデルに対するポストホックな説明を生成するためのモデルに依存しないアルゴリズムを提案する。 本アルゴリズムは,モデルクエリの有限サンプルから説明を生成する際に必然的に発生する不確実性を定量化するためにブートストラップ方式を用いる。
  論文  参考訳（メタデータ） (2023-01-13T21:18:00Z)
• Rigorous Assessment of Model Inference Accuracy using Language Cardinality [5.584832154027001]
  我々は,統計的推定を決定論的精度尺度に置き換えることで,モデル精度評価におけるバイアスと不確実性を最小化する体系的アプローチを開発する。 我々は、最先端の推論ツールによって推定されるモデルの精度を評価することによって、我々のアプローチの一貫性と適用性を実験的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T21:03:26Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Uncertainty estimation under model misspecification in neural network regression [3.2622301272834524]
  モデル選択が不確実性評価に与える影響について検討する。 モデルミスセグメンテーションでは,アレータリック不確実性は適切に捉えられていない。
  論文  参考訳（メタデータ） (2021-11-23T10:18:41Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Estimating predictive uncertainty for rumour verification models [24.470032028639107]
  我々は,不確実性推定を用いてモデル予測が誤っている可能性が示唆された。 本稿では,不確実性に基づくインスタンス拒絶の2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-05-14T17:42:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。