論文の概要: A Meta-heuristic Approach to Estimate and Explain Classifier Uncertainty
- arxiv url: http://arxiv.org/abs/2304.10284v1
- Date: Thu, 20 Apr 2023 13:09:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 13:12:05.778529
- Title: A Meta-heuristic Approach to Estimate and Explain Classifier Uncertainty
- Title(参考訳): メタヒューリスティックアプローチによる推定と明示的分類の不確実性
- Authors: Andrew Houston, Georgina Cosma
- Abstract要約: 本研究は,人間と機械学習の双方の意思決定に相互に関係する因子の観点から,インスタンスの複雑性を特徴付けるクラス非依存型メタヒューリスティックスを提案する。
提案された測度とフレームワークは、より複雑なインスタンスのモデル開発を改善するとともに、モデルの棄却と説明の新しい手段を提供するという約束を持っている。
- 参考スコア(独自算出の注目度): 0.4264192013842096
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Trust is a crucial factor affecting the adoption of machine learning (ML)
models. Qualitative studies have revealed that end-users, particularly in the
medical domain, need models that can express their uncertainty in
decision-making allowing users to know when to ignore the model's
recommendations. However, existing approaches for quantifying decision-making
uncertainty are not model-agnostic, or they rely on complex statistical
derivations that are not easily understood by laypersons or end-users, making
them less useful for explaining the model's decision-making process. This work
proposes a set of class-independent meta-heuristics that can characterize the
complexity of an instance in terms of factors are mutually relevant to both
human and ML decision-making. The measures are integrated into a meta-learning
framework that estimates the risk of misclassification. The proposed framework
outperformed predicted probabilities in identifying instances at risk of being
misclassified. The proposed measures and framework hold promise for improving
model development for more complex instances, as well as providing a new means
of model abstention and explanation.
- Abstract(参考訳): 信頼は機械学習(ML)モデルの採用に影響を与える重要な要因である。
質的研究により、エンドユーザー、特に医療分野において、意思決定において不確実性を表現できるモデルが必要であることが判明した。
しかしながら、既存の意思決定の不確かさを定量化するためのアプローチはモデルに依存していないし、あるいは素人やエンドユーザが容易に理解できない複雑な統計的導出に依存しているため、モデルの意思決定プロセスを説明する上ではあまり役に立たない。
本研究は,ヒトとMLの意思決定に相互に関係する因子の観点から,インスタンスの複雑性を特徴付けるクラス非依存型メタヒューリスティックスを提案する。
これらの尺度は、誤分類のリスクを推定するメタラーニングフレームワークに統合される。
提案したフレームワークは、誤分類のリスクのあるインスタンスを識別する予測確率を上回った。
提案された測度とフレームワークは、より複雑なインスタンスのモデル開発を改善するとともに、モデルの棄却と説明の新しい手段を提供する。
関連論文リスト
- Decomposing Uncertainty for Large Language Models through Input
Clarification Ensembling [74.00331519233026]
大規模言語モデル(LLM)のための不確実性分解フレームワークを提案する。
我々のフレームワークは入力の一連の明確化を生成し、それらを固定LLMに入力し、対応する予測をアンサンブルする。
実験により,提案手法は様々なタスクに対して正確かつ確実な不確実性定量化を提供することを示した。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z) - Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。
本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。
新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
論文 参考訳(メタデータ) (2023-07-19T12:11:15Z) - Incorporating Domain Knowledge in Deep Neural Networks for Discrete
Choice Models [0.5801044612920815]
本稿では,DCMにおけるデータ駆動型アプローチの可能性を拡張するフレームワークを提案する。
これには、必要な関係を表す擬似データサンプルと、その実現度を測定する損失関数が含まれる。
ケーススタディは、このフレームワークの個別選択分析の可能性を示している。
論文 参考訳(メタデータ) (2023-05-30T12:53:55Z) - On the Complexity of Adversarial Decision Making [101.14158787665252]
決定推定係数は, 相手の意思決定に対する後悔度を低く抑えるのに必要であり, 十分であることを示す。
我々は、決定推定係数を他のよく知られた複雑性尺度の変種に結びつける新しい構造結果を提供する。
論文 参考訳(メタデータ) (2022-06-27T06:20:37Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳(メタデータ) (2021-11-22T08:54:10Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳(メタデータ) (2020-11-15T17:26:14Z) - Selective Dyna-style Planning Under Limited Model Capacity [26.63876180969654]
モデルに基づく強化学習では、環境の不完全なモデルによる計画は、学習の進行に害を与える可能性がある。
本稿では,不完全モデルの使用を選択的に検討する。
エージェントは、モデルが有用な状態空間の一部を計画するが、有害なモデルの使用を控える必要がある。
論文 参考訳(メタデータ) (2020-07-05T18:51:50Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳(メタデータ) (2020-05-21T16:08:38Z) - Value of Information Analysis via Active Learning and Knowledge Sharing
in Error-Controlled Adaptive Kriging [7.148732567427574]
本稿では,情報の価値(VoI)分析のための最初のサロゲートベースのフレームワークを提案する。
複数の関心事の可能性を更新するために、サロゲートモデル間の観測から平等な情報を共有することができる。
トラスブリッジの負荷試験を含む最適決定問題に対して,提案手法を適用した。
論文 参考訳(メタデータ) (2020-02-06T16:58:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。