論文の概要: A Meta-heuristic Approach to Estimate and Explain Classifier Uncertainty

• arxiv url: http://arxiv.org/abs/2304.10284v1
• Date: Thu, 20 Apr 2023 13:09:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 13:12:05.778529
• Title: A Meta-heuristic Approach to Estimate and Explain Classifier Uncertainty
• Title（参考訳）: メタヒューリスティックアプローチによる推定と明示的分類の不確実性
• Authors: Andrew Houston, Georgina Cosma
• Abstract要約: 本研究は,人間と機械学習の双方の意思決定に相互に関係する因子の観点から,インスタンスの複雑性を特徴付けるクラス非依存型メタヒューリスティックスを提案する。 提案された測度とフレームワークは、より複雑なインスタンスのモデル開発を改善するとともに、モデルの棄却と説明の新しい手段を提供するという約束を持っている。
• 参考スコア（独自算出の注目度）: 0.4264192013842096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Trust is a crucial factor affecting the adoption of machine learning (ML) models. Qualitative studies have revealed that end-users, particularly in the medical domain, need models that can express their uncertainty in decision-making allowing users to know when to ignore the model's recommendations. However, existing approaches for quantifying decision-making uncertainty are not model-agnostic, or they rely on complex statistical derivations that are not easily understood by laypersons or end-users, making them less useful for explaining the model's decision-making process. This work proposes a set of class-independent meta-heuristics that can characterize the complexity of an instance in terms of factors are mutually relevant to both human and ML decision-making. The measures are integrated into a meta-learning framework that estimates the risk of misclassification. The proposed framework outperformed predicted probabilities in identifying instances at risk of being misclassified. The proposed measures and framework hold promise for improving model development for more complex instances, as well as providing a new means of model abstention and explanation.
• Abstract（参考訳）: 信頼は機械学習(ML)モデルの採用に影響を与える重要な要因である。 質的研究により、エンドユーザー、特に医療分野において、意思決定において不確実性を表現できるモデルが必要であることが判明した。 しかしながら、既存の意思決定の不確かさを定量化するためのアプローチはモデルに依存していないし、あるいは素人やエンドユーザが容易に理解できない複雑な統計的導出に依存しているため、モデルの意思決定プロセスを説明する上ではあまり役に立たない。 本研究は,ヒトとMLの意思決定に相互に関係する因子の観点から,インスタンスの複雑性を特徴付けるクラス非依存型メタヒューリスティックスを提案する。 これらの尺度は、誤分類のリスクを推定するメタラーニングフレームワークに統合される。 提案したフレームワークは、誤分類のリスクのあるインスタンスを識別する予測確率を上回った。 提案された測度とフレームワークは、より複雑なインスタンスのモデル開発を改善するとともに、モデルの棄却と説明の新しい手段を提供する。

関連論文リスト

• Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework [54.40508478482667]
  認識と計画生成の不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。 本稿では,知覚と意思決定の独特な性質に合わせた手法を提案する。 この不確実性分散フレームワークは, 変動率を最大40%削減し, タスク成功率をベースラインに比べて5%向上させることを示した。
  論文  参考訳（メタデータ） (2024-11-03T17:32:00Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Unified Uncertainty Estimation for Cognitive Diagnosis Models [70.46998436898205]
  本稿では,幅広い認知診断モデルに対する統一的不確実性推定手法を提案する。 診断パラメータの不確かさをデータ・アスペクトとモデル・アスペクトに分解する。 本手法は有効であり,認知診断の不確実性に関する有用な知見を提供することができる。
  論文  参考訳（メタデータ） (2024-03-09T13:48:20Z)
• Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
  単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。 本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。 新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
  論文  参考訳（メタデータ） (2023-07-19T12:11:15Z)
• Incorporating Domain Knowledge in Deep Neural Networks for Discrete Choice Models [0.5801044612920815]
  本稿では,DCMにおけるデータ駆動型アプローチの可能性を拡張するフレームワークを提案する。 これには、必要な関係を表す擬似データサンプルと、その実現度を測定する損失関数が含まれる。 ケーススタディは、このフレームワークの個別選択分析の可能性を示している。
  論文  参考訳（メタデータ） (2023-05-30T12:53:55Z)
• On the Complexity of Adversarial Decision Making [101.14158787665252]
  決定推定係数は, 相手の意思決定に対する後悔度を低く抑えるのに必要であり, 十分であることを示す。 我々は、決定推定係数を他のよく知られた複雑性尺度の変種に結びつける新しい構造結果を提供する。
  論文  参考訳（メタデータ） (2022-06-27T06:20:37Z)
• Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty [66.17147341354577]
  我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。 モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。 この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
  論文  参考訳（メタデータ） (2020-11-15T17:26:14Z)
• Selective Dyna-style Planning Under Limited Model Capacity [26.63876180969654]
  モデルに基づく強化学習では、環境の不完全なモデルによる計画は、学習の進行に害を与える可能性がある。 本稿では,不完全モデルの使用を選択的に検討する。 エージェントは、モデルが有用な状態空間の一部を計画するが、有害なモデルの使用を控える必要がある。
  論文  参考訳（メタデータ） (2020-07-05T18:51:50Z)
• Value of Information Analysis via Active Learning and Knowledge Sharing in Error-Controlled Adaptive Kriging [7.148732567427574]
  本稿では,情報の価値(VoI)分析のための最初のサロゲートベースのフレームワークを提案する。 複数の関心事の可能性を更新するために、サロゲートモデル間の観測から平等な情報を共有することができる。 トラスブリッジの負荷試験を含む最適決定問題に対して,提案手法を適用した。
  論文  参考訳（メタデータ） (2020-02-06T16:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。