論文の概要: An In-Depth Examination of Risk Assessment in Multi-Class Classification Algorithms

• arxiv url: http://arxiv.org/abs/2412.04166v1
• Date: Thu, 05 Dec 2024 14:03:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:39:00.381302
• Title: An In-Depth Examination of Risk Assessment in Multi-Class Classification Algorithms
• Title（参考訳）: マルチクラス分類アルゴリズムにおけるリスクアセスメントの詳細な検討
• Authors: Disha Ghandwani, Neeraj Sarna, Yuanyuan Li, Yang Lin,
• Abstract要約: リスク評価問題の解法における各種手法の性能を数値的に解析する。 我々の共形予測に基づくアプローチは、モデルとデータ分散非依存であり、実装が簡単であり、合理的な結果を提供する。
• 参考スコア（独自算出の注目度）: 10.008264048021076
• License:
• Abstract: Advanced classification algorithms are being increasingly used in safety-critical applications like health-care, engineering, etc. In such applications, miss-classifications made by ML algorithms can result in substantial financial or health-related losses. To better anticipate and prepare for such losses, the algorithm user seeks an estimate for the probability that the algorithm miss-classifies a sample. We refer to this task as the risk-assessment. For a variety of models and datasets, we numerically analyze the performance of different methods in solving the risk-assessment problem. We consider two solution strategies: a) calibration techniques that calibrate the output probabilities of classification models to provide accurate probability outputs; and b) a novel approach based upon the prediction interval generation technique of conformal prediction. Our conformal prediction based approach is model and data-distribution agnostic, simple to implement, and provides reasonable results for a variety of use-cases. We compare the different methods on a broad variety of models and datasets.
• Abstract（参考訳）: 高度な分類アルゴリズムは、医療、エンジニアリングなど、安全に重要なアプリケーションにますます使われています。 このようなアプリケーションでは、MLアルゴリズムによるミス分類は、経済的または健康的な損失をもたらす可能性がある。 このような損失を予測し、準備するために、アルゴリズム利用者は、アルゴリズムがサンプルを誤分類する確率を推定する。 私たちはこのタスクをリスク評価と呼んでいる。 様々なモデルやデータセットに対して,リスク評価問題の解法において,様々な手法の性能を数値的に解析する。 私たちは2つの解決策戦略を考えます。 a) 正確な確率出力を提供するために分類モデルの出力確率を校正する校正技術 b) 共形予測の予測間隔生成技術に基づく新しいアプローチ。 我々の共形予測に基づくアプローチは、モデルとデータ分散非依存であり、実装が簡単であり、様々なユースケースに対して合理的な結果を提供する。 さまざまなモデルとデータセットの異なる手法を比較します。

関連論文リスト

• The Generalization Error of Machine Learning Algorithms [0.0]
  差分法は,機械学習アルゴリズムの一般化誤差に対する情報量の観点から,閉形式式を導出する手法である。 提案手法により,機械学習アルゴリズムの一般化誤差に対する既存の正確な表現が得られる。
  論文  参考訳（メタデータ） (2024-11-18T20:05:51Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Distribution-free risk assessment of regression-based machine learning algorithms [6.507711025292814]
  我々は回帰アルゴリズムとモデル予測の周囲に定義された区間内に存在する真のラベルの確率を計算するリスク評価タスクに焦点をあてる。 そこで,本研究では,正のラベルを所定の確率で含むことが保証される予測区間を提供する共形予測手法を用いてリスク評価問題を解決する。
  論文  参考訳（メタデータ） (2023-10-05T13:57:24Z)
• Reliability analysis of discrete-state performance functions via adaptive sequential sampling with detection of failure surfaces [0.0]
  本稿では,レアイベント確率推定のための新しい効率的でロバストな手法を提案する。 この手法は、複数の障害タイプの確率を推定することができる。 この情報に対応して、推定確率の精度を高めることができる。
  論文  参考訳（メタデータ） (2022-08-04T05:59:25Z)
• Risk Consistent Multi-Class Learning from Label Proportions [64.0125322353281]
  本研究は,バッグにトレーニングインスタンスを提供するMCLLP設定によるマルチクラス学習に対処する。 既存のほとんどのMCLLPメソッドは、インスタンスの予測や擬似ラベルの割り当てにバッグワイズな制約を課している。 経験的リスク最小化フレームワークを用いたリスク一貫性手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T03:49:04Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• Variance based sensitivity analysis for Monte Carlo and importance sampling reliability assessment with Gaussian processes [0.0]
  本稿では,2つの不確実性源に対する故障推定器の感度を定量的に評価する手法を提案する。 この分析により、故障確率推定に関連する全誤差を制御でき、推定の精度基準を提供する。 本手法は, モンテカルロ法と重要サンプリング法の両方で提案され, 希少事象確率の推定を改善することを目的としている。
  論文  参考訳（メタデータ） (2020-11-30T17:06:28Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Saliency-based Weighted Multi-label Linear Discriminant Analysis [101.12909759844946]
  複数ラベルの分類課題を解決するために,LDA(Linear Discriminant Analysis)の新たな変種を提案する。 提案手法は,個々の試料の重量を定義する確率モデルに基づく。 サリエンシに基づく重み付きマルチラベル LDA アプローチは,様々なマルチラベル分類問題の性能改善につながることが示されている。
  論文  参考訳（メタデータ） (2020-04-08T19:40:53Z)
• Probabilistic Diagnostic Tests for Degradation Problems in Supervised Learning [0.0]
  分類アルゴリズムにおけるクラス不均衡、重なり合い、小さな分散、ノイズラベル、スパース限界精度などの問題。 各問題の兆候と症状の同定に基づく確率診断モデルを示す。 いくつかの教師付きアルゴリズムの動作と性能は、トレーニングセットにそのような問題がある場合に研究される。
  論文  参考訳（メタデータ） (2020-04-06T20:32:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。