論文の概要: When to Accept Automated Predictions and When to Defer to Human Judgment?

• arxiv url: http://arxiv.org/abs/2407.07821v2
• Date: Tue, 13 Aug 2024 09:06:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 22:04:55.154271
• Title: When to Accept Automated Predictions and When to Defer to Human Judgment?
• Title（参考訳）: 自動予測を受理する時と判断する時
• Authors: Daniel Sikar, Artur Garcez, Tillman Weyde, Robin Bloomfield, Kaleem Peeroo,
• Abstract要約: 我々は、トレーニングされたニューラルネットワークの出力がどのように変化するかをクラスタリングを用いて分析し、出力とクラスセントロイド間の距離を測定する。 本稿では,分布変化による予測の信頼度を評価する指標として,この距離を提案する。
• 参考スコア（独自算出の注目度）: 1.9922905420195367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring the reliability and safety of automated decision-making is crucial. It is well-known that data distribution shifts in machine learning can produce unreliable outcomes. This paper proposes a new approach for measuring the reliability of predictions under distribution shifts. We analyze how the outputs of a trained neural network change using clustering to measure distances between outputs and class centroids. We propose this distance as a metric to evaluate the confidence of predictions under distribution shifts. We assign each prediction to a cluster with centroid representing the mean softmax output for all correct predictions of a given class. We then define a safety threshold for a class as the smallest distance from an incorrect prediction to the given class centroid. We evaluate the approach on the MNIST and CIFAR-10 datasets using a Convolutional Neural Network and a Vision Transformer, respectively. The results show that our approach is consistent across these data sets and network models, and indicate that the proposed metric can offer an efficient way of determining when automated predictions are acceptable and when they should be deferred to human operators given a distribution shift.
• Abstract（参考訳）: 自動意思決定の信頼性と安全性を確保することが重要です。 機械学習におけるデータ分散シフトが信頼できない結果をもたらすことはよく知られている。 本稿では,分布シフト下での予測の信頼性を評価するための新しい手法を提案する。 我々は、トレーニングされたニューラルネットワークの出力がどのように変化するかをクラスタリングを用いて分析し、出力とクラスセントロイド間の距離を測定する。 本稿では,分布変化による予測の信頼度を評価する指標として,この距離を提案する。 与えられたクラスの全ての正しい予測に対して、平均ソフトマックス出力を表すセントロイドを持つクラスタに各予測を割り当てる。 次に、クラスに対する安全性閾値を、不正確な予測から与えられたクラスセントロイドへの最小距離として定義する。 我々は,畳み込みニューラルネットワークと視覚変換器を用いて,MNISTとCIFAR-10データセットのアプローチを評価する。 その結果,本手法は,これらのデータセットやネットワークモデルに対して一貫したものであり,自動予測がいつ受け入れられるか,また分布シフトが与えられたら人間オペレータにいつ延期されるべきかを,提案手法が効率的に判断できることを示した。

関連論文リスト

• Distributionally Robust Machine Learning with Multi-source Data [6.383451076043423]
  対象分布のクラスに対する説明分散に関する逆報酬を最適化するために,群分布に頑健な予測モデルを導入する。 従来の経験的リスク最小化と比較して,提案した頑健な予測モデルでは,分布シフトを伴う対象集団の予測精度が向上する。 ランダムな森林とニューラルネットワークをベースラーニングアルゴリズムとして用いたシミュレーションおよび実データに対して,提案したグループ分散ロバストな手法の性能を示す。
  論文  参考訳（メタデータ） (2023-09-05T13:19:40Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Test-time Collective Prediction [73.74982509510961]
  マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。 エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。 我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
  論文  参考訳（メタデータ） (2021-06-22T18:29:58Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Estimating and Evaluating Regression Predictive Uncertainty in Deep Object Detectors [9.273998041238224]
  負の対数確率(nll)を持つトレーニング分散ネットワークは、高いエントロピー予測分布をもたらす可能性がある。 我々は,エネルギースコアを非局所的適切なスコアリングルールとして使用し,トレーニングに使用すると,エネルギースコアがより校正され,エントロピーの予測分布が低くなることを示す。
  論文  参考訳（メタデータ） (2021-01-13T12:53:54Z)
• Cross-Validation and Uncertainty Determination for Randomized Neural Networks with Applications to Mobile Sensors [0.0]
  極端学習マシンは、限られたコンピュータリソースとグリーン機械学習の下で教師付き学習を行うための魅力的で効率的な方法を提供する。 このようなネットワークと回帰手法による教師あり学習について,一般化と予測誤差の整合性および境界性の観点から考察した。
  論文  参考訳（メタデータ） (2021-01-06T12:28:06Z)
• Uncertainty Estimation and Sample Selection for Crowd Counting [87.29137075538213]
  予測された密度マップに関連する不確実性値とともに,群衆密度マップを予測できる画像に基づく群集カウント手法を提案する。 既存のクラウドカウント手法に比べて,提案手法の重要な利点は,予測の不確かさを定量化できることである。 サンプル選択戦略は、ソースドメイン上でトレーニングされたカウントネットワークをターゲットドメインに適応させるために必要なラベル付きデータの量を劇的に削減することを示す。
  論文  参考訳（メタデータ） (2020-09-30T03:40:07Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)
• Calibrated Prediction with Covariate Shift via Unsupervised Domain Adaptation [25.97333838935589]
  不確実性推定は、自律的なエージェントや人間の意思決定者が予測モデルを理解し、活用するのを助ける重要なツールである。 既存のアルゴリズムは確実性を過大評価し、予測モデルに誤った自信を与える可能性がある。
  論文  参考訳（メタデータ） (2020-02-29T20:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。