論文の概要: Explorations of the Softmax Space: Knowing When the Neural Network Doesn't Know...

• arxiv url: http://arxiv.org/abs/2502.00456v1
• Date: Sat, 01 Feb 2025 15:25:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:02:27.065639
• Title: Explorations of the Softmax Space: Knowing When the Neural Network Doesn't Know...
• Title（参考訳）: ソフトマックス空間の探索:ニューラルネットワークが知らないときを知る...
• Authors: Daniel Sikar, Artur d'Avila Garcez, Tillman Weyde,
• Abstract要約: 本稿では,機械学習モデルにおける予測の信頼性を評価するための新しい手法を提案する。 我々は、トレーニングされたニューラルネットワークの出力がどのように変化するかをクラスタリングを用いて分析し、出力とクラスセントロイド間の距離を測定する。
• 参考スコア（独自算出の注目度）: 2.6626950367610394
• License:
• Abstract: Ensuring the reliability and safety of automated decision-making is crucial. This paper proposes a new approach for measuring the reliability of predictions in machine learning models. We analyze how the outputs of a trained neural network change using clustering to measure distances between outputs and class centroids. We propose this distance as a metric to evaluate the confidence of predictions. We assign each prediction to a cluster with centroid representing the mean softmax output for all correct predictions of a given class. We then define a safety threshold for a class as the smallest distance from an incorrect prediction to the given class centroid. We evaluate the approach on the MNIST and CIFAR-10 datasets using a Convolutional Neural Network and a Vision Transformer, respectively. The results show that our approach is consistent across these data sets and network models, and indicate that the proposed metric can offer an efficient way of determining when automated predictions are acceptable and when they should be deferred to human operators.
• Abstract（参考訳）: 自動意思決定の信頼性と安全性を確保することが重要です。 本稿では,機械学習モデルにおける予測の信頼性を評価するための新しい手法を提案する。 我々は、トレーニングされたニューラルネットワークの出力がどのように変化するかをクラスタリングを用いて分析し、出力とクラスセントロイド間の距離を測定する。 本稿では,予測の信頼性を評価する指標として,この距離を提案する。 与えられたクラスの全ての正しい予測に対して、平均ソフトマックス出力を表すセントロイドを持つクラスタに各予測を割り当てる。 次に、クラスに対する安全性閾値を、不正確な予測から与えられたクラスセントロイドへの最小距離として定義する。 我々は,畳み込みニューラルネットワークと視覚変換器を用いて,MNISTとCIFAR-10データセットのアプローチを評価する。 その結果,提案手法は,これらのデータセットやネットワークモデルに対して一貫したものであり,自動予測がいつ受け入れられるか,いつ人間のオペレータに延期されるべきかを効率的に判断できることを示した。

関連論文リスト

• When to Accept Automated Predictions and When to Defer to Human Judgment? [1.9922905420195367]
  我々は、トレーニングされたニューラルネットワークの出力がどのように変化するかをクラスタリングを用いて分析し、出力とクラスセントロイド間の距離を測定する。 本稿では,分布変化による予測の信頼度を評価する指標として,この距離を提案する。
  論文  参考訳（メタデータ） (2024-07-10T16:45:52Z)
• Uncertainty Quantification in Deep Neural Networks through Statistical Inference on Latent Space [0.0]
  ネットワークに供給されたデータポイントの潜在空間表現を利用して予測精度を評価するアルゴリズムを開発した。 一般的に使われている手法が大半が過信である合成データセットについて述べる。 対照的に,本手法は,不正確な予測を行うようなアウト・オブ・ディストリビューション・データ・ポイントを検出できるため,アウトレーヤの自動検出に役立てることができる。
  論文  参考訳（メタデータ） (2023-05-18T09:52:06Z)
• Confidence estimation of classification based on the distribution of the neural network output layer [4.529188601556233]
  現実の世界における予測モデルの適用を防ぐための最も一般的な問題の1つは一般化の欠如である。 ニューラルネットワーク分類モデルにより生成された特定の予測の不確かさを推定する新しい手法を提案する。 提案手法は,この予測に対応するロジット値の分布に基づいて,特定の予測の信頼性を推定する。
  論文  参考訳（メタデータ） (2022-10-14T12:32:50Z)
• BayesNetCNN: incorporating uncertainty in neural networks for image-based classification tasks [0.29005223064604074]
  本稿では,標準的なニューラルネットワークをベイズニューラルネットワークに変換する手法を提案する。 本研究では,各前方パスにおいて,元のものと類似した異なるネットワークをサンプリングすることにより,予測のばらつきを推定する。 我々は、アルツハイマー病患者の脳画像の大きなコホートを用いて、我々のモデルを検証した。
  論文  参考訳（メタデータ） (2022-09-27T01:07:19Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
  ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
  論文  参考訳（メタデータ） (2021-10-04T17:59:31Z)
• Uncertainty Estimation and Sample Selection for Crowd Counting [87.29137075538213]
  予測された密度マップに関連する不確実性値とともに,群衆密度マップを予測できる画像に基づく群集カウント手法を提案する。 既存のクラウドカウント手法に比べて,提案手法の重要な利点は,予測の不確かさを定量化できることである。 サンプル選択戦略は、ソースドメイン上でトレーニングされたカウントネットワークをターゲットドメインに適応させるために必要なラベル付きデータの量を劇的に削減することを示す。
  論文  参考訳（メタデータ） (2020-09-30T03:40:07Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。