Fugu-MT 論文翻訳(概要): Multi-Loss Sub-Ensembles for Accurate Classification with Uncertainty Estimation

論文の概要: Multi-Loss Sub-Ensembles for Accurate Classification with Uncertainty Estimation

arxiv url: http://arxiv.org/abs/2010.01917v2
Date: Wed, 11 Nov 2020 12:41:52 GMT
ステータス: 処理完了
システム内更新日: 2022-10-10 20:48:42.953075
Title: Multi-Loss Sub-Ensembles for Accurate Classification with Uncertainty Estimation
Title（参考訳）: 不確かさ推定による高精度分類のためのマルチロスサブアンサンブル
Authors: Omer Achrack, Raizy Kellerman, Ouriel Barzilay
Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)の高精度な不確実性推定手法を提案する。我々は,Deep-Sub-Ensembles法によって提案される利点を利用して,推定時間を比較的低く保つ。その結果,いくつかの不確実性対策における分類課題と競争結果の精度が向上した。
参考スコア（独自算出の注目度）: 1.2891210250935146
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural networks (DNNs) have made a revolution in numerous fields during the last decade. However, in tasks with high safety requirements, such as medical or autonomous driving applications, providing an assessment of the models reliability can be vital. Uncertainty estimation for DNNs has been addressed using Bayesian methods, providing mathematically founded models for reliability assessment. These model are computationally expensive and generally impractical for many real-time use cases. Recently, non-Bayesian methods were proposed to tackle uncertainty estimation more efficiently. We propose an efficient method for uncertainty estimation in DNNs achieving high accuracy. We simulate the notion of multi-task learning on single-task problems by producing parallel predictions from similar models differing by their loss. This multi-loss approach allows one-phase training for single-task learning with uncertainty estimation. We keep our inference time relatively low by leveraging the advantage proposed by the Deep-Sub-Ensembles method. The novelty of this work resides in the proposed accurate variational inference with a simple and convenient training procedure, while remaining competitive in terms of computational time. We conduct experiments on SVHN, CIFAR10, CIFAR100 as well as Image-Net using different architectures. Our results show improved accuracy on the classification task and competitive results on several uncertainty measures.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、過去10年間に多くの分野で革命を起こしてきた。しかし、医療や自動運転といった安全要件の高いタスクでは、モデルの信頼性を評価することが不可欠である。 DNNの不確実性推定はベイズ法を用いて解決され、信頼性評価のために数学的に確立されたモデルを提供する。これらのモデルは計算コストが高く、多くのリアルタイムユースケースでは一般的に実用的ではない。近年,不確実性推定をより効率的に行うための非ベイズ的手法が提案されている。高精度なDNNにおける不確実性推定手法を提案する。単一タスク問題に対するマルチタスク学習の概念をシミュレーションし、その損失によって異なる類似モデルから並列予測を生成する。このマルチロスアプローチは、不確実性推定を伴うシングルタスク学習のための単相学習を可能にする。我々は,Deep-Sub-Ensembles法によって提案される利点を利用して,推定時間を比較的低く保つ。この研究の目新しさは、計算時間の観点からの競争力を保ちながら、単純で便利なトレーニング手順で提案された正確な変分推論にある。 SVHN, CIFAR10, CIFAR100および異なるアーキテクチャを用いた画像ネットの実験を行った。その結果,いくつかの不確実性対策における分類課題と競争結果の精度が向上した。

関連論文リスト

Uncertainty Calibration with Energy Based Instance-wise Scaling in the Wild Dataset [23.155946032377052]
エネルギーモデルに基づく新しいインスタンスワイドキャリブレーション手法を提案する。本手法は,ソフトマックス信頼性スコアの代わりにエネルギースコアを組み込むことにより,不確実性を考慮した適応的な検討を可能にする。実験では,提案手法はスペクトル間のロバストな性能を一貫して維持することを示した。
論文参考訳（メタデータ） (2024-07-17T06:14:55Z)
SURE: SUrvey REcipes for building reliable and robust deep networks [12.268921703825258]
本稿では,深層ニューラルネットワークにおける不確実性推定手法を再検討し,信頼性を高めるために一連の手法を統合する。我々は,不確実性推定の有効性を示す重要なテストベッドである故障予測のベンチマークに対して,SUREを厳格に評価する。データ破損、ラベルノイズ、長い尾のクラス分布といった現実世界の課題に適用した場合、SUREは顕著な堅牢性を示し、現在の最先端の特殊手法と同等あるいは同等な結果をもたらす。
論文参考訳（メタデータ） (2024-03-01T13:58:19Z)
Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。従来の深層学習法は時系列計算に有効であることが示されている。本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文参考訳（メタデータ） (2023-12-03T05:52:30Z)
Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
論文参考訳（メタデータ） (2022-12-14T17:34:11Z)
BayesCap: Bayesian Identity Cap for Calibrated Uncertainty in Frozen Neural Networks [50.15201777970128]
本研究では,凍結モデルに対するベイズIDマッピングを学習し,不確実性の推定を可能にするBayesCapを提案する。 BayesCapは、元のデータセットのごく一部でトレーニングできる、メモリ効率のよいメソッドである。本稿では,多種多様なアーキテクチャを用いた多種多様なタスクに対する本手法の有効性を示す。
論文参考訳（メタデータ） (2022-07-14T12:50:09Z)
On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文参考訳（メタデータ） (2021-07-01T17:59:07Z)
Probabilistic Neighbourhood Component Analysis: Sample Efficient Uncertainty Estimation in Deep Learning [25.8227937350516]
トレーニングデータの量が少ない場合,最先端のBNNとDeep Ensembleモデルの不確実性推定能力は著しく低下することを示す。サンプル効率の高い非パラメトリックkNN手法の確率的一般化を提案する。我々のアプローチは、深いkNNがその予測において根底にある不確かさを正確に定量化することを可能にする。
論文参考訳（メタデータ） (2020-07-18T21:36:31Z)
Confidence-Aware Learning for Deep Neural Networks [4.9812879456945]
本稿では,新たな損失関数であるCorrectness Ranking Lossを用いたディープニューラルネットワークのトレーニング手法を提案する。クラス確率を明示的に規則化し、信頼度に応じて順序付けされたランキングでより良い信頼度の推定を行う。従来の深層分類器とほぼ同じ計算コストを持ち、1つの推論で信頼性のある予測を出力する。
論文参考訳（メタデータ） (2020-07-03T02:00:35Z)
Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions [121.10450359856242]
我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。 1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
論文参考訳（メタデータ） (2020-06-29T13:36:52Z)
Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文参考訳（メタデータ） (2020-05-21T16:08:38Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。