論文の概要: Reliable uncertainty with cheaper neural network ensembles: a case study in industrial parts classification

• arxiv url: http://arxiv.org/abs/2403.10182v1
• Date: Fri, 15 Mar 2024 10:38:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 17:40:24.163093
• Title: Reliable uncertainty with cheaper neural network ensembles: a case study in industrial parts classification
• Title（参考訳）: 安価なニューラルネットワークアンサンブルによる信頼性の不確実性:工業部品分類における事例研究
• Authors: Arthur Thuy, Dries F. Benoit,
• Abstract要約: オペレーションリサーチ(OR)では、予測モデルはしばしばアウト・オブ・ディストリビューション(OOD)のシナリオに遭遇する。 複数の独立したNNで構成されるディープアンサンブルは、有望なアプローチとして現れている。 本研究は,1つのNNと1つのディープアンサンブル,および3つの効率的なNNアンサンブルを総合的に比較した最初のものである。
• 参考スコア（独自算出の注目度）: 1.104960878651584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In operations research (OR), predictive models often encounter out-of-distribution (OOD) scenarios where the data distribution differs from the training data distribution. In recent years, neural networks (NNs) are gaining traction in OR for their exceptional performance in fields such as image classification. However, NNs tend to make confident yet incorrect predictions when confronted with OOD data. Uncertainty estimation offers a solution to overconfident models, communicating when the output should (not) be trusted. Hence, reliable uncertainty quantification in NNs is crucial in the OR domain. Deep ensembles, composed of multiple independent NNs, have emerged as a promising approach, offering not only strong predictive accuracy but also reliable uncertainty estimation. However, their deployment is challenging due to substantial computational demands. Recent fundamental research has proposed more efficient NN ensembles, namely the snapshot, batch, and multi-input multi-output ensemble. This study is the first to provide a comprehensive comparison of a single NN, a deep ensemble, and the three efficient NN ensembles. In addition, we propose a Diversity Quality metric to quantify the ensembles' performance on the in-distribution and OOD sets in one single metric. The OR case study discusses industrial parts classification to identify and manage spare parts, important for timely maintenance of industrial plants. The results highlight the batch ensemble as a cost-effective and competitive alternative to the deep ensemble. It outperforms the deep ensemble in both uncertainty and accuracy while exhibiting a training time speedup of 7x, a test time speedup of 8x, and 9x memory savings.
• Abstract（参考訳）: オペレーションリサーチ(OR)では、予測モデルは、データ分布とトレーニングデータ分布が異なる場合の、アウト・オブ・ディストリビューション(OOD)のシナリオに遭遇することが多い。 近年、ニューラルネットワーク(NN)は、画像分類などの分野での例外的な性能のために、ORにおいて勢いを増している。 しかし、NNはOODデータに直面すると、自信はあるが誤った予測をする傾向がある。 不確実性推定は、アウトプットが信頼できる(そうでない)ときに通信する、過信モデルに対するソリューションを提供する。 したがって、NNにおける確実な不確実性定量化はOR領域において重要である。 複数の独立したNNで構成されたディープアンサンブルは、強い予測精度だけでなく、信頼性の高い不確実性推定を提供する、有望なアプローチとして現れている。 しかし、実際の計算要求のため、その展開は困難である。 最近の基礎研究により、より効率的なNNアンサンブル、すなわちスナップショット、バッチ、マルチインプットマルチアウトプットアンサンブルが提案されている。 本研究は,1つのNNと1つのディープアンサンブル,および3つの効率的なNNアンサンブルを総合的に比較した最初のものである。 さらに,1つの測度において,分布内およびOOD集合上でのアンサンブルのパフォーマンスを定量化するための多様性品質指標を提案する。 ORケーススタディでは,工場のタイムリーメンテナンスにおいて重要なスペア部品の特定と管理を行う産業部品分類について論じている。 その結果、バッチアンサンブルは、ディープアンサンブルのコスト効率と競争力のある代替品として強調された。 トレーニングタイムの7倍、テストタイムの8倍、メモリの9倍のスピードアップを示しながら、不確実性と正確性の両方でディープアンサンブルを上回っている。

関連論文リスト

• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• CreINNs: Credal-Set Interval Neural Networks for Uncertainty Estimation in Classification Tasks [5.19656787424626]
  不確実性推定は、ニューラルネットワークの信頼性を向上させるためにますます魅力的なものになっている。 分類タスク用に設計された新しいクレーダセットインターバルニューラルネットワーク(CreINN)を提案する。
  論文  参考訳（メタデータ） (2024-01-10T10:04:49Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• A Benchmark on Uncertainty Quantification for Deep Learning Prognostics [0.0]
  診断学的な深層学習のための不確実性定量化の分野における最新の発展のいくつかを評価する。 これには、ベイズニューラルネットワーク(BNN)の最先端の変分推論アルゴリズムや、モンテカルロ・ドロップアウト(MCD)、ディープアンサンブル(DE)、ヘテロセダスティックニューラルネットワーク(HNN)などの一般的な代替品が含まれる。 この手法の性能は、NASA NCMAPSSの航空機エンジン用データセットのサブセットで評価される。
  論文  参考訳（メタデータ） (2023-02-09T16:12:47Z)
• Improving Uncertainty Quantification of Variance Networks by Tree-Structured Learning [10.566352737844369]
  本研究では,不確実性に基づいて特徴空間を複数の領域に分割する木構造局所ニューラルネットワークモデルを提案する。 提案したUncertainty-Splitting Neural Regression Tree (USNRT)は、新しいスプリッティング基準を採用している。 USNRTやそのアンサンブルは、分散を伴う不確実性を定量化するための最近の一般的な手法と比較して、優れた性能を示している。
  論文  参考訳（メタデータ） (2022-12-24T05:25:09Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• Multidimensional Uncertainty-Aware Evidential Neural Networks [21.716045815385268]
  非可逆性(OOD)検出問題を解決するために、WGAN-ENN(WENN)と呼ばれる新しい不確実性認識NNを提案する。 我々は、Wasserstein Generative Adrial Network(WGAN)とENNを組み合わせて、あるクラスの事前知識でモデルを共同で訓練するハイブリッドアプローチを採用した。 WENNによる不確実性の推定は、OODサンプルと境界サンプルを有意に区別するのに役立つことを実証した。
  論文  参考訳（メタデータ） (2020-12-26T04:28:56Z)
• Multi-Loss Sub-Ensembles for Accurate Classification with Uncertainty Estimation [1.2891210250935146]
  本稿では,ディープニューラルネットワーク(DNN)の高精度な不確実性推定手法を提案する。 我々は,Deep-Sub-Ensembles法によって提案される利点を利用して,推定時間を比較的低く保つ。 その結果,いくつかの不確実性対策における分類課題と競争結果の精度が向上した。
  論文  参考訳（メタデータ） (2020-10-05T10:59:11Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。