論文の概要: DS-UI: Dual-Supervised Mixture of Gaussian Mixture Models for Uncertainty Inference

• arxiv url: http://arxiv.org/abs/2011.08595v1
• Date: Tue, 17 Nov 2020 12:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 16:03:03.620877
• Title: DS-UI: Dual-Supervised Mixture of Gaussian Mixture Models for Uncertainty Inference
• Title（参考訳）: DS-UI:不確かさ推論のためのガウス混合モデルのデュアルスーパービジョン混合
• Authors: Jiyang Xie and Zhanyu Ma and Jing-Hao Xue and Guoqiang Zhang and Jun Guo
• Abstract要約: 本稿では、ディープニューラルネットワーク(DNN)に基づく画像認識において、ベイズ推定に基づく不確実性推論(UI)を改善するための二重教師付き不確実性推論(DS-UI)フレームワークを提案する。 DS-UIでは、最後の完全連結(FC)層とガウス混合モデル(MoGMM)を組み合わせ、MoGMM-FC層を得る。 実験の結果,DS-UIは誤分類検出において最先端のUI手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 52.899219617256655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a dual-supervised uncertainty inference (DS-UI) framework for improving Bayesian estimation-based uncertainty inference (UI) in deep neural network (DNN)-based image recognition. In the DS-UI, we combine the classifier of a DNN, i.e., the last fully-connected (FC) layer, with a mixture of Gaussian mixture models (MoGMM) to obtain an MoGMM-FC layer. Unlike existing UI methods for DNNs, which only calculate the means or modes of the DNN outputs' distributions, the proposed MoGMM-FC layer acts as a probabilistic interpreter for the features that are inputs of the classifier to directly calculate the probability density of them for the DS-UI. In addition, we propose a dual-supervised stochastic gradient-based variational Bayes (DS-SGVB) algorithm for the MoGMM-FC layer optimization. Unlike conventional SGVB and optimization algorithms in other UI methods, the DS-SGVB not only models the samples in the specific class for each Gaussian mixture model (GMM) in the MoGMM, but also considers the negative samples from other classes for the GMM to reduce the intra-class distances and enlarge the inter-class margins simultaneously for enhancing the learning ability of the MoGMM-FC layer in the DS-UI. Experimental results show the DS-UI outperforms the state-of-the-art UI methods in misclassification detection. We further evaluate the DS-UI in open-set out-of-domain/-distribution detection and find statistically significant improvements. Visualizations of the feature spaces demonstrate the superiority of the DS-UI.
• Abstract（参考訳）: 本稿では、ディープニューラルネットワーク(DNN)に基づく画像認識において、ベイズ推定に基づく不確実性推論(UI)を改善するための二重教師付き不確実性推論(DS-UI)フレームワークを提案する。 DS-UIでは、最後の完全連結(FC)層であるDNNの分類器とガウス混合モデル(MoGMM)の混合を組み合わせ、MoGMM-FC層を得る。 DNNの出力の手段やモードのみを計算する既存のDNNのUI手法とは異なり、提案したMoGMM-FC層は分類器の入力である特徴の確率的インタプリタとして機能し、DS-UIの確率密度を直接計算する。 さらに,MoGMM-FC層最適化のための二重教師付き確率勾配に基づく変分ベイズ (DS-SGVB) アルゴリズムを提案する。 従来のSGVBや他のUIメソッドの最適化アルゴリズムとは異なり、DS-SGVBは、MoGMMの各ガウス混合モデル(GMM)の特定のクラスのサンプルをモデル化するだけでなく、GMMの他のクラスからの負のサンプルも考慮し、クラス内距離を削減し、クラス間マージンを同時に拡大し、DS-UIにおけるMoGMM-FC層の学習能力を高める。 実験の結果,DS-UIは誤分類検出において最先端のUI手法よりも優れていた。 さらに, 領域外/分布検出におけるDS-UIの評価を行い, 統計的に有意な改善が認められた。 特徴空間の可視化はDS-UIの優位性を示している。

関連論文リスト

• Novel Approach to Intrusion Detection: Introducing GAN-MSCNN-BILSTM with LIME Predictions [0.0]
  本稿では、GAN(Generative Adversarial Networks)、MSCNN(Multi-Scale Convolutional Neural Networks)、Bidirectional Long Short-Term Memory(BiLSTM)を利用した革新的な侵入検知システムを提案する。 このシステムは、通常のパターンと攻撃パターンの両方を含む、現実的なネットワークトラフィックデータを生成する。 標準ベンチマークであるHogzillaデータセットの評価では、多クラス分類では99.16%、バイナリ分類では99.10%という印象的な精度を示している。
  論文  参考訳（メタデータ） (2024-06-08T11:26:44Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• G-Mix: A Generalized Mixup Learning Framework Towards Flat Minima [17.473268736086137]
  我々は、DNNモデルのトレーニングにMixupとSAMの強みを組み合わせた、Generalized-Mixupと呼ばれる新しい学習フレームワークを提案する。 本稿では2つの新しいアルゴリズムを提案する: バイナリG-Mixと分解G-Mixは、各サンプルのシャープネス感度に基づいてトレーニングデータを2つのサブセットに分割する。 理論的説明と実験結果の両方により、提案したBG-MixアルゴリズムとDG-Mixアルゴリズムは、複数のデータセットやモデルにわたるモデルの一般化をさらに強化することが明らかとなった。
  論文  参考訳（メタデータ） (2023-08-07T01:25:10Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• Image Modeling with Deep Convolutional Gaussian Mixture Models [79.0660895390689]
  画像の記述と生成に適したGMM(Deep Hierarchical Gaussian Mixture Models)の新しい定式化を紹介します。 DCGMMは、畳み込みとプーリング操作によってリンクされた複数のGMM層の積み重ねたアーキテクチャによってこれを回避している。 dcgmmsでシャープな画像を生成するために,畳み込みやプーリングなどの非可逆操作をサンプリングする新しい勾配に基づく手法を提案する。 MNISTとFashionMNISTのデータセットに基づいて,クラスタリング,サンプリング,外乱検出において,フラットなGMMよりも優れていることを示すことで,DCGMMsモデルを検証した。
  論文  参考訳（メタデータ） (2021-04-19T12:08:53Z)
• Margin-Based Regularization and Selective Sampling in Deep Neural Networks [7.219077740523683]
  我々は、ディープニューラルネットワーク(DNN)のための新しいマージンベース正規化形式、MMR(Multi-margin regularization)を導出する。 CIFAR10, CIFAR100, ImageNet上で, MNLI, QQP, QNLI, MRPC, SST-2, RTEベンチマークのための最先端畳み込みニューラルネットワーク(CNN)とBERT-BASEアーキテクチャを用いて, 実験結果の改善を示す。
  論文  参考訳（メタデータ） (2020-09-13T15:06:42Z)
• Exploring Gaussian mixture model framework for speaker adaptation of deep neural network acoustic models [3.867363075280544]
  ディープニューラルネットワーク(DNN)音響モデルの適応のためのGMMDの特徴について検討する。 我々は2つの異なるニューラルネットワークアーキテクチャにおいて、適応されたGMMD機能と、ボトルネックやMFCC機能との融合について検討する。
  論文  参考訳（メタデータ） (2020-03-15T18:56:19Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。