論文の概要: Unifying supervised learning and VAEs -- coverage, systematics and goodness-of-fit in normalizing-flow based neural network models for astro-particle reconstructions

• arxiv url: http://arxiv.org/abs/2008.05825v5
• Date: Sun, 14 Jan 2024 14:45:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 22:36:40.028193
• Title: Unifying supervised learning and VAEs -- coverage, systematics and goodness-of-fit in normalizing-flow based neural network models for astro-particle reconstructions
• Title（参考訳）: 教師付き学習とVAEの統一 -- 天体-粒子再構成のための正規化フローベースニューラルネットワークモデルにおけるカバレッジ、体系、適合性
• Authors: Thorsten Gl\"usenkamp
• Abstract要約: 統計的不確実性、包括性、体系的不確実性、あるいは適度な尺度はしばしば計算されない。 データとラベルの共分散のKL分割の目的は、教師付き学習と変分オートエンコーダの統合を可能にすることを示す。 本稿では,特定の「基本順序」輪郭の数値積分を伴わずにカバレッジ確率を計算する方法について論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural-network based predictions of event properties in astro-particle physics are getting more and more common. However, in many cases the result is just utilized as a point prediction. Statistical uncertainties, coverage, systematic uncertainties or a goodness-of-fit measure are often not calculated. Here we describe a certain choice of training and network architecture that allows to incorporate all these properties into a single network model. We show that a KL-divergence objective of the joint distribution of data and labels allows to unify supervised learning and variational autoencoders (VAEs) under one umbrella of stochastic variational inference. The unification motivates an extended supervised learning scheme which allows to calculate a goodness-of-fit p-value for the neural network model. Conditional normalizing flows amortized with a neural network are crucial in this construction. We discuss how to calculate coverage probabilities without numerical integration for specific "base-ordered" contours that are unique to normalizing flows. Furthermore we show how systematic uncertainties can be included via effective marginalization during training. The proposed extended supervised training incorporates (1) coverage calculation, (2) systematics and (3) a goodness-of-fit measure in a single machine-learning model. There are in principle no constraints on the shape of the involved distributions, in fact the machinery works with complex multi-modal distributions defined on product spaces like $\mathbb{R}^n \times \mathbb{S}^m$. The coverage calculation, however, requires care in its interpretation when the distributions are too degenerate. We see great potential for exploiting this per-event information in event selections or for fast astronomical alerts which require uncertainty guarantees.
• Abstract（参考訳）: ニューラルネットワークに基づく天体物理学における事象特性の予測はますます一般的になっている。 しかし、多くの場合、結果は単に点予測として利用される。 統計的不確実性、カバレッジ、体系的不確実性、あるいは適合度尺度はしばしば計算されない。 ここでは、これらすべてのプロパティを単一のネットワークモデルに組み込むことができるトレーニングとネットワークアーキテクチャの特定の選択について説明する。 データとラベルの連成分布のKL偏差は、確率的変分推論の1つの傘の下で教師付き学習と変分オートエンコーダ(VAE)を統一することができることを示す。 この統一は、ニューラルネットワークモデルに適合するp値を計算することを可能にする拡張教師付き学習スキームを動機付ける。 この構成では、ニューラルネットワークで償却された条件付き正規化フローが不可欠である。 フローの正規化に特有の特定の「順序付き」輪郭に対して,数値積分を伴わずにカバレッジ確率を計算する方法について論じる。 さらに,訓練中の効果的な限界化を通じて,系統的不確実性がどのように組み込まれるかを示す。 提案した拡張教師あり訓練は,(1)カバレッジ計算,(2)システマティクス,(3)1つの機械学習モデルにおける適合度尺度を含む。 原理上、関連する分布の形状に制約はなく、実際、機械は $\mathbb{r}^n \times \mathbb{s}^m$ のような積空間上で定義される複素多様分布を扱う。 しかし、カバレッジ計算では、分布が縮退しすぎる場合、その解釈に注意が必要である。 イベント選択や、不確実性の保証を必要とする高速な天文警報において、イベントごとの情報を活用する大きな可能性を見出した。

関連論文リスト

• VeriFlow: Modeling Distributions for Neural Network Verification [4.3012765978447565]
  フォーマル検証は、ニューラルネットワークの安全性と信頼性を保証するための有望な方法として登場した。 本稿では,流れに基づく密度モデルとしてVeriFlowアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-20T12:41:39Z)
• Flexible Heteroscedastic Count Regression with Deep Double Poisson Networks [4.58556584533865]
  本稿ではDDPN(Deep Double Poisson Network)を提案する。 DDPNは既存の離散モデルを大幅に上回っている。 これは様々なカウント回帰データセットに適用できる。
  論文  参考訳（メタデータ） (2024-06-13T16:02:03Z)
• Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
  ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。 本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2024-03-25T19:39:17Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Random-Set Neural Networks (RS-NN) [4.549947259731147]
  分類のための新しいランダムセットニューラルネットワーク(RS-NN)を提案する。 RS-NNは、一組のクラス上の確率ベクトルよりも信念関数を予測する。 限られたトレーニングセットによって、機械学習で引き起こされる「緊急」不確実性を符号化する。
  論文  参考訳（メタデータ） (2023-07-11T20:00:35Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• General stochastic separation theorems with optimal bounds [68.8204255655161]
  分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。 エラーやエラーのクラスタは、残りのデータから分離することができる。 AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
  論文  参考訳（メタデータ） (2020-10-11T13:12:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。