論文の概要: Unifying supervised learning and VAEs -- coverage, systematics and
goodness-of-fit in normalizing-flow based neural network models for
astro-particle reconstructions
- arxiv url: http://arxiv.org/abs/2008.05825v4
- Date: Tue, 3 Oct 2023 17:00:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 11:32:13.281171
- Title: Unifying supervised learning and VAEs -- coverage, systematics and
goodness-of-fit in normalizing-flow based neural network models for
astro-particle reconstructions
- Title(参考訳): 教師付き学習とVAEの統一 -- 天体-粒子再構成のための正規化フローベースニューラルネットワークモデルにおけるカバレッジ、体系、適合性
- Authors: Thorsten Gl\"usenkamp
- Abstract要約: ニューラルネットワークに基づく天体物理学における事象特性の予測はますます一般的になっている。
我々は,データとラベルの共分散のKL分割目標が,教師付き学習と変分オートエンコーダの統合を可能にすることを示す。
製品空間上で共同で定義された後続のカバレッジを厳密に定義する方法について論じる。
提案手法は,(1)カバレッジ計算,(2)システマティクス,(3)1つの機械学習モデルにおける適合度の評価を含む。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural-network based predictions of event properties in astro-particle
physics are getting more and more common. However, in many cases the result is
just utilized as a point prediction. Statistical uncertainties and coverage
(1), systematic uncertainties (2) or a goodness-of-fit measure (3) are often
not calculated. Here we describe a certain choice of training and network
architecture that allows to incorporate all these properties into a single
network model. We show that a KL-divergence objective of the joint distribution
of data and labels allows to unify supervised learning and variational
autoencoders (VAEs) under one umbrella of stochastic variational inference. The
unification motivates an extended supervised learning scheme which allows to
calculate a goodness-of-fit p-value for the neural network model. Conditional
normalizing flows amortized with a neural network are crucial in this
construction. We discuss how they allow to rigorously define coverage for
posteriors defined jointly on a product space, e.g. $\mathbb{R}^n \times
\mathcal{S}^m$, which encompasses posteriors over directions. Finally,
systematic uncertainties are naturally included in the variational viewpoint.
The proposed extended supervised training with amortized normalizing flows
incorporates (1) coverage calculation, (2) systematics and (3) a
goodness-of-fit measure in a single machine-learning model. There are no
constraints on the shape of the involved distributions (e.g. Gaussianity) for
these properties to hold, in fact it works with complex multi-modal
distributions defined on product spaces like $\mathbb{R}^n \times
\mathcal{S}^m$. We see great potential for exploiting this per-event
information in event selections or for fast astronomical alerts which require
uncertainty guarantees.
- Abstract(参考訳): ニューラルネットワークに基づく天体物理学における事象特性の予測はますます一般的になっている。
しかし、多くの場合、結果は単に点予測として利用される。
統計的不確実性及び範囲(1)、系統的不確実性(2)又は適合度(3)は、しばしば計算されない。
ここでは、これらすべてのプロパティを単一のネットワークモデルに組み込むことができるトレーニングとネットワークアーキテクチャの特定の選択について説明する。
データとラベルの連成分布のKL偏差は、確率的変分推論の1つの傘の下で教師付き学習と変分オートエンコーダ(VAE)を統一することができることを示す。
この統一は、ニューラルネットワークモデルに適合するp値を計算することを可能にする拡張教師付き学習スキームを動機付ける。
この構成では、ニューラルネットワークで償却された条件付き正規化フローが不可欠である。
製品空間上で共同で定義された後続のカバレッジを厳密に定義する方法について論じる。例えば、$\mathbb{r}^n \times \mathcal{s}^m$ は、後続の方向を包含する。
最後に、系統的不確実性は自然に変分的視点に含まれる。
提案手法は,(1)カバレッジ計算,(2)系統計算,(3)適合度尺度を1つの機械学習モデルに組み込んだ拡張教師付き学習である。
これらの性質が持つような分布(例えばガウス性)の形状に制約はないが、実際には $\mathbb{R}^n \times \mathcal{S}^m$ のような積空間上で定義される複素マルチモーダル分布を扱う。
イベント選択や、不確実性の保証を必要とする高速な天文警報において、イベントごとの情報を活用する大きな可能性を見出した。
関連論文リスト
- VeriFlow: Modeling Distributions for Neural Network Verification [4.3012765978447565]
フォーマル検証は、ニューラルネットワークの安全性と信頼性を保証するための有望な方法として登場した。
本稿では,流れに基づく密度モデルとしてVeriFlowアーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-06-20T12:41:39Z) - Flexible Heteroscedastic Count Regression with Deep Double Poisson Networks [4.58556584533865]
本稿ではDDPN(Deep Double Poisson Network)を提案する。
DDPNは既存の離散モデルを大幅に上回っている。
これは様々なカウント回帰データセットに適用できる。
論文 参考訳(メタデータ) (2024-06-13T16:02:03Z) - Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。
本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
論文 参考訳(メタデータ) (2024-03-25T19:39:17Z) - Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-11T13:44:49Z) - Random-Set Neural Networks (RS-NN) [4.549947259731147]
分類のための新しいランダムセットニューラルネットワーク(RS-NN)を提案する。
RS-NNは、一組のクラス上の確率ベクトルよりも信念関数を予測する。
限られたトレーニングセットによって、機械学習で引き起こされる「緊急」不確実性を符号化する。
論文 参考訳(メタデータ) (2023-07-11T20:00:35Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳(メタデータ) (2023-02-21T20:23:56Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳(メタデータ) (2023-01-16T14:25:02Z) - Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。
一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。
我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
論文 参考訳(メタデータ) (2022-02-08T16:09:12Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳(メタデータ) (2022-02-07T12:30:45Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳(メタデータ) (2021-02-22T07:02:37Z) - General stochastic separation theorems with optimal bounds [68.8204255655161]
分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。
エラーやエラーのクラスタは、残りのデータから分離することができる。
AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
論文 参考訳(メタデータ) (2020-10-11T13:12:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。