論文の概要: Uncertainty quantification and out-of-distribution detection using
surjective normalizing flows
- arxiv url: http://arxiv.org/abs/2311.00377v1
- Date: Wed, 1 Nov 2023 09:08:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 14:21:02.728044
- Title: Uncertainty quantification and out-of-distribution detection using
surjective normalizing flows
- Title(参考訳): 全射正規化流を用いた不確かさ定量化と分布外検出
- Authors: Simon Dirmeier and Ye Hong and Yanan Xin and Fernando Perez-Cruz
- Abstract要約: 本稿では,深層ニューラルネットワークモデルにおける分布外データセットの探索的正規化フローを用いた簡単なアプローチを提案する。
本手法は, 流通外データと流通内データとを確実に識別できることを示す。
- 参考スコア(独自算出の注目度): 46.51077762143714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reliable quantification of epistemic and aleatoric uncertainty is of crucial
importance in applications where models are trained in one environment but
applied to multiple different environments, often seen in real-world
applications for example, in climate science or mobility analysis. We propose a
simple approach using surjective normalizing flows to identify
out-of-distribution data sets in deep neural network models that can be
computed in a single forward pass. The method builds on recent developments in
deep uncertainty quantification and generative modeling with normalizing flows.
We apply our method to a synthetic data set that has been simulated using a
mechanistic model from the mobility literature and several data sets simulated
from interventional distributions induced by soft and atomic interventions on
that model, and demonstrate that our method can reliably discern
out-of-distribution data from in-distribution data. We compare the surjective
flow model to a Dirichlet process mixture model and a bijective flow and find
that the surjections are a crucial component to reliably distinguish
in-distribution from out-of-distribution data.
- Abstract(参考訳): エピステミックとアレタリック不確実性の信頼性の高い定量化は、1つの環境でモデルが訓練されるが、現実の応用、例えば気候科学や移動分析においてよく見られる複数の異なる環境に適用されるアプリケーションにおいて重要である。
本稿では,1回のフォワードパスで計算可能な深層ニューラルネットワークモデルにおける分布外データセットを同定するために,全射正規化フローを用いた簡易な手法を提案する。
この手法は、流れを正規化する深い不確かさの定量化と生成モデリングの最近の発展に基づいている。
本手法は,移動文学から力学モデルを用いてシミュレーションされた合成データセットと,そのモデル上のソフトおよび原子間干渉による干渉分布からシミュレーションされた複数のデータセットに適用し,分布内データから分布外データを確実に識別できることを実証する。
本研究では,全射流モデルをディリクレ過程混合モデルと単射流と比較し,その全射が分布と分布外データを確実に区別する重要な要素であることを示す。
関連論文リスト
- A Priori Uncertainty Quantification of Reacting Turbulence Closure
Models using Bayesian Neural Networks [0.0]
反応流モデルにおける不確実性を捉えるためにベイズニューラルネットワークを用いる。
我々は、BNNモデルが、データ駆動クロージャモデルの不確実性の構造に関するユニークな洞察を提供することができることを示した。
このモデルの有効性は,様々な火炎条件と燃料からなるデータセットに対する事前評価によって実証される。
論文 参考訳(メタデータ) (2024-02-28T22:19:55Z) - On diffusion models for amortized inference: Benchmarking and improving
stochastic control and sampling [96.7808454149545]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-07T18:51:49Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳(メタデータ) (2023-11-01T12:17:05Z) - Bayesian Flow Networks [4.585102332532472]
本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。
単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。
BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
論文 参考訳(メタデータ) (2023-08-14T09:56:35Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Learning Multivariate CDFs and Copulas using Tensor Factorization [39.24470798045442]
データの多変量分布を学習することは、統計学と機械学習における中核的な課題である。
本研究では,多変量累積分布関数(CDF)を学習し,混合確率変数を扱えるようにすることを目的とする。
混合確率変数の合同CDFの任意のグリッドサンプリング版は、単純ベイズモデルとして普遍表現を許容することを示す。
提案モデルの性能を,回帰,サンプリング,データ計算を含むいくつかの合成および実データおよびアプリケーションで実証する。
論文 参考訳(メタデータ) (2022-10-13T16:18:46Z) - Nonlinear Isometric Manifold Learning for Injective Normalizing Flows [58.720142291102135]
アイソメトリーを用いて、多様体学習と密度推定を分離する。
また、確率分布を歪ませない明示的な逆数を持つ埋め込みを設計するためにオートエンコーダを用いる。
論文 参考訳(メタデータ) (2022-03-08T08:57:43Z) - Discrete Denoising Flows [87.44537620217673]
分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。
他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。
そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
論文 参考訳(メタデータ) (2021-07-24T14:47:22Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳(メタデータ) (2020-09-01T17:20:08Z) - Modeling Continuous Stochastic Processes with Dynamic Normalizing Flows [40.9137348900942]
ウィナー過程の微分変形によって駆動される新しいタイプの流れを提案する。
その結果,観測可能なプロセスが基本プロセスの魅力的な特性の多くを継承するリッチ時系列モデルが得られた。
論文 参考訳(メタデータ) (2020-02-24T20:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。