論文の概要: Likelihood-Free Inference with Generative Neural Networks via Scoring
Rule Minimization
- arxiv url: http://arxiv.org/abs/2205.15784v1
- Date: Tue, 31 May 2022 13:32:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-01 13:21:13.683915
- Title: Likelihood-Free Inference with Generative Neural Networks via Scoring
Rule Minimization
- Title（参考訳）: スコーリングルール最小化による生成ニューラルネットワークによる自由度推論
- Authors: Lorenzo Pacchiardi and Ritabrata Dutta
- Abstract要約: 推測法は、難易度のあるシミュレーターモデルに対する後部近似を導出する。
多くの研究は、難易度または後部に直接近似するようにニューラルネットワークを訓練した。
本稿では,スコーリングルールの最小化によって訓練された生成ネットワークに後部を近似することを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian Likelihood-Free Inference methods yield posterior approximations for
simulator models with intractable likelihood. Recently, many works trained
neural networks to approximate either the intractable likelihood or the
posterior directly. Most proposals use normalizing flows, namely neural
networks parametrizing invertible maps used to transform samples from an
underlying base measure; the probability density of the transformed samples is
then accessible and the normalizing flow can be trained via maximum likelihood
on simulated parameter-observation pairs. A recent work [Ramesh et al., 2022]
approximated instead the posterior with generative networks, which drop the
invertibility requirement and are thus a more flexible class of distributions
scaling to high-dimensional and structured data. However, generative networks
only allow sampling from the parametrized distribution; for this reason, Ramesh
et al. [2022] follows the common solution of adversarial training, where the
generative network plays a min-max game against a "critic" network. This
procedure is unstable and can lead to a learned distribution underestimating
the uncertainty - in extreme cases collapsing to a single point. Here, we
propose to approximate the posterior with generative networks trained by
Scoring Rule minimization, an overlooked adversarial-free method enabling
smooth training and better uncertainty quantification. In simulation studies,
the Scoring Rule approach yields better performances with shorter training time
with respect to the adversarial framework.
- Abstract（参考訳）: ベイズ自由度推定法は、難解な可能性を持つシミュレータモデルの後続近似を与える。
近年、多くの研究がニューラルネットワークを訓練して、難易度または後部に直接近似している。
ほとんどの提案では、正規化フロー、すなわち、基底測度からサンプルを変換するために使用される可逆写像をパラメタライズするニューラルネットワークを用いており、変換されたサンプルの確率密度はアクセス可能であり、シミュレーションされたパラメータ-観測ペア上で最大でトレーニングできる。
最近の研究 (Ramesh et al., 2022) では、後部を生成ネットワークで近似し、可逆性要件を低減し、高次元および構造化データにスケールするより柔軟な分布のクラスである。
しかし、生成的ネットワークはパラメータ化された分布からのみサンプリングすることができる。
2022] は、生成ネットワークが「批判的」ネットワークに対してmin-maxゲームを行う敵のトレーニングの共通解に従う。
この手順は不安定であり、学習された分布が不確実性を過小評価する可能性がある。
本稿では,スムーズなトレーニングと不確かさの定量化を実現するために,スコーリングルールの最小化によって訓練された生成ネットワークを後方に近似する手法を提案する。
シミュレーション研究において、スコアリングルールアプローチは、敵の枠組みに関して、より短いトレーニング時間でより良いパフォーマンスをもたらす。
関連論文リスト
- Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。
この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
論文 参考訳（メタデータ） (2024-04-29T23:38:58Z) - Sampling weights of deep neural networks [1.2370077627846041]
完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。
教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。
サンプルネットワークが普遍近似器であることを証明する。
論文 参考訳（メタデータ） (2023-06-29T10:13:36Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - An unfolding method based on conditional Invertible Neural Networks
(cINN) using iterative training [0.0]
非可逆ニューラルネットワーク(INN)のような生成ネットワークは確率的展開を可能にする。
模擬トレーニングサンプルとデータ間のずれを調整した展開のための反復条件INN(IcINN)を導入する。
論文 参考訳（メタデータ） (2022-12-16T19:00:05Z) - GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。
最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。
GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
論文 参考訳（メタデータ） (2022-10-24T03:00:01Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - Layer Ensembles [95.42181254494287]
本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。
その結果,メモリと実行時間が少なくなるモデルが得られた。
論文 参考訳（メタデータ） (2022-10-10T17:52:47Z) - Bayesian Nested Neural Networks for Uncertainty Calibration and Adaptive
Compression [40.35734017517066]
ネストネットワーク(Nested Network)またはスリムブルネットワーク(Slimmable Network)は、テスト期間中にアーキテクチャを即座に調整できるニューラルネットワークである。
最近の研究は、トレーニング中に重要なレイヤのノードを順序付けできる"ネストされたドロップアウト"層に焦点を当てている。
論文 参考訳（メタデータ） (2021-01-27T12:34:58Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Compressive sensing with un-trained neural networks: Gradient descent
finds the smoothest approximation [60.80172153614544]
訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。
トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
論文 参考訳（メタデータ） (2020-05-07T15:57:25Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。