論文の概要: Posterior-Aided Regularization for Likelihood-Free Inference

• arxiv url: http://arxiv.org/abs/2102.07770v1
• Date: Mon, 15 Feb 2021 16:59:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 15:23:15.574379
• Title: Posterior-Aided Regularization for Likelihood-Free Inference
• Title（参考訳）: 確率自由推論のための後方支援正則化
• Authors: Dongjun Kim, Kyungwoo Song, Seungjae Shin, Wanmo Kang, Il-Chul Moon
• Abstract要約: 後補助正規化(PAR)は,モデル構造に関係なく,密度推定器の学習に適用可能である。 単一のニューラルネットワークを用いて逆KL項と相互情報項の両方を推定するPARの統一推定方法を提供する。
• 参考スコア（独自算出の注目度）: 23.708122045184698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent development of likelihood-free inference aims training a flexible density estimator for the target posterior with a set of input-output pairs from simulation. Given the diversity of simulation structures, it is difficult to find a single unified inference method for each simulation model. This paper proposes a universally applicable regularization technique, called Posterior-Aided Regularization (PAR), which is applicable to learning the density estimator, regardless of the model structure. Particularly, PAR solves the mode collapse problem that arises as the output dimension of the simulation increases. PAR resolves this posterior mode degeneracy through a mixture of 1) the reverse KL divergence with the mode seeking property; and 2) the mutual information for the high quality representation on likelihood. Because of the estimation intractability of PAR, we provide a unified estimation method of PAR to estimate both reverse KL term and mutual information term with a single neural network. Afterwards, we theoretically prove the asymptotic convergence of the regularized optimal solution to the unregularized optimal solution as the regularization magnitude converges to zero. Additionally, we empirically show that past sequential neural likelihood inferences in conjunction with PAR present the statistically significant gains on diverse simulation tasks.
• Abstract（参考訳）: 確率自由推論の最近の発展は、シミュレーションから一連の入出力ペアを用いて、ターゲット後部に対するフレキシブルな密度推定器を訓練することを目的としている。 シミュレーション構造の多様性を考えると、シミュレーションモデルごとに単一の統一推論方法を見つけることは困難である。 本稿では, モデル構造に関わらず, 密度推定器の学習に適用可能な, PAR (Posterior-Aided Regularization) と呼ばれる一般化正規化手法を提案する。 特にPARは、シミュレーションの出力寸法が大きくなると発生するモード崩壊の問題を解決します。 PARは、1)モード探索特性との逆KL分岐、2)可能性に関する高品質の表現のための相互情報の混合により、この後方モードの退化を解決します。 PARの推定の難しさから,1つのニューラルネットワークを用いて逆KL項と相互情報項の両方を推定するPARの統一的推定法を提案する。 その後、理論上は正則化最適解の非正則化最適解への漸近収束を証明し、正則化等級は 0 に収束する。 さらに, PARと組み合わせた過去の逐次的ニューラルな確率推定が, 多様なシミュレーションタスクにおいて統計的に有意な利得を示すことを実証的に示す。

関連論文リスト

• Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
  近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。 この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-02-03T13:35:39Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• Convex Latent Effect Logit Model via Sparse and Low-rank Decomposition [2.1915057426589746]
  本稿では,ロジスティック回帰モデル(logit)を学習するための凸パラメトリック凸パラメトリック定式化を提案する。 その人気にもかかわらず、個別の不均一性を学ぶための混合ロジットアプローチにはいくつかの欠点がある。
  論文  参考訳（メタデータ） (2021-08-22T22:23:39Z)
• Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian Modeling [68.69431580852535]
  サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。 我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。 我々は2つの異なる社会問題に対してアルゴリズムを実行する。
  論文  参考訳（メタデータ） (2021-07-07T03:57:22Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
  テンソルの合同ベンチマークとクラスタリングの問題を考察する。 本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-15T21:06:16Z)
• A Nonconvex Framework for Structured Dynamic Covariance Recovery [24.471814126358556]
  時間変化のある2次統計量を持つ高次元データに対するフレキシブルで解釈可能なモデルを提案する。 文献によって動機付けられ,因子化とスムーズな時間データの定量化を行う。 私たちのアプローチは,既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-11-11T07:09:44Z)
• Statistical optimality and stability of tangent transform algorithms in logit models [6.9827388859232045]
  我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。 特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。 我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
  論文  参考訳（メタデータ） (2020-10-25T05:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。