論文の概要: PAVI: Plate-Amortized Variational Inference

• arxiv url: http://arxiv.org/abs/2308.16022v1
• Date: Wed, 30 Aug 2023 13:22:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 13:12:10.773317
• Title: PAVI: Plate-Amortized Variational Inference
• Title（参考訳）: PAVI:プレート補正変分推論
• Authors: Louis Rouillard, Alexandre Le Bris, Thomas Moreau, Demian Wassermann
• Abstract要約: 数百人の被験者のコホート上で何百万もの計測が行われる大集団研究において、推論は困難である。 この大きな濃度は、オフザシェルフ変分推論(VI)を計算的に非現実的である。 本研究では,大集団研究に効率よく取り組む構造VIファミリーを設計する。
• 参考スコア（独自算出の注目度）: 55.975832957404556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given observed data and a probabilistic generative model, Bayesian inference searches for the distribution of the model's parameters that could have yielded the data. Inference is challenging for large population studies where millions of measurements are performed over a cohort of hundreds of subjects, resulting in a massive parameter space. This large cardinality renders off-the-shelf Variational Inference (VI) computationally impractical. In this work, we design structured VI families that efficiently tackle large population studies. Our main idea is to share the parameterization and learning across the different i.i.d. variables in a generative model, symbolized by the model's \textit{plates}. We name this concept \textit{plate amortization}. Contrary to off-the-shelf stochastic VI, which slows down inference, plate amortization results in orders of magnitude faster to train variational distributions. Applied to large-scale hierarchical problems, PAVI yields expressive, parsimoniously parameterized VI with an affordable training time. This faster convergence effectively unlocks inference in those large regimes. We illustrate the practical utility of PAVI through a challenging Neuroimaging example featuring 400 million latent parameters, demonstrating a significant step towards scalable and expressive Variational Inference.
• Abstract（参考訳）: 観測データと確率的生成モデルが与えられたとき、ベイズ推論は、データをもたらす可能性のあるモデルのパラメータの分布を探索する。 数百の被験者のコホート上で何百万もの計測が行われ、その結果、膨大なパラメータ空間が生成される、大規模な人口調査では推論が困難である。 この大きな濃度は、オフザシェルフ変分推論(VI)を計算的に非現実的である。 本研究では,大集団研究に効率よく取り組む構造VIファミリーを設計する。 我々の主な考えは、生成モデルにおける異なる変数のパラメータ化と学習を、モデルの \textit{plates} で表されるように共有することである。 この概念を \textit{plate amortization} と呼ぶ。 推論を遅くするオフザシェルフ確率VIとは対照的に、プレートのアモーティゼーションは変動分布の訓練において桁違いに速くなる。 大規模階層問題に適用すると、PAVI は表現力のあるパラメータ化 VI を手頃なトレーニング時間で生成する。 この高速収束は、これらの大きな体制における推論を効果的に解き放つ。 4億の潜伏パラメータを特徴とする難解なニューロイメージングの例を通して,PAVIの実用性を説明し,スケーラブルで表現力のある変分推論に向けた重要なステップを示す。

関連論文リスト

• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Amortized Variational Inference: When and Why? [17.1222896154385]
  償却変分推論(A-VI)は共通の推論関数を学習し、各観測結果を対応する潜伏変数の近似後方にマッピングする。 A-VI が F-VI の最適解を得るために必要で十分かつ検証可能な潜在変数モデル上で条件を導出する。
  論文  参考訳（メタデータ） (2023-07-20T16:45:22Z)
• Evidence Networks: simple losses for fast, amortized, neural Bayesian model comparison [0.0]
  Evidence Networksは、最先端のメソッドがフェールした場合にベイズモデルの比較を可能にする。 リークパリティオード電力変換を導入し、新しいl-POP-Exponential'損失関数を導出する。 Evidence Networks はパラメータ空間の次元性に明示的に依存しており、後続確率密度関数の複雑さと軽度にスケール可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-18T18:14:53Z)
• PAVI: Plate-Amortized Variational Inference [0.0]
  変分推論は、数百人の被験者のコホート上で何千もの測定が行われる大規模な研究にとって難しい。 本研究では,大集団研究に効果的に取り組むことができる構造型VIファミリーを設計する。 我々はこの概念をプレート・アモーティゼーション(英語版)と名付け、それが持つ強力なシナジーを描写し、その結果、大規模階層的変動分布を訓練するために、表現的、パロニカルにパラメータ化され、桁数が桁違いに速くなった。
  論文  参考訳（メタデータ） (2022-06-10T13:55:19Z)
• Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
  データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。 既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。 本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
  論文  参考訳（メタデータ） (2022-03-11T10:47:16Z)
• Harnessing Perceptual Adversarial Patches for Crowd Counting [92.79051296850405]
  群衆のカウントは、物理的な世界の敵の例に弱い。 本稿では,モデル間での知覚的特徴の共有を学習するためのPAP(Perceptual Adrial Patch)生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-16T13:51:39Z)
• Variational Causal Networks: Approximate Bayesian Inference over Causal Structures [132.74509389517203]
  離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。 実験では,提案した変分後部が真の後部を良好に近似できることを示した。
  論文  参考訳（メタデータ） (2021-06-14T17:52:49Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。