論文の概要: Amortized Variational Inference for Simple Hierarchical Models

• arxiv url: http://arxiv.org/abs/2111.03144v1
• Date: Thu, 4 Nov 2021 20:29:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-08 14:45:41.238032
• Title: Amortized Variational Inference for Simple Hierarchical Models
• Title（参考訳）: 単純階層モデルに対する不定形変分推論
• Authors: Abhinav Agrawal, Justin Domke
• Abstract要約: 局所潜伏変数の数がデータセットでスケールするため、階層モデルにおける変分推論を伴うサブサンプリングを使用することは困難である。 本稿では,共有パラメータがすべての局所分布を同時に表現するアモータイズ手法を提案する。 また、構造的変動分布を使用するよりも劇的に高速である。
• 参考スコア（独自算出の注目度）: 37.56550107432323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is difficult to use subsampling with variational inference in hierarchical models since the number of local latent variables scales with the dataset. Thus, inference in hierarchical models remains a challenge at large scale. It is helpful to use a variational family with structure matching the posterior, but optimization is still slow due to the huge number of local distributions. Instead, this paper suggests an amortized approach where shared parameters simultaneously represent all local distributions. This approach is similarly accurate as using a given joint distribution (e.g., a full-rank Gaussian) but is feasible on datasets that are several orders of magnitude larger. It is also dramatically faster than using a structured variational distribution.
• Abstract（参考訳）: 局所潜伏変数の数がデータセットでスケールするため、階層モデルにおける変分推論によるサブサンプリングを使用するのは難しい。 したがって、階層モデルにおける推論は、大規模な課題である。 後部に対応する構造を持つ変分族を用いるのがよいが、局所分布の多さのため、最適化は依然として遅い。 そこで本稿では,共有パラメータがすべての局所分布を同時に表現する手法を提案する。 このアプローチは、与えられたジョイント分布(例えば、フルランクガウス分布)を使用するのと同様に正確であるが、数桁大きいデータセットで実現可能である。 また、構造化変分分布を使うよりも劇的に高速である。

関連論文リスト

• Flag Aggregator: Scalable Distributed Training under Failures and Augmented Losses using Convex Optimization [14.732408788010313]
  MLアプリケーションはますます、複雑なディープラーニングモデルと大規模なデータセットに依存している。 計算とデータをスケールするために、これらのモデルはノードのクラスタ内で分散的にトレーニングされ、それらの更新はモデルに適用される前に集約される。 これらの設定にデータ拡張を加えることで、堅牢で効率的なアグリゲーションシステムが必要である。 この手法は,最先端のビザンツ系レジリエントアグリゲータのロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-02-12T06:38:30Z)
• AdaCat: Adaptive Categorical Discretization for Autoregressive Models [84.85102013917606]
  AdaCat(Adaptive Categorical Discretization)と呼ばれる,効率的で表現性の高いマルチモーダルパラメータ化を提案する。 AdaCatは自己回帰モデルの各次元を適応的に識別し、モデルが関心の細かい間隔に密度を割り当てることを可能にする。
  論文  参考訳（メタデータ） (2022-08-03T17:53:46Z)
• Variational Inference with Locally Enhanced Bounds for Hierarchical Models [38.73307745906571]
  本稿では, 階層モデルに対する拡張手法の適用に基づく変分境界の新たなファミリを提案する。 提案手法は,非バイアス勾配にサブサンプリングを用いることが自然に可能であり,より狭い境界を構築する手法のパワーを十分に活用できることを示す。
  論文  参考訳（メタデータ） (2022-03-08T22:53:43Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Local versions of sum-of-norms clustering [77.34726150561087]
  本手法はボールモデルにおいて任意に閉じた球を分離できることを示す。 我々は、不連結連結集合のクラスタリングで発生する誤差に定量的な有界性を証明した。
  論文  参考訳（メタデータ） (2021-09-20T14:45:29Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Generative Model without Prior Distribution Matching [26.91643368299913]
  変分オートエンコーダ(VAE)とその変分は、いくつかの先行分布を満たすために低次元の潜在表現を学習することによって古典的な生成モデルである。 我々は、先行変数に適合させるのではなく、先行変数が埋め込み分布と一致するように提案する。
  論文  参考訳（メタデータ） (2020-09-23T09:33:24Z)
• Variational Filtering with Copula Models for SLAM [5.242618356321224]
  より広い分布のクラスと同時局所化とマッピング(SLAM)を同時に行うことができるかを示す。 分布モデルとコプラを逐次モンテカルロ推定器に統合し、勾配に基づく最適化によって未知のモデルパラメータがいかに学習できるかを示す。
  論文  参考訳（メタデータ） (2020-08-02T15:38:23Z)
• Efficient Marginalization of Discrete and Structured Latent Variables via Sparsity [26.518803984578867]
  離散的な(分類的または構造化された)潜在変数を持つニューラルネットワークモデルを訓練することは、計算的に困難である。 典型的には、真の限界のサンプリングに基づく近似に頼っている。 そこで本研究では,これらの推定器を高精度かつ効率的なマージン化によって置き換える新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-07-03T19:36:35Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。