論文の概要: From the Expectation Maximisation Algorithm to Autoencoded Variational Bayes

• arxiv url: http://arxiv.org/abs/2010.13551v2
• Date: Tue, 4 May 2021 07:33:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 21:58:18.552137
• Title: From the Expectation Maximisation Algorithm to Autoencoded Variational Bayes
• Title（参考訳）: 予測最大化アルゴリズムから自動符号化変分ベイへ
• Authors: Graham W. Pulford
• Abstract要約: まず,K$成分混合密度のパラメータを推定するためのEMアルゴリズムのチュートリアルを提示する。 ビショップの2009年の書籍と同様のスタイルで、偏微分ベイズ推定を一般化EMアルゴリズムとして提示する。 我々は,EMアルゴリズムとその変分変数との明確なリンクを確立し,従って「潜伏変数」の意味を明らかにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although the expectation maximisation (EM) algorithm was introduced in 1970, it remains somewhat inaccessible to machine learning practitioners due to its obscure notation, terse proofs and lack of concrete links to modern machine learning techniques like autoencoded variational Bayes. This has resulted in gaps in the AI literature concerning the meaning of such concepts like "latent variables" and "variational lower bound," which are frequently used but often not clearly explained. The roots of these ideas lie in the EM algorithm. We first give a tutorial presentation of the EM algorithm for estimating the parameters of a $K$-component mixture density. The Gaussian mixture case is presented in detail using $K$-ary scalar hidden (or latent) variables rather than the more traditional binary valued $K$-dimenional vectors. This presentation is motivated by mixture modelling from the target tracking literature. In a similar style to Bishop's 2009 book, we present variational Bayesian inference as a generalised EM algorithm stemming from the variational (or evidential) lower bound, as well as the technique of mean field approximation (or product density transform). We continue the evolution from EM to variational autoencoders, developed by Kingma & Welling in 2014. In so doing, we establish clear links between the EM algorithm and its variational counterparts, hence clarifying the meaning of "latent variables." We provide a detailed coverage of the "reparametrisation trick" and focus on how the AEVB differs from conventional variational Bayesian inference. Throughout the tutorial, consistent notational conventions are used. This unifies the narrative and clarifies the concepts. Some numerical examples are given to further illustrate the algorithms.
• Abstract（参考訳）: 予測最大化(EM)アルゴリズムは1970年に導入されたが、その不明瞭な表記、簡潔な証明、自動符号化された変分ベイズのような現代の機械学習技術との具体的なリンクの欠如により、機械学習実践者にはアクセスできない。 このことは、しばしば使われるが、しばしば明確に説明されていない「潜伏変数」や「変分下位境界」といった概念の意味に関するAI文献のギャップをもたらす。 これらのアイデアの根源はemアルゴリズムにある。 まず,K$成分混合密度のパラメータを推定するためのEMアルゴリズムのチュートリアルを提示する。 ガウス混合のケースは、より伝統的なバイナリ値の$k$-dimenionalベクトルではなく、$k$-aryスカラー隠れ(または潜在変数)を使って詳細に示される。 このプレゼンテーションは、ターゲット追跡文献からの混合モデリングが動機である。 ビショップの2009年の本と同様のスタイルで、変分ベイズ推論を、平均場近似(あるいは積密度変換)の技法と同様に、変分(または明らかな)下界から生じる一般化EMアルゴリズムとして提示する。 我々は2014年にKingma & Wellingによって開発されたEMから変分オートエンコーダへの進化を続けている。 そこで我々は,EMアルゴリズムと変分変数との明確なリンクを確立することにより,「潜伏変数」の意味を明らかにする。 本稿では,AEVBが従来の変分ベイズ推定とどのように異なるのか,その詳細について述べる。 チュートリアル全体を通じて、一貫した表記規則が使用される。 これは物語を統一し、概念を明確にする。 アルゴリズムをさらに説明するためにいくつかの数値例が与えられる。

関連論文リスト

• Batch, match, and patch: low-rank approximations for score-based variational inference [8.840147522046651]
  ブラックボックス変分推論は高次元問題に対して不十分にスケールする。 スコアベースのBBVIのためのバッチ・アンド・マッチ・フレームワークを拡張した。 提案手法は,高次元推論における多種多様な合成対象分布と実世界の問題に対して評価する。
  論文  参考訳（メタデータ） (2024-10-29T17:42:56Z)
• Byzantine-Resilient Learning Beyond Gradients: Distributing Evolutionary Search [6.461473289206789]
  本研究では、勾配のないMLアルゴリズムと古典的な分散コンセンサスアルゴリズムを組み合わせることで、勾配のないビザンチン耐性分散学習アルゴリズムを生成することを示す。 我々は,2つの特定の事例,すなわちTotal Order Broadcast と proof-of-work leader election に対して,証明と疑似コードを提供する。
  論文  参考訳（メタデータ） (2023-04-20T17:13:29Z)
• Equivalence Between SE(3) Equivariant Networks via Steerable Kernels and Group Convolution [90.67482899242093]
  近年, 入力の回転と変換において等価な3次元データに対して, ニューラルネットワークを設計するための幅広い手法が提案されている。 両手法とその等価性を詳細に解析し,その2つの構成をマルチビュー畳み込みネットワークに関連付ける。 また、同値原理から新しいTFN非線形性を導出し、実用的なベンチマークデータセット上でテストする。
  論文  参考訳（メタデータ） (2022-11-29T03:42:11Z)
• Learning Shared Kernel Models: the Shared Kernel EM algorithm [0.0]
  予測最大化 (EM) は有限混合分布のパラメータを推定するための教師なし学習法である。 まず、複数の目標追跡の分野からのデータアソシエーションのアイデアを用いた標準EMアルゴリズムの再帰について述べる。 この手法は、共有カーネルモデルに対して、ほとんど知られていないがより一般的なタイプの教師付きEMアルゴリズムに適用される。
  論文  参考訳（メタデータ） (2022-05-15T10:10:08Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Correcting Momentum with Second-order Information [50.992629498861724]
  最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。 我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
  論文  参考訳（メタデータ） (2021-03-04T19:01:20Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
  情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。 相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
  論文  参考訳（メタデータ） (2020-09-07T16:47:30Z)
• The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes [1.827510863075184]
  このチュートリアルは、オリジナルのFMRIB Variational Bayesチュートリアルを再考する。 この新しいアプローチは、機械学習アルゴリズムに適用された計算方法に多くの類似性を持ち、恩恵を受けている。
  論文  参考訳（メタデータ） (2020-07-03T11:31:52Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。