論文の概要: GFlowNet-EM for learning compositional latent variable models

• arxiv url: http://arxiv.org/abs/2302.06576v1
• Date: Mon, 13 Feb 2023 18:24:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 14:26:20.490135
• Title: GFlowNet-EM for learning compositional latent variable models
• Title（参考訳）: 合成潜在変数モデル学習のためのGFlowNet-EM
• Authors: Edward Hu, Nikolay Malkin, Moksh Jain, Katie Everett, Alexandros Graikos, Yoshua Bengio
• Abstract要約: ラテントの後方のモデリングにおける重要なトレードオフは、表現性とトラクタブルな最適化の間にある。 非正規化密度からサンプリングするアルゴリズムであるGFlowNetsを提案する。 GFlowNetsをトレーニングして、後部から潜伏者へのサンプルをトレーニングすることにより、それらの強度をアモータライズされた変分アルゴリズムとして活用する。
• 参考スコア（独自算出の注目度）: 113.65759013860063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent variable models (LVMs) with discrete compositional latents are an important but challenging setting due to a combinatorially large number of possible configurations of the latents. A key tradeoff in modeling the posteriors over latents is between expressivity and tractable optimization. For algorithms based on expectation-maximization (EM), the E-step is often intractable without restrictive approximations to the posterior. We propose the use of GFlowNets, algorithms for sampling from an unnormalized density by learning a stochastic policy for sequential construction of samples, for this intractable E-step. By training GFlowNets to sample from the posterior over latents, we take advantage of their strengths as amortized variational inference algorithms for complex distributions over discrete structures. Our approach, GFlowNet-EM, enables the training of expressive LVMs with discrete compositional latents, as shown by experiments on non-context-free grammar induction and on images using discrete variational autoencoders (VAEs) without conditional independence enforced in the encoder.
• Abstract（参考訳）: ラテント変数モデル(LVM)は、独立な構成ラテントを持つが、ラテントの構成が組み合わさったため、重要だが困難な設定である。 ラテントの後方のモデリングにおける重要なトレードオフは、表現性とトラクタブルな最適化である。 期待最大化(em)に基づくアルゴリズムでは、eステップは後方への制限付き近似なしでは、しばしば難解である。 本稿では,非正規化密度からサンプリングするアルゴリズムであるgflownetsの利用を提案する。 gflownetsを後部の潜伏体からサンプルするために訓練することで、その強みを離散構造上の複素分布に対する償却変分推論アルゴリズムとして活用する。 提案手法であるGFlowNet-EMは,非文脈自由文法帰納法の実験や,エンコーダに強制される条件付き独立性のない離散変分オートエンコーダ (VAE) を用いた画像に対する表現的LVMの訓練を可能にする。

関連論文リスト

• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• SIReN-VAE: Leveraging Flows and Amortized Inference for Bayesian Networks [2.8597160727750564]
  この研究はベイジアンネットワークによって定義された任意の依存構造をVAEに組み込むことを検討する。 これは、事前と推論のネットワークをグラフィカルな残留フローで拡張することで実現される。 モデルの性能をいくつかの合成データセットで比較し、データスパース設定におけるその可能性を示す。
  論文  参考訳（メタデータ） (2022-04-23T10:31:08Z)
• Direct Evolutionary Optimization of Variational Autoencoders With Binary Latents [0.0]
  サンプルベース近似や再パラメータ化を使わずに、個別の潜入子で変分オートエンコーダ(VAE)を訓練できることが示される。 大規模な教師付きネットワークとは対照的に、調査対象のVAEは、例えば、よりクリーンなデータや大規模な画像データセットのトレーニングを行うことなく、単一のイメージをノイズ化することができる。
  論文  参考訳（メタデータ） (2020-11-27T12:42:12Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Relaxed-Responsibility Hierarchical Discrete VAEs [3.976291254896486]
  textitRelaxed-Responsibility Vector-Quantisationを導入する。 我々は、様々な標準データセットに対して、最先端のビット/ディミット結果を得る。
  論文  参考訳（メタデータ） (2020-07-14T19:10:05Z)
• Efficient Marginalization of Discrete and Structured Latent Variables via Sparsity [26.518803984578867]
  離散的な(分類的または構造化された)潜在変数を持つニューラルネットワークモデルを訓練することは、計算的に困難である。 典型的には、真の限界のサンプリングに基づく近似に頼っている。 そこで本研究では,これらの推定器を高精度かつ効率的なマージン化によって置き換える新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-07-03T19:36:35Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。