論文の概要: Meta-Learning Divergences of Variational Inference

• arxiv url: http://arxiv.org/abs/2007.02912v2
• Date: Tue, 22 Jun 2021 20:28:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 01:43:10.001806
• Title: Meta-Learning Divergences of Variational Inference
• Title（参考訳）: 変分推論におけるメタ学習の多様性
• Authors: Ruqi Zhang, Yingzhen Li, Christopher De Sa, Sam Devlin, Cheng Zhang
• Abstract要約: 変分推論(VI)は、近似ベイズ推論において重要な役割を果たす。 本稿では,興味ある課題に適した分散度を学習するためのメタ学習アルゴリズムを提案する。 提案手法はガウス混合分布近似の標準VIより優れていることを示す。
• 参考スコア（独自算出の注目度）: 49.164944557174294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational inference (VI) plays an essential role in approximate Bayesian inference due to its computational efficiency and broad applicability. Crucial to the performance of VI is the selection of the associated divergence measure, as VI approximates the intractable distribution by minimizing this divergence. In this paper we propose a meta-learning algorithm to learn the divergence metric suited for the task of interest, automating the design of VI methods. In addition, we learn the initialization of the variational parameters without additional cost when our method is deployed in the few-shot learning scenarios. We demonstrate our approach outperforms standard VI on Gaussian mixture distribution approximation, Bayesian neural network regression, image generation with variational autoencoders and recommender systems with a partial variational autoencoder.
• Abstract（参考訳）: 変分推論(VI)は、その計算効率と広い適用性のために、近似ベイズ推論において重要な役割を果たす。 VI は、この発散を最小化することによって、難解分布を近似するので、VI のパフォーマンスにとって重要なのは、関連する発散測度の選択である。 本稿では,関心課題に適した分散度を学習し,VI手法の設計を自動化するメタラーニングアルゴリズムを提案する。 さらに,本手法を数発の学習シナリオに展開した場合に,追加コストなしで変動パラメータの初期化を学習する。 本手法は,gaussian mixed distribution approximation, bayesian neural network regression, image generation with variational autoencoder, recommender systems with partial variational autoencoderにおいて標準viよりも優れていることを示す。

関連論文リスト

• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• Nonparametric Automatic Differentiation Variational Inference with Spline Approximation [7.5620760132717795]
  複雑な構造を持つ分布に対するフレキシブルな後続近似を可能にする非パラメトリック近似法を開発した。 広く使われている非パラメトリック推論手法と比較して,提案手法は実装が容易であり,様々なデータ構造に適応する。 実験では, 複雑な後続分布の近似における提案手法の有効性を実証し, 不完全データを用いた生成モデルの性能向上を図った。
  論文  参考訳（メタデータ） (2024-03-10T20:22:06Z)
• Semi-Implicit Variational Inference via Score Matching [9.654640791869431]
  半単純変分推論(SIVI)は、変分家族の表現性を大いに豊かにする。 現在のSIVIアプローチでは、サロゲートエビデンスローバウンド(ELBO)を使用したり、高価なインナーループMCMCをトレーニングに使用する場合が多い。 スコアマッチングによる代替学習目標に基づくSIVI-SMを提案する。
  論文  参考訳（メタデータ） (2023-08-19T13:32:54Z)
• Improving Hyperparameter Learning under Approximate Inference in Gaussian Process Models [18.134776677795077]
  本研究では,変分推論(VI)と学習目標との相互作用に着目した。 我々は、共役計算VIを推論に利用するハイブリッドトレーニング手順を設計する。 我々は、幅広いデータセットで提案の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2023-06-07T07:15:08Z)
• An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization [52.44068740462729]
  我々は、VICRegの目的に関する情報理論的な視点を示す。 我々は、VICRegの一般化を導出し、下流タスクに固有の利点を明らかにした。 既存のSSL技術よりも優れた情報理論の原理から派生したSSL手法のファミリーを紹介する。
  論文  参考訳（メタデータ） (2023-03-01T16:36:25Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• GFlowNets and variational inference [64.22223306224903]
  本稿では,階層的変動推論(VI)と生成フローネットワーク(GFlowNets)という,確率論的アルゴリズムの2つのファミリー間のブリッジを構築する。 また, ある場合において, VIアルゴリズムは, 学習目標の期待勾配の等しさという意味で, GFlowNetsの特別な場合と等価であることを示した。
  論文  参考訳（メタデータ） (2022-10-02T17:41:01Z)
• Amortized Variational Inference: A Systematic Review [0.0]
  変分推論(VI)の中核となる原理は、複雑な後続確率密度の統計的推論問題を、トラクタブルな最適化問題に変換することである。 従来のVIアルゴリズムは大規模データセットには拡張性がなく、データポイントのアウトオブバウンドを容易に推測できない。 ブラックボックスやアモールタイズVIのようなこの分野の最近の進歩は、これらの問題に対処するのに役立っている。
  論文  参考訳（メタデータ） (2022-09-22T09:45:10Z)
• A Variational Bayesian Approach to Learning Latent Variables for Acoustic Knowledge Transfer [55.20627066525205]
  本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。 我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2021-10-16T15:54:01Z)
• An Introduction to Variational Inference [0.0]
  本稿では,変分推論(VI)の概念を紹介する。 VIは、最適化技術を用いて複雑な確率密度を推定する機械学習で一般的な方法である。 可変オートエンコーダ(VAE)とVAE-Generative Adversarial Network(VAE-GAN)へのVIの適用について論じる。
  論文  参考訳（メタデータ） (2021-08-30T09:40:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。