論文の概要: Bi-level Score Matching for Learning Energy-based Latent Variable Models
- arxiv url: http://arxiv.org/abs/2010.07856v2
- Date: Fri, 16 Oct 2020 07:33:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 04:45:27.966669
- Title: Bi-level Score Matching for Learning Energy-based Latent Variable Models
- Title（参考訳）: 学習エネルギーに基づく潜在変数モデルのための2レベルスコアマッチング
- Authors: Fan Bao, Chongxuan Li, Kun Xu, Hang Su, Jun Zhu, Bo Zhang
- Abstract要約: スコアマッチング(SM)は、分割関数の計算を避けてエネルギーベースモデル(EBM)を学習するための魅力的なアプローチを提供する。
本稿では,一般的な構造を持つEBLVMを学習するためのBi-level score matching (BiSM)法を提案する。
適用可能な場合,BiSMは,広く採用されているコントラスト分岐法とSM法に匹敵することを示す。
- 参考スコア（独自算出の注目度）: 46.7000048886801
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Score matching (SM) provides a compelling approach to learn energy-based
models (EBMs) by avoiding the calculation of partition function. However, it
remains largely open to learn energy-based latent variable models (EBLVMs),
except some special cases. This paper presents a bi-level score matching (BiSM)
method to learn EBLVMs with general structures by reformulating SM as a
bi-level optimization problem. The higher level introduces a variational
posterior of the latent variables and optimizes a modified SM objective, and
the lower level optimizes the variational posterior to fit the true posterior.
To solve BiSM efficiently, we develop a stochastic optimization algorithm with
gradient unrolling. Theoretically, we analyze the consistency of BiSM and the
convergence of the stochastic algorithm. Empirically, we show the promise of
BiSM in Gaussian restricted Boltzmann machines and highly nonstructural EBLVMs
parameterized by deep convolutional neural networks. BiSM is comparable to the
widely adopted contrastive divergence and SM methods when they are applicable;
and can learn complex EBLVMs with intractable posteriors to generate natural
images.
- Abstract（参考訳）: スコアマッチング(SM)は、分割関数の計算を避けてエネルギーベースモデル(EBM)を学習するための魅力的なアプローチを提供する。
しかしながら、いくつかの特別なケースを除いて、エネルギーベースの潜在変数モデル(EBLVM)を学ぶことは、ほとんどオープンである。
本稿では,両レベル最適化問題としてSMを再構成し,一般的な構造でEBLVMを学習するバイレベルスコアマッチング(BiSM)手法を提案する。
上位レベルは潜伏変数の変分後部を導入し、修正されたSM目標を最適化し、下位レベルは変分後部を真の後部に合わせて最適化する。
BiSMを効率よく解くために,勾配をアンロールする確率最適化アルゴリズムを開発した。
理論的には、BiSMの一貫性と確率的アルゴリズムの収束を解析する。
経験的に、ガウスの制限されたボルツマンマシンと、深い畳み込みニューラルネットワークによってパラメータ化された非構造的EBLVMにおけるBiSMの約束を示す。
BiSMは適用可能な場合、広く採用されているコントラスト分岐法やSM法に匹敵するものであり、複雑なEBLVMを学習して自然画像を生成することができる。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Hyperparameter Estimation for Sparse Bayesian Learning Models [1.0172874946490507]
Aparse Bayesian Learning (SBL) モデルは、信号処理や機械学習において、階層的な事前処理による疎結合を促進するために広く使われている。
本稿では,種々の目的関数に対するSBLモデルの改良のためのフレームワークを提案する。
信号雑音比において, 高い効率性を示す新しいアルゴリズムが導入された。
論文 参考訳（メタデータ） (2024-01-04T21:24:01Z) - Optimal Algorithms for Stochastic Bilevel Optimization under Relaxed
Smoothness Conditions [9.518010235273785]
両レベル最適化のための完全リリップループ・ヘシアン・インバージョンフリーなアルゴリズム・フレームワークを提案する。
我々は、我々のアプローチを少し修正することで、より汎用的な多目的ロバストな双レベル最適化問題に対処できることを示した。
論文 参考訳（メタデータ） (2023-06-21T07:32:29Z) - Bi-level Doubly Variational Learning for Energy-based Latent Variable
Models [46.75117861209482]
エネルギーベース潜在変数モデル(EBLVM)は、従来のエネルギーベースモデルよりも表現力が高い。
EBLVMの学習を容易にするために,バイレベル二重変分学習(BiDVL)を提案する。
本モデルは,関連作品よりも印象的な画像生成性能を実現する。
論文 参考訳（メタデータ） (2022-03-24T04:13:38Z) - ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。
既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。
本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
論文 参考訳（メタデータ） (2021-10-13T19:36:50Z) - Value-Function-based Sequential Minimization for Bi-level Optimization [52.39882976848064]
勾配に基づくBi-Level Optimization (BLO)法は、現代の学習課題に広く応用されている。
機能的制約のあるBLOや悲観的なBLOなど、難解なシナリオでBLOを解くことができる勾配ベースの方法はほとんどない。
上記の問題に対処するために,BVFSM(Bi-level Value-Function-based Sequential Minimization)を提案する。
論文 参考訳（メタデータ） (2021-10-11T03:13:39Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - A Generic First-Order Algorithmic Framework for Bi-Level Programming
Beyond Lower-Level Singleton [49.23948907229656]
Bi-level Descent Aggregationは、汎用的な双方向最適化のためのフレキシブルでモジュール化されたアルゴリズムフレームワークである。
LLS条件なしでBDAの収束を証明する新しい手法を導出する。
我々の研究は、BDAが特定の一階計算モジュールの検証と互換性があることも示している。
論文 参考訳（メタデータ） (2020-06-07T05:18:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。