論文の概要: Dual Training of Energy-Based Models with Overparametrized Shallow Neural Networks

• arxiv url: http://arxiv.org/abs/2107.05134v1
• Date: Sun, 11 Jul 2021 21:43:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 16:06:50.988885
• Title: Dual Training of Energy-Based Models with Overparametrized Shallow Neural Networks
• Title（参考訳）: 過パラメータ浅層ニューラルネットワークを用いたエネルギーベースモデルのデュアルトレーニング
• Authors: Carles Domingo-Enrich, Alberto Bietti, Marylou Gabri\'e, Joan Bruna, Eric Vanden-Eijnden
• Abstract要約: エネルギーベースモデル(英: Energy-based model、EBM)は、通常最大推定によって訓練される生成モデルである。 本稿では,データセットから引き出されたランダムなサンプルで粒子を再起動するEMMアルゴリズムの2つの定式化を提案し,その再起動が各ステップ毎にスコアに対応することを示す。 これらの結果は単純な数値実験で説明される。
• 参考スコア（独自算出の注目度）: 41.702175127106784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-based models (EBMs) are generative models that are usually trained via maximum likelihood estimation. This approach becomes challenging in generic situations where the trained energy is nonconvex, due to the need to sample the Gibbs distribution associated with this energy. Using general Fenchel duality results, we derive variational principles dual to maximum likelihood EBMs with shallow overparametrized neural network energies, both in the active (aka feature-learning) and lazy regimes. In the active regime, this dual formulation leads to a training algorithm in which one updates concurrently the particles in the sample space and the neurons in the parameter space of the energy. We also consider a variant of this algorithm in which the particles are sometimes restarted at random samples drawn from the data set, and show that performing these restarts at every iteration step corresponds to score matching training. Using intermediate parameter setups in our dual algorithm thereby gives a way to interpolate between maximum likelihood and score matching training. These results are illustrated in simple numerical experiments.
• Abstract（参考訳）: エネルギーベースモデル(英: Energy-based model、EBM)は、通常最大推定によって訓練される生成モデルである。 このアプローチは、このエネルギーに関連するギブス分布をサンプリングする必要があるため、訓練されたエネルギーが凸でない一般的な状況では困難になる。 Fenchel双対性(英語版)の結果を用いて、能動性(いわゆる特徴学習)と遅延性(英語版)の両方において、浅度過度ニューラルネットワークエネルギーを持つ最大極大EBMに双対する変動原理を導出する。 アクティブな状態において、この二重定式化は、サンプル空間の粒子とエネルギーのパラメータ空間のニューロンを同時に更新する訓練アルゴリズムをもたらす。 また,このアルゴリズムでは,データセットからランダムに抽出したサンプルで粒子をリスタートさせる場合があり,反復ステップ毎にこれらのリスタートを行うことがスコアマッチングトレーニングに対応していることを示す。 2つのアルゴリズムで中間パラメータの設定を使用することで、最大確率とスコアマッチングトレーニングを補間する方法が得られます。 これらの結果は単純な数値実験で示される。

関連論文リスト

• Neural Thermodynamic Integration: Free Energies from Energy-based Diffusion Models [19.871787625519513]
  我々は、トレーニング可能なニューラルネットワークで表されるアルケミカル経路に沿って熱力学積分(TI)を実行することを提案する。 本研究では、相互作用系と非相互作用系の間の時間依存ハミルトン補間をパラメトリズし、その勾配を最適化する。 すべての中間アンサンブルをサンプリングするエネルギーベース拡散モデルの能力により、単一の参照計算からTIを実行することができる。
  論文  参考訳（メタデータ） (2024-06-04T13:42:42Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
  エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。 モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。 ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
  論文  参考訳（メタデータ） (2023-05-30T21:07:52Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Effective Dynamics of Generative Adversarial Networks [16.51305515824504]
  GAN(Generative Adversarial Network)は、新しいサンプルを生成するために対人訓練を使用する機械学習モデルのクラスである。 モード崩壊と呼ばれるトレーニング失敗の1つの主要な形態は、ジェネレータがターゲット確率分布におけるモードの完全な多様性を再現できないことである。 本稿では,ジェネレータニューラルネットワークを出力空間内の粒子の集合に置き換えることで,学習ダイナミクスを捕捉するGANトレーニングの効果的なモデルを提案する。
  論文  参考訳（メタデータ） (2022-12-08T22:04:01Z)
• A DeepParticle method for learning and generating aggregation patterns in multi-dimensional Keller-Segel chemotaxis systems [3.6184545598911724]
  ケラー・セガル (KS) ケモタキシー系の2次元および3次元における凝集パターンと近傍特異解の正則化相互作用粒子法について検討した。 さらに,物理パラメータの異なる解を学習し,生成するためのDeepParticle (DP) 法を開発した。
  論文  参考訳（メタデータ） (2022-08-31T20:52:01Z)
• Particle Dynamics for Learning EBMs [83.59335980576637]
  エネルギーベースモデリングは教師なし学習への有望なアプローチであり、単一のモデルから多くの下流アプリケーションを生み出す。 コントラスト的アプローチ(contrastive approach)"でエネルギーベースモデルを学習する際の主な困難は、各イテレーションで現在のエネルギー関数からサンプルを生成することである。 本稿では,これらのサンプルを取得し,現行モデルからの粗大なMCMCサンプリングを回避するための代替手法を提案する。
  論文  参考訳（メタデータ） (2021-11-26T23:41:07Z)
• Controllable and Compositional Generation with Latent-Space Energy-Based Models [60.87740144816278]
  制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。 本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。 エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-10-21T03:31:45Z)
• The Gaussian equivalence of generative models for learning with shallow neural networks [30.47878306277163]
  本研究では,事前学習した生成モデルから得られたデータに基づいて学習したニューラルネットワークの性能について検討する。 この等価性を裏付ける厳密で解析的で数値的な証拠を3本提供します。 これらの結果は、現実的なデータを持つ機械学習モデルの理論研究への有効な道を開く。
  論文  参考訳（メタデータ） (2020-06-25T21:20:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。