論文の概要: Learning Gaussian-Bernoulli RBMs using Difference of Convex Functions Optimization

• arxiv url: http://arxiv.org/abs/2102.06228v1
• Date: Thu, 11 Feb 2021 19:15:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 18:48:21.220321
• Title: Learning Gaussian-Bernoulli RBMs using Difference of Convex Functions Optimization
• Title（参考訳）: 凸関数の最適化によるガウス-ベルヌーリRBMの学習
• Authors: Vidyadhar Upadhya and P S Sastry
• Abstract要約: GB-RBMの負の対数類似性は凸関数の差として表せることを示す。 GB-RBMを学習するための凸関数プログラミング(S-DCP)アルゴリズムの違いを提案する。 S-DCPは学習速度および学習した生成モデルの品質の点でCDおよびPCDアルゴリズムよりも優れていることが観察されている。
• 参考スコア（独自算出の注目度）: 0.9137554315375919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Gaussian-Bernoulli restricted Boltzmann machine (GB-RBM) is a useful generative model that captures meaningful features from the given $n$-dimensional continuous data. The difficulties associated with learning GB-RBM are reported extensively in earlier studies. They indicate that the training of the GB-RBM using the current standard algorithms, namely, contrastive divergence (CD) and persistent contrastive divergence (PCD), needs a carefully chosen small learning rate to avoid divergence which, in turn, results in slow learning. In this work, we alleviate such difficulties by showing that the negative log-likelihood for a GB-RBM can be expressed as a difference of convex functions if we keep the variance of the conditional distribution of visible units (given hidden unit states) and the biases of the visible units, constant. Using this, we propose a stochastic {\em difference of convex functions} (DC) programming (S-DCP) algorithm for learning the GB-RBM. We present extensive empirical studies on several benchmark datasets to validate the performance of this S-DCP algorithm. It is seen that S-DCP is better than the CD and PCD algorithms in terms of speed of learning and the quality of the generative model learnt.
• Abstract（参考訳）: gaussian-bernoulli restricted boltzmann machine (gb-rbm)は、与えられたn$-次元連続データから有意義な特徴をキャプチャする有用な生成モデルである。 GB-RBMの学習に伴う困難は、初期の研究で広く報告されている。 現在の標準アルゴリズムであるコントラスト発散(cd)と永続的コントラスト発散(pcd)を用いたgb-rbmのトレーニングでは、発散を避けるために慎重に選択された小さな学習率が必要であることが示されている。 本研究では,可視単位(隠れ単位状態)の条件分布の分散と可視単位のバイアスを一定に保つことで,gb-rbm の負の対数様相を凸関数の差として表現できることを示すことで,このような困難を解消する。 これを用いて, gb-rbm を学習するための convex functions} (dc) programming (s-dcp) アルゴリズムを提案する。 本稿では,このs-dcpアルゴリズムの性能を検証するために,いくつかのベンチマークデータセットに関する広範な実証研究を行う。 S-DCPは学習速度および学習した生成モデルの品質の点でCDおよびPCDアルゴリズムよりも優れていることが観察されている。

関連論文リスト

• Differentially Private Random Block Coordinate Descent [51.62669821275571]
  スケッチ行列を用いて各反復における確率の異なる複数の座標を選択する差分プライベートな座標降下法を提案する。 提案アルゴリズムはDP-CDと従来のDP-SGDの両方を一般化し,有効性を保証する。
  論文  参考訳（メタデータ） (2024-12-22T15:06:56Z)
• Differentially Private Random Feature Model [52.468511541184895]
  プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。 本手法は,プライバシを保護し,一般化誤差を導出する。
  論文  参考訳（メタデータ） (2024-12-06T05:31:08Z)
• Neural Operator Variational Inference based on Regularized Stein Discrepancy for Deep Gaussian Processes [23.87733307119697]
  本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。 NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。 提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-22T06:56:35Z)
• Dimensionality Reduction as Probabilistic Inference [10.714603218784175]
  次元性低減(DR)アルゴリズムは、高次元データを低次元表現に圧縮し、データの重要な特徴を保存する。 本稿では,多種多様な古典DRアルゴリズムを確率的推論アルゴリズムとして解釈するProbDR変分フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-15T23:48:59Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
  本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。 提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
  論文  参考訳（メタデータ） (2022-08-29T18:01:42Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
  無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。 リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。 このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
  論文  参考訳（メタデータ） (2021-02-27T19:28:39Z)
• Robust Generative Restricted Kernel Machines using Weighted Conjugate Feature Duality [11.68800227521015]
  制限カーネルマシン(RKM)のフレームワークにおける重み付き共役特徴双対性を導入する。 RKMの定式化により、古典的なロバスト統計からメソッドを簡単に統合できる。 実験により、トレーニングデータに汚染が存在する場合、重み付けされたRKMはクリーンな画像を生成することができることが示された。
  論文  参考訳（メタデータ） (2020-02-04T09:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。