論文の概要: Gaussian-Bernoulli RBMs Without Tears

• arxiv url: http://arxiv.org/abs/2210.10318v1
• Date: Wed, 19 Oct 2022 06:22:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 12:31:54.134921
• Title: Gaussian-Bernoulli RBMs Without Tears
• Title（参考訳）: ガウス・ベルヌーリ RBM ティールなし
• Authors: Renjie Liao, Simon Kornblith, Mengye Ren, David J. Fleet, Geoffrey Hinton
• Abstract要約: 本稿では,Gibbs-Langevinサンプリングアルゴリズムを提案する。 雑音から始まるGRBMで画像を生成できるように改良されたコントラッシブ・ディペンジェンス(CD)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 113.62579223055958
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We revisit the challenging problem of training Gaussian-Bernoulli restricted Boltzmann machines (GRBMs), introducing two innovations. We propose a novel Gibbs-Langevin sampling algorithm that outperforms existing methods like Gibbs sampling. We propose a modified contrastive divergence (CD) algorithm so that one can generate images with GRBMs starting from noise. This enables direct comparison of GRBMs with deep generative models, improving evaluation protocols in the RBM literature. Moreover, we show that modified CD and gradient clipping are enough to robustly train GRBMs with large learning rates, thus removing the necessity of various tricks in the literature. Experiments on Gaussian Mixtures, MNIST, FashionMNIST, and CelebA show GRBMs can generate good samples, despite their single-hidden-layer architecture. Our code is released at: \url{https://github.com/lrjconan/GRBM}.
• Abstract（参考訳）: 本稿では,ガウス・ベルヌーリ制限ボルツマンマシン(GRBM)を2つのイノベーションを導入し,学習課題を再考する。 本稿では,Gibbs-Langevinサンプリングアルゴリズムを提案する。 雑音から始まるGRBMで画像を生成できるように改良されたコントラッシブ・ディペンジェンス(CD)アルゴリズムを提案する。 これにより、GRBMと深い生成モデルとの直接比較が可能となり、RBM文献の評価プロトコルが改善された。 さらに,修正cdと勾配クリッピングは,学習率の高いgrbmを頑健に訓練するのに十分であることを示し,文献における様々な手技の必要性を取り除いた。 ガウス混合体、MNIST、FashionMNIST、CelebAの実験では、GRBMは単層構造であるにもかかわらず良いサンプルを生成することができる。 私たちのコードは、 \url{https://github.com/lrjconan/grbm} でリリースされます。

関連論文リスト

• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality [99.63429416013713]
  3D-GSは現実世界のシーンの再構築とレンダリングで大きな成功を収めた。 高いレンダリング品質を生成タスクに転送するために、テキストから3Dガウス資産を生成するための一連の研究が進められている。 生成品質を向上させるため,GaussianDreamerProという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:12:09Z)
• 3D Gaussian Splatting as Markov Chain Monte Carlo [30.04096439325343]
  3D Gaussian Splattingは最近、ニューラルレンダリングで人気になっている。 我々は3次元ガウスの集合を、基礎となる確率分布から引き出されたランダムなサンプルとして再考する。 未使用ガウスの除去を促進する正則化器を導入する。
  論文  参考訳（メタデータ） (2024-04-15T09:01:47Z)
• Neural Boltzmann Machines [2.179313476241343]
  条件生成モデルは、コンテキスト情報を入力として使用して、新しい想像的出力を生成することができる。 条件付き制限ボルツマンマシン(英: Conditional Restricted Boltzmann Machines, CRBM)は、ノイズの多い離散データや連続データをモデル化するのに特に有効であることが証明された条件付き生成モデルの一種である。 CRBMパラメータのそれぞれを、条件入力の関数として許容される独自のニューラルネットワークに変換することで、CRBMを一般化する。
  論文  参考訳（メタデータ） (2023-05-15T04:03:51Z)
• Joint Generator-Ranker Learning for Natural Language Generation [99.16268050116717]
  JGRは、ジェネレータとローダを単一のフレームワークに統合する、新しいジョイントトレーニングアルゴリズムである。 ジェネレータとランク装置を反復的に更新することにより、JGRは学習を効果的に調和させ、共同で品質を高めることができる。
  論文  参考訳（メタデータ） (2022-06-28T12:58:30Z)
• Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
  Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。 提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-22T17:58:23Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Barriers and Dynamical Paths in Alternating Gibbs Sampling of Restricted Boltzmann Machines [0.0]
  本研究は,AGS(Alternating Gibbs Sampling)の性能について,解析的に抽出可能なモデルを用いて検討する。 AGSは従来のメトロポリス・ハスティングス(MH)より効率が良くないことを示す。 私たちは、機械学習でよく知られるBarsとStripesとMNIST、いわゆるLattice Proteinsという3つのデータセットについて、我々の研究結果を説明します。
  論文  参考訳（メタデータ） (2021-07-13T12:07:56Z)
• Learning Gaussian-Bernoulli RBMs using Difference of Convex Functions Optimization [0.9137554315375919]
  GB-RBMの負の対数類似性は凸関数の差として表せることを示す。 GB-RBMを学習するための凸関数プログラミング(S-DCP)アルゴリズムの違いを提案する。 S-DCPは学習速度および学習した生成モデルの品質の点でCDおよびPCDアルゴリズムよりも優れていることが観察されている。
  論文  参考訳（メタデータ） (2021-02-11T19:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。