Fugu-MT 論文翻訳(概要): Can RBMs be trained with zero step contrastive divergence?

論文の概要: Can RBMs be trained with zero step contrastive divergence?

arxiv url: http://arxiv.org/abs/2211.02174v1
Date: Thu, 3 Nov 2022 23:03:11 GMT
ステータス: 処理完了
システム内更新日: 2022-11-07 17:02:42.524102
Title: Can RBMs be trained with zero step contrastive divergence?
Title（参考訳）: RBMはゼロステップのコントラスト分岐で訓練できるのか?
Authors: Charles K. Fisher
Abstract要約: 一般に、CD-kアルゴリズムは、kステップのマルコフ連鎖モンテカルロアルゴリズムから得られたサンプルを用いて、モデル分布の平均を推定する。本報告では、k=0でRBMを訓練するために、CDの修正版を用いた簡単な近似サンプリングアルゴリズムを利用できるかを検討する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Restricted Boltzmann Machines (RBMs) are probabilistic generative models that can be trained by maximum likelihood in principle, but are usually trained by an approximate algorithm called Contrastive Divergence (CD) in practice. In general, a CD-k algorithm estimates an average with respect to the model distribution using a sample obtained from a k-step Markov Chain Monte Carlo Algorithm (e.g., block Gibbs sampling) starting from some initial configuration. Choices of k typically vary from 1 to 100. This technical report explores if it's possible to leverage a simple approximate sampling algorithm with a modified version of CD in order to train an RBM with k=0. As usual, the method is illustrated on MNIST.
Abstract（参考訳）: 制限ボルツマン機械(RBM)は確率的生成モデルであり、原理的には最大極大で訓練できるが、実際にはContrastive Divergence (CD)と呼ばれる近似アルゴリズムによって訓練される。一般に、cd-kアルゴリズムは、初期設定から開始したkステップマルコフ連鎖モンテカルロアルゴリズム(例えばブロックギブスサンプリング)から得られたサンプルを用いて、モデル分布に対する平均を推定する。 k の選択は通常 1 から 100 に変化する。この技術的報告は、k=0でRBMを訓練するために、CDの修正版で簡単な近似サンプリングアルゴリズムを利用できるかどうかを考察する。通常通り、この方法はMNISTで説明される。

関連論文リスト

Automatic Rao-Blackwellization for Sequential Monte Carlo with Belief Propagation [4.956977275061968]
状態空間モデル(SSM)に関する具体的なベイズ予想は、一般には難解である。本稿では,信念の伝播を用いた閉形式解を可能な限り計算する混合推論アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-12-15T15:05:25Z)
Gibbs Sampling the Posterior of Neural Networks [0.0]
ニューラルネットワークから派生した後部からのサンプリングについて検討する。ネットワーク内での事前および後活動毎にノイズを付加する新しい確率モデルを提案する。小型モデルでは、ギブス・サンプルラーは最先端のマルコフ・チェーンであるモンテ・カルロと同様のパフォーマンスを達成している。
論文参考訳（メタデータ） (2023-06-05T09:26:38Z)
On Calibrating Diffusion Probabilistic Models [78.75538484265292]
拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
論文参考訳（メタデータ） (2023-02-21T14:14:40Z)
Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。 $nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文参考訳（メタデータ） (2022-12-26T15:13:13Z)
Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
論文参考訳（メタデータ） (2022-06-22T17:58:23Z)
MRI Reconstruction via Data Driven Markov Chain with Joint Uncertainty Estimation [3.5751623095926806]
本稿では,MRI再構成のための学習確率分布からの効率的なサンプリングを可能にするフレームワークを提案する。データ駆動型マルコフ連鎖は、所定の画像データベースから学習した生成モデルから構築される。提案手法の性能は, 10倍の高速化獲得を用いて, オープンデータセット上で評価する。
論文参考訳（メタデータ） (2022-02-03T09:13:49Z)
Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文参考訳（メタデータ） (2021-10-20T12:25:22Z)
Continual Learning with Fully Probabilistic Models [70.3497683558609]
機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2021-04-19T12:26:26Z)
Community Detection in the Stochastic Block Model by Mixed Integer Programming [3.8073142980733]
Degree-Corrected Block Model (DCSBM) は、コミュニティ構造を持つランダムグラフを生成する一般的なモデルである。 DCSBMに基づくコミュニティ検出の標準的なアプローチは、最大推定(MLE)により観測されたネットワークデータを生成する可能性が最も高いモデルパラメータを探索することである。本稿では,モデルパラメータと最大確率のコミュニティ割当を観測グラフから確実に求める数学的計画式と厳密解法を提案する。
論文参考訳（メタデータ） (2021-01-26T22:04:40Z)
Training and Classification using a Restricted Boltzmann Machine on the D-Wave 2000Q [0.2609784101826761]
制限ボルツマンマシンの勾配学習のモデル予測を量子アニールを用いて計算した。量子アニール器から得られた試料は、CDで訓練されたRBMに似た分類性能で64ビットのバーとストライプのデータセットでRBMをトレーニングするために使用できる。
論文参考訳（メタデータ） (2020-05-07T04:43:04Z)
Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
論文参考訳（メタデータ） (2020-02-20T10:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。