論文の概要: Barriers and Dynamical Paths in Alternating Gibbs Sampling of Restricted Boltzmann Machines

• arxiv url: http://arxiv.org/abs/2107.06013v2
• Date: Thu, 21 Oct 2021 07:39:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-22 11:45:56.639224
• Title: Barriers and Dynamical Paths in Alternating Gibbs Sampling of Restricted Boltzmann Machines
• Title（参考訳）: 制限ボルツマンマシンの交換ギブスサンプリングにおけるバリアと動的経路
• Authors: Cl\'ement Roussel, Simona Cocco, R\'emi Monasson
• Abstract要約: 本研究は,AGS(Alternating Gibbs Sampling)の性能について,解析的に抽出可能なモデルを用いて検討する。 AGSは従来のメトロポリス・ハスティングス(MH)より効率が良くないことを示す。 私たちは、機械学習でよく知られるBarsとStripesとMNIST、いわゆるLattice Proteinsという3つのデータセットについて、我々の研究結果を説明します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Restricted Boltzmann Machines (RBM) are bi-layer neural networks used for the unsupervised learning of model distributions from data. The bipartite architecture of RBM naturally defines an elegant sampling procedure, called Alternating Gibbs Sampling (AGS), where the configurations of the latent-variable layer are sampled conditional to the data-variable layer, and vice versa. We study here the performance of AGS on several analytically tractable models borrowed from statistical mechanics. We show that standard AGS is not more efficient than classical Metropolis-Hastings (MH) sampling of the effective energy landscape defined on the data layer. However, RBM can identify meaningful representations of training data in their latent space. Furthermore, using these representations and combining Gibbs sampling with the MH algorithm in the latent space can enhance the sampling performance of the RBM when the hidden units encode weakly dependent features of the data. We illustrate our findings on three datasets: Bars and Stripes and MNIST, well known in machine learning, and the so-called Lattice Proteins, introduced in theoretical biology to study the sequence-to-structure mapping in proteins.
• Abstract（参考訳）: 制限ボルツマンマシン(RBM)は、データからモデル分布の教師なし学習に使用される2層ニューラルネットワークである。 RBMのバイパーティイトアーキテクチャは、データ可変層に条件付きで潜在変数層の構成をサンプリングするAlternating Gibbs Sampling (AGS)と呼ばれるエレガントなサンプリング手順を自然に定義している。 ここでは統計力学から借用したいくつかの解析的従属モデルにおけるagsの性能について検討する。 データ層上に定義された有効エネルギー景観を,従来のメトロポリス・ハスティングス (MH) サンプリングより効率が良くないことを示す。 しかし、RBMはトレーニングデータの潜在空間における意味のある表現を識別することができる。 さらに、これらの表現を用いて、遅延空間におけるギブズサンプリングとMHアルゴリズムを組み合わせることで、隠れたユニットがデータの弱い依存的特徴を符号化する場合、RBMのサンプリング性能を向上させることができる。 我々は、機械学習でよく知られるバーとストライプ、mnistと、タンパク質の配列から構造へのマッピングを研究するために理論生物学で導入された格子タンパク質の3つのデータセットについて研究を行った。

関連論文リスト

• GFM4MPM: Towards Geospatial Foundation Models for Mineral Prospectivity Mapping [2.7998963147546148]
  本研究では,ラベルのない地理空間データのみを用いて,バックボーンニューラルネットワークを自己教師型で学習する自己教師型アプローチを提案する。 以上の結果から,自己超越が学習特徴の堅牢性を促進し,予測精度が向上することが示唆された。 我々は、説明可能な人工知能技術を利用して、個々の予測が地質学的観点から解釈できることを実証する。
  論文  参考訳（メタデータ） (2024-06-18T16:24:28Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• cDVGAN: One Flexible Model for Multi-class Gravitational Wave Signal and Glitch Generation [0.7853804618032806]
  本稿では,複数の時間領域観測のクラスをシミュレートする手法として,ジェネレーティブ・アドリアック・ネットワーク・フレームワークに新しい条件モデルを提案する。 提案したcDVGANは,3つのクラスの特徴を再現する4種類のベースラインGANモデルより優れている。 実験の結果,cDVGAN生成データによる畳み込みニューラルネットワークのトレーニングにより,検出器ノイズに埋め込まれたサンプルの検出が向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-29T17:59:26Z)
• LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral Image Generation with Variance Regularization [72.4394510913927]
  ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。 GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。 この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。 本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
  論文  参考訳（メタデータ） (2023-04-29T00:25:02Z)
• Automated classification of pre-defined movement patterns: A comparison between GNSS and UWB technology [55.41644538483948]
  リアルタイム位置情報システム(RTLS)は、人間の動きパターンからデータを収集することができる。 本研究の目的は、小さな領域における人間の動きパターンを分類する自動化された枠組みを設計し、評価することである。
  論文  参考訳（メタデータ） (2023-03-10T14:46:42Z)
• ContrasInver: Ultra-Sparse Label Semi-supervised Regression for Multi-dimensional Seismic Inversion [7.356328937024184]
  コントラインバー(ContrasInver)は、2、3個の井戸の丸太を用いて地震波の逆解析を行う手法である。 実験では、ContrasInverは合成データSEAM Iで最先端の性能を達成した。 オランダのF3とDelftでは,それぞれ3つと2つの井戸ログのみを使用して,信頼性の高い結果をもたらす,初めてのデータ駆動型アプローチである。
  論文  参考訳（メタデータ） (2023-02-13T15:19:51Z)
• The emergence of a concept in shallow neural networks [0.0]
  我々は,定型だが不可能なアーチタイプを曖昧にコピーした非構造化データセット上で訓練された制限されたボルツマンマシン(RBM)を考える。」 RBMが古型を学習できる限界標本サイズが存在することを示す。
  論文  参考訳（メタデータ） (2021-09-01T15:56:38Z)
• Diverse Sample Generation: Pushing the Limit of Data-free Quantization [85.95032037447454]
  本稿では,データ不要なポストトレーニング量子化と量子化学習のための汎用的な2次サンプル生成手法を提案する。 大規模な画像分類タスクでは、DSGは既存のデータ自由量子化手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-09-01T07:06:44Z)
• ADAVI: Automatic Dual Amortized Variational Inference Applied To Pyramidal Bayesian Models [0.0]
  本研究では,対象パラメータに双対なVariatonal familyを自動生成する手法を開発した。 シミュレーションデータにおける本手法の有効性と,高次元脳パーセレーション実験の課題について述べる。
  論文  参考訳（メタデータ） (2021-06-23T09:09:01Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。