論文の概要: Mode-Assisted Joint Training of Deep Boltzmann Machines

• arxiv url: http://arxiv.org/abs/2102.08562v1
• Date: Wed, 17 Feb 2021 04:03:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-19 07:22:02.000070
• Title: Mode-Assisted Joint Training of Deep Boltzmann Machines
• Title（参考訳）: 深いボルツマン機械のモード支援継手訓練
• Authors: Haik Manukian and Massimiliano Di Ventra
• Abstract要約: モード支援トレーニングのパフォーマンス向上は,DBMにとってさらに劇的であることを示す。 モードアシストアルゴリズムと共同で訓練されたDBMは、パラメータの桁数が桁違い低い同じデータセットを表現できる。
• 参考スコア（独自算出の注目度）: 10.292439652458157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The deep extension of the restricted Boltzmann machine (RBM), known as the deep Boltzmann machine (DBM), is an expressive family of machine learning models which can serve as compact representations of complex probability distributions. However, jointly training DBMs in the unsupervised setting has proven to be a formidable task. A recent technique we have proposed, called mode-assisted training, has shown great success in improving the unsupervised training of RBMs. Here, we show that the performance gains of the mode-assisted training are even more dramatic for DBMs. In fact, DBMs jointly trained with the mode-assisted algorithm can represent the same data set with orders of magnitude lower number of total parameters compared to state-of-the-art training procedures and even with respect to RBMs, provided a fan-in network topology is also introduced. This substantial saving in number of parameters makes this training method very appealing also for hardware implementations.
• Abstract（参考訳）: 制限ボルツマンマシン(RBM)の深い拡張は、深ボルツマンマシン(DBM)として知られている、複雑な確率分布のコンパクトな表現として役立つことができる機械学習モデルの表現力のあるファミリです。 しかし、教師なし設定でdbmsを共同訓練することは大変な作業であることが証明されている。 近年提案手法であるmode-assisted trainingはrbmsの教師なしトレーニングの改善に大きな成功を収めている。 ここでは、モードアシストトレーニングのパフォーマンス向上が、DBMにとってさらに劇的であることを示す。 実際、モードアシストアルゴリズムと共同で訓練されたDBMは、最先端のトレーニング手順と比較して桁違いに低い総パラメータ数で同じデータセットを表現でき、また、RBMについてもファンインネットワークトポロジが導入された。 このパラメータの大幅な節約は、このトレーニングメソッドをハードウェア実装にも非常に魅力的にします。

関連論文リスト

• Monotone deep Boltzmann machines [86.50247625239406]
  ディープボルツマンマシン(Deep Boltzmann Machine、DBM)は、双対エネルギー関数によって制御される多層確率モデルである。 我々は,各層で任意の自己接続が可能な新しい制限モデルであるモノトンDBMを開発した。 アクティベーションの特定の選択が、変動平均場解を与える固定点反復をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-11T03:02:44Z)
• End-to-end Training of Deep Boltzmann Machines by Unbiased Contrastive Divergence with Local Mode Initialization [23.008689183810695]
  我々は、ディープボルツマンマシン(DBM)におけるバイアス勾配推定の問題に対処する。 本稿では,MH(Metropolis-Hastings)に基づく結合を提案し,ターゲット分布の局所モード付近の状態を初期化する。 提案を拒絶するMHの妥当性のため、カップリングは高い確率で1ステップで収束する傾向にあり、高い効率性をもたらす。
  論文  参考訳（メタデータ） (2023-05-31T09:28:02Z)
• Guiding Energy-based Models via Contrastive Latent Variables [81.68492940158436]
  エネルギーベースモデル(EBM)は、明示的な密度とアーキテクチャの柔軟性の両方を提供する一般的な生成フレームワークである。 EBMとGANのような生成フレームワークの間には、世代品質の点で大きなギャップがあることが多い。 コントラスト表現学習によるESM改善のための新しい効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T10:50:25Z)
• From Cloze to Comprehension: Retrofitting Pre-trained Masked Language Model to Pre-trained Machine Reader [130.45769668885487]
  Pre-trained Machine Reader (PMR) は、ラベル付きデータを取得することなく、MLMを事前学習機械読解(MRC)モデルに適合させる新しい手法である。 提案したPMRを構築するために,多量の汎用および高品質なMRCスタイルのトレーニングデータを構築した。 PMRは、MRCの定式化における様々な抽出および分類タスクに対処するための統一モデルとして機能する可能性がある。
  論文  参考訳（メタデータ） (2022-12-09T10:21:56Z)
• Multi-layered Discriminative Restricted Boltzmann Machine with Untrained Probabilistic Layer [0.0]
  極端な学習機械(ELM)は、訓練されていないパラメータを持つ3層フィードフォワードニューラルネットワークである。 ELMに触発されて,確率ELM層と呼ばれる確率的未学習層を提案する。 分類問題を解くために、識別限定ボルツマンマシン(DRBM)と組み合わせられる。
  論文  参考訳（メタデータ） (2022-10-27T13:56:17Z)
• MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge [72.16021611888165]
  本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。 提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。 以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-26T21:15:17Z)
• Boltzmann machines as two-dimensional tensor networks [7.041258064903578]
  RBMとDBMは正確に2次元テンソルネットワークとして表現できることを示す。 この表現は、RBMとDBMの表現力の理解を与える。 また、RBMとDBMの計算分割関数に対する効率的なテンソルネットワーク収縮アルゴリズムも提供する。
  論文  参考訳（メタデータ） (2021-05-10T06:14:49Z)
• Fast Ensemble Learning Using Adversarially-Generated Restricted Boltzmann Machines [0.0]
  Restricted Boltzmann Machine (RBM)は近年注目され、データ確率分布をモデル化するエネルギーベースの構造に依存している。 本稿では,事前学習した重み行列がGAN入力として機能するAdversarial Learningを用いて,RBMを人工的に生成することを提案する。 画像再構成および画像分類タスクにおける提案手法の有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2021-01-04T16:00:47Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Exact representations of many body interactions with RBM neural networks [77.34726150561087]
  我々は、RBMの表現力を利用して、多体接触相互作用を1体演算子に正確に分解する。 この構成は、ハバードモデルでよく知られたヒルシュの変換を、核物理学におけるピオンレスFTのようなより複雑な理論に一般化する。
  論文  参考訳（メタデータ） (2020-05-07T15:59:29Z)
• Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines [7.960229223744695]
  標準勾配更新とオフグラディエント方向を適切に組み合わせることで、従来の勾配法よりもトレーニングを劇的に改善することを示す。 モードトレーニングと呼ばれるこのアプローチは、収束相対エントロピー(KL分散)の低下に加えて、より高速なトレーニングと安定性を促進する。 我々が提案するモードトレーニングは、任意の勾配法と組み合わせて適用でき、より一般的なエネルギーベースのニューラルネットワーク構造に容易に拡張できるため、非常に多用途である。
  論文  参考訳（メタデータ） (2020-01-15T21:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。