論文の概要: Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines

• arxiv url: http://arxiv.org/abs/2001.05559v2
• Date: Sun, 19 Jan 2020 21:50:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 05:56:51.012504
• Title: Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines
• Title（参考訳）: 制限ボルツマンマシンのモード支援非教師なし学習
• Authors: Haik Manukian, Yan Ru Pei, Sean R.B. Bearden, Massimiliano Di Ventra
• Abstract要約: 標準勾配更新とオフグラディエント方向を適切に組み合わせることで、従来の勾配法よりもトレーニングを劇的に改善することを示す。 モードトレーニングと呼ばれるこのアプローチは、収束相対エントロピー(KL分散)の低下に加えて、より高速なトレーニングと安定性を促進する。 我々が提案するモードトレーニングは、任意の勾配法と組み合わせて適用でき、より一般的なエネルギーベースのニューラルネットワーク構造に容易に拡張できるため、非常に多用途である。
• 参考スコア（独自算出の注目度）: 7.960229223744695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Restricted Boltzmann machines (RBMs) are a powerful class of generative models, but their training requires computing a gradient that, unlike supervised backpropagation on typical loss functions, is notoriously difficult even to approximate. Here, we show that properly combining standard gradient updates with an off-gradient direction, constructed from samples of the RBM ground state (mode), improves their training dramatically over traditional gradient methods. This approach, which we call mode training, promotes faster training and stability, in addition to lower converged relative entropy (KL divergence). Along with the proofs of stability and convergence of this method, we also demonstrate its efficacy on synthetic datasets where we can compute KL divergences exactly, as well as on a larger machine learning standard, MNIST. The mode training we suggest is quite versatile, as it can be applied in conjunction with any given gradient method, and is easily extended to more general energy-based neural network structures such as deep, convolutional and unrestricted Boltzmann machines.
• Abstract（参考訳）: 制限ボルツマン機械(RBM)は、強力な生成モデルのクラスであるが、それらの訓練では、典型的な損失関数の教師付きバックプロパゲーションとは異なり、近似も困難である。 本稿では,標準勾配更新をrbm基底状態(モード)のサンプルから構築したオフグレード方向と適切に組み合わせることにより,従来の勾配法よりも劇的にトレーニングが向上することを示す。 モードトレーニングと呼ばれるこのアプローチは、収束相対エントロピー(KL分散)の低下に加えて、より高速なトレーニングと安定性を促進する。 この手法の安定性と収束性の証明とともに、KLの発散を正確に計算できる合成データセットや、より大規模な機械学習標準であるMNISTにも有効性を示す。 我々の提案するモードトレーニングは、任意の勾配法とともに適用でき、深層、畳み込み、非制限ボルツマン機械のようなより一般的なエネルギーベースのニューラルネットワーク構造に容易に拡張できるため、非常に多様である。

関連論文リスト

• Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
  Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。 CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2024-11-03T02:38:43Z)
• Avoiding mode collapse in diffusion models fine-tuned with reinforcement learning [0.0]
  強化学習(RL)による微調整基礎モデルは、下流の目標に整合する上で有望であることが証明されている。 拡散モデル (DM) の階層的性質を生かし, 各エポックでRL法で動的に訓練する。 HRFで訓練したモデルは、下流タスクにおける多様性の保存性を向上し、微調整の堅牢性を高め、平均報酬を損なうことなく達成できることが示される。
  論文  参考訳（メタデータ） (2024-10-10T19:06:23Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Stability-Aware Training of Machine Learning Force Fields with Differentiable Boltzmann Estimators [11.699834591020057]
  安定性を意識したボルツマン推定器(StABlE)トレーニングは、参照量子力学計算とシステムオブザーバブルから共同制御を利用するマルチモーダルトレーニング手法である。 StABlE TrainingはMLFFアーキテクチャやシステムにまたがる一般的な半経験的なフレームワークと見なすことができる。
  論文  参考訳（メタデータ） (2024-02-21T18:12:07Z)
• Unsupervised Discovery of Interpretable Directions in h-space of Pre-trained Diffusion Models [63.1637853118899]
  本稿では,事前学習した拡散モデルのh空間における解釈可能な方向を特定するための,教師なしおよび学習に基づく最初の手法を提案する。 我々は、事前訓練された拡散モデルのh-スペースで動作するシフト制御モジュールを用いて、サンプルをシフトしたバージョンに操作する。 それらを共同で最適化することで、モデルは自然に絡み合った、解釈可能な方向を発見する。
  論文  参考訳（メタデータ） (2023-10-15T18:44:30Z)
• Monotone deep Boltzmann machines [86.50247625239406]
  ディープボルツマンマシン(Deep Boltzmann Machine、DBM)は、双対エネルギー関数によって制御される多層確率モデルである。 我々は,各層で任意の自己接続が可能な新しい制限モデルであるモノトンDBMを開発した。 アクティベーションの特定の選択が、変動平均場解を与える固定点反復をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-11T03:02:44Z)
• Phantom Embeddings: Using Embedding Space for Model Regularization in Deep Neural Networks [12.293294756969477]
  機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。 複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。 情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-14T17:15:54Z)
• Mode-Assisted Joint Training of Deep Boltzmann Machines [10.292439652458157]
  モード支援トレーニングのパフォーマンス向上は,DBMにとってさらに劇的であることを示す。 モードアシストアルゴリズムと共同で訓練されたDBMは、パラメータの桁数が桁違い低い同じデータセットを表現できる。
  論文  参考訳（メタデータ） (2021-02-17T04:03:30Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。