論文の概要: Training Restricted Boltzmann Machines with Binary Synapses using the Bayesian Learning Rule

• arxiv url: http://arxiv.org/abs/2007.04676v1
• Date: Thu, 9 Jul 2020 10:05:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 03:57:09.054170
• Title: Training Restricted Boltzmann Machines with Binary Synapses using the Bayesian Learning Rule
• Title（参考訳）: ベイズ学習則を用いたバイナリシナプス付き制限ボルツマン機械の訓練
• Authors: Xiangming Meng
• Abstract要約: Huang氏は、勾配上昇アルゴリズムとメッセージパッシングアルゴリズムを組み合わせて、バイナリシナプスでRBMを訓練する1つの効率的な方法を提案した。 本稿では,自然勾配変分推定法であるベイズ学習規則を用いた1つの最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 2.6397379133308214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Restricted Boltzmann machines (RBMs) with low-precision synapses are much appealing with high energy efficiency. However, training RBMs with binary synapses is challenging due to the discrete nature of synapses. Recently Huang proposed one efficient method to train RBMs with binary synapses by using a combination of gradient ascent and the message passing algorithm under the variational inference framework. However, additional heuristic clipping operation is needed. In this technical note, inspired from Huang's work , we propose one alternative optimization method using the Bayesian learning rule, which is one natural gradient variational inference method. As opposed to Huang's method, we update the natural parameters of the variational symmetric Bernoulli distribution rather than the expectation parameters. Since the natural parameters take values in the entire real domain, no additional clipping is needed. Interestingly, the algorithm in \cite{huang2019data} could be viewed as one first-order approximation of the proposed algorithm, which justifies its efficacy with heuristic clipping.
• Abstract（参考訳）: 低精度シナプスを持つ制限ボルツマン機械(RBM)は高エネルギー効率で非常に魅力的である。 しかし,バイナリシナプスを用いたrbmsの訓練は,シナプスの離散的な性質から困難である。 最近Huang氏は、変分推論フレームワークの下で勾配上昇とメッセージパッシングアルゴリズムの組み合わせを用いて、バイナリシナプスでRBMを訓練する1つの効率的な方法を提案した。 しかし,追加のヒューリスティッククリッピング操作が必要である。 本稿では,huangの研究に着想を得て,自然勾配変分推定法の一つであるベイズ学習則を用いた代替最適化手法を提案する。 黄の手法とは対照的に, 変動対称ベルヌーイ分布の自然パラメータを期待パラメータよりもむしろ更新する。 自然パラメータは実領域全体の値を取るので、追加のクリッピングは不要である。 興味深いことに、 \cite{huang2019data} のアルゴリズムは提案アルゴリズムの一階近似と見なすことができ、ヒューリスティックなクリッピングの有効性を正当化することができる。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Information Geometry and Beta Link for Optimizing Sparse Variational Student-t Processes [6.37512592611305]
  勾配勾配勾配を用いた実世界のデータセットの計算効率と柔軟性を向上させるために,学生Tプロセスが提案されている。 アダムのような伝統的な勾配降下法はパラメータ空間の幾何を十分に活用しない可能性があり、収束と準最適性能を遅くする可能性がある。 我々は,情報幾何学から自然勾配法を適用し,学生-tプロセスの変分パラメータ最適化を行う。
  論文  参考訳（メタデータ） (2024-08-13T07:53:39Z)
• Online Learning Under A Separable Stochastic Approximation Framework [20.26530917721778]
  分離可能な近似フレームワークを用いて,機械学習モデルのクラスに対するオンライン学習アルゴリズムを提案する。 提案アルゴリズムは,他の一般的な学習アルゴリズムと比較して,より堅牢でテスト性能が高いことを示す。
  論文  参考訳（メタデータ） (2023-05-12T13:53:03Z)
• Nystrom Method for Accurate and Scalable Implicit Differentiation [25.29277451838466]
  我々は,Nystrom法が他の手法と同等あるいは優れた性能を連続的に達成していることを示す。 提案手法は数値的な不安定さを回避し,反復を伴わない行列演算で効率的に計算できる。
  論文  参考訳（メタデータ） (2023-02-20T02:37:26Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Amortised inference of fractional Brownian motion with linear computational complexity [0.0]
  ランダムウォークのパラメータを推定するために,シミュレーションベースで償却されたベイズ推定手法を提案する。 提案手法は歩行パラメータの後方分布を確率自由な方法で学習する。 この手法を適用して、環境中の有限デコリレーション時間をさらに個々の軌道から推定できることを示す。
  論文  参考訳（メタデータ） (2022-03-15T14:43:16Z)
• DiffPrune: Neural Network Pruning with Deterministic Approximate Binary Gates and $L_0$ Regularization [0.0]
  現代のニューラルネットワークアーキテクチャは通常、数百万のパラメータを持ち、有効性を著しく損なうことなく、大幅に刈り取ることができる。 この作品の貢献は2つある。 1つ目は、任意の実数値確率変数の決定論的かつ微分可能変換によって多変量ベルヌーイ確率変数を近似する方法である。 2つ目は、決定論的あるいは乗法的に計算され、正確なゼロ値を取る近似二進ゲートを持つ要素的パラメータによるモデル選択の方法である。
  論文  参考訳（メタデータ） (2020-12-07T13:08:56Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。