論文の概要: Training neural networks using Metropolis Monte Carlo and an adaptive
variant
- arxiv url: http://arxiv.org/abs/2205.07408v1
- Date: Mon, 16 May 2022 01:01:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 18:00:22.255948
- Title: Training neural networks using Metropolis Monte Carlo and an adaptive
variant
- Title（参考訳）: メトロポリスモンテカルロを用いたニューラルネットワークの学習と適応型
- Authors: Stephen Whitelam, Viktor Selin, Ian Benlolo, Isaac Tamblyn
- Abstract要約: 損失関数を最小化してニューラルネットワークをトレーニングするためのツールとして,ゼロ温度モンテカルロアルゴリズムについて検討した。
理論上の根拠から予想され、他の著者によって実証的に示されたように、モンテカルロは勾配勾配に匹敵する精度でニューラルネットを訓練できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We examine the zero-temperature Metropolis Monte Carlo algorithm as a tool
for training a neural network by minimizing a loss function. We find that, as
expected on theoretical grounds and shown empirically by other authors,
Metropolis Monte Carlo can train a neural net with an accuracy comparable to
that of gradient descent, if not necessarily as quickly. The Metropolis
algorithm does not fail automatically when the number of parameters of a neural
network is large. It can fail when a neural network's structure or neuron
activations are strongly heterogenous, and we introduce an adaptive Monte Carlo
algorithm, aMC, to overcome these limitations. The intrinsic stochasticity of
the Monte Carlo method allows aMC to train neural networks in which the
gradient is too small to allow training by gradient descent. We suggest that,
as for molecular simulation, Monte Carlo methods offer a complement to
gradient-based methods for training neural networks, allowing access to a
distinct set of network architectures and principles.
- Abstract（参考訳）: 損失関数を最小化してニューラルネットワークをトレーニングするためのツールとして,ゼロ温度モンテカルロアルゴリズムを検討した。
理論的な根拠で予想され、他の著者によって実証的に示されているように、メトロポリス・モンテカルロは勾配降下と同等の精度でニューラルネットワークを訓練できる。
ニューラルネットワークのパラメータ数が大きくなると、metropolisアルゴリズムが自動的に失敗することはない。
ニューラルネットワークの構造やニューロンの活性化が強い異種性である場合にフェールし、これらの制限を克服するために適応的なモンテカルロアルゴリズムであるaMCを導入する。
モンテカルロ法の本質的確率性により、AMCは勾配が小さすぎるニューラルネットワークを訓練することができ、勾配降下によるトレーニングが可能である。
分子シミュレーションでは、モンテカルロ法が勾配に基づくニューラルネットワークの訓練法を補完し、異なるネットワークアーキテクチャや原理へのアクセスを可能にすることを示唆している。
関連論文リスト
- A foundation for exact binarized morphological neural networks [2.8925699537310137]
ディープニューラルネットワーク(NN)のトレーニングと実行は、多くの計算とエネルギー集約的な特別なハードウェアを必要とすることが多い。
計算量と消費電力を減らす方法の1つは二重NNを使うことであるが、これは符号関数が非滑らかな勾配を持つため訓練が困難である。
本研究では,特定の条件下での性能を損なうことなく,ConvNetを二項化できる数学的形態(MM)に基づくモデルを提案する。
論文 参考訳（メタデータ） (2024-01-08T11:37:44Z) - NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。
ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。
我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
論文 参考訳（メタデータ） (2023-10-08T12:33:42Z) - Injecting Logical Constraints into Neural Networks via Straight-Through
Estimators [5.6613898352023515]
ニューラルネットワーク学習に離散的な論理的制約を注入することは、ニューロシンボリックAIにおける大きな課題の1つだ。
ニューラルネットワークの学習に論理的制約を組み込むために、バイナリニューラルネットワークをトレーニングするために導入されたストレートスルー推定器が効果的に適用できることがわかった。
論文 参考訳（メタデータ） (2023-07-10T05:12:05Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Dense Hebbian neural networks: a replica symmetric picture of supervised
learning [4.133728123207142]
我々は教師が指導する高密度で連想的なニューラルネットについて検討する。
スピングラスの統計力学およびモンテカルロシミュレーションによる数値計算能力の解析を行った。
論文 参考訳（メタデータ） (2022-11-25T13:37:47Z) - Dense Hebbian neural networks: a replica symmetric picture of
unsupervised learning [4.133728123207142]
我々は、監督なしで訓練された密集的で連想的なニューラルネットを考える。
本稿では,モンテカルロシミュレーションを用いて,その計算能力を解析的に,統計力学的手法を用いて,数値解析的に検討する。
論文 参考訳（メタデータ） (2022-11-25T12:40:06Z) - A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。
新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。
モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
論文 参考訳（メタデータ） (2022-01-14T06:42:42Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳（メタデータ） (2021-02-03T09:30:45Z) - Compressive sensing with un-trained neural networks: Gradient descent
finds the smoothest approximation [60.80172153614544]
訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。
トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
論文 参考訳（メタデータ） (2020-05-07T15:57:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。