論文の概要: Entropy, Free Energy, and Work of Restricted Boltzmann Machines
- arxiv url: http://arxiv.org/abs/2004.04900v1
- Date: Fri, 10 Apr 2020 04:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 06:25:13.198967
- Title: Entropy, Free Energy, and Work of Restricted Boltzmann Machines
- Title(参考訳): 制限ボルツマンマシンのエントロピー、自由エネルギーおよび作業
- Authors: Sangchul Oh, Abdelkader Baggag, Hyunchul Nha
- Abstract要約: 我々は統計物理学の文脈で制限されたボルツマンマシンの訓練過程を分析する。
トレーニングが進むにつれて,エントロピーのサブ付加性を通じて,可視層と隠蔽層との相関関係が成長することを示す。
本稿では,作業の指数関数の経路平均と学習前後の自由エネルギーの差を結合するジャージンスキー等式について論じる。
- 参考スコア(独自算出の注目度): 0.08594140167290096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A restricted Boltzmann machine is a generative probabilistic graphic network.
A probability of finding the network in a certain configuration is given by the
Boltzmann distribution. Given training data, its learning is done by optimizing
parameters of the energy function of the network. In this paper, we analyze the
training process of the restricted Boltzmann machine in the context of
statistical physics. As an illustration, for small size Bar-and-Stripe
patterns, we calculate thermodynamic quantities such as entropy, free energy,
and internal energy as a function of training epoch. We demonstrate the growth
of the correlation between the visible and hidden layers via the subadditivity
of entropies as the training proceeds. Using the Monte-Carlo simulation of
trajectories of the visible and hidden vectors in configuration space, we also
calculate the distribution of the work done on the restricted Boltzmann machine
by switching the parameters of the energy function. We discuss the Jarzynski
equality which connects the path average of the exponential function of the
work and the difference in free energies before and after training.
- Abstract(参考訳): 制限ボルツマンマシンは生成確率的グラフィックネットワークである。
ある構成でネットワークを見つける確率はボルツマン分布によって与えられる。
トレーニングデータについて、学習はネットワークのエネルギー関数のパラメータを最適化することで行われる。
本稿では,制限されたボルツマンマシンの学習過程を統計物理学の文脈で解析する。
例示として,小径のバー・アンド・ストライプパターンについて,エントロピー,自由エネルギー,内部エネルギーなどの熱力学的量をトレーニング時代の関数として計算する。
トレーニングが進むにつれて,エントロピーのサブ付加性を通じて,可視層と隠蔽層との相関関係が成長することを示す。
構成空間における可視ベクトルと隠れベクトルの軌道のモンテカルロシミュレーションを用いて,エネルギー関数のパラメータを切り替えることで,制限ボルツマンマシン上での作業の分布を計算する。
本稿では,作業の指数関数の経路平均と学習前後の自由エネルギーの差を結合するジャージンスキー等式について論じる。
関連論文リスト
- Trained quantum neural networks are Gaussian processes [5.439020425819001]
パラメトリックな1量子ビットゲートと2量子ビットゲートを幅の限界で固定した量子ニューラルネットワークについて検討した。
我々は、教師付き学習問題に対して、二乗損失を伴う勾配降下によるネットワークのトレーニングを解析的に特徴付ける。
ネットワークが不毛の台地の影響を受けていない限り、トレーニングされたネットワークはトレーニングセットに完全に適合する。
論文 参考訳(メタデータ) (2024-02-13T19:00:08Z) - Universal representation by Boltzmann machines with Regularised Axons [34.337412054122076]
正規化されたボルツマンマシンは任意の分布を表現できることを示す。
また、正規化されたボルツマンマシンは、任意の相関した多くの可視パターンを完全検索で指数関数的に保存できることを示す。
論文 参考訳(メタデータ) (2023-10-22T20:05:47Z) - Energy Transformer [64.22957136952725]
我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。
本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-02-14T18:51:22Z) - Better Training of GFlowNets with Local Credit and Incomplete
Trajectories [81.14310509871935]
エネルギー関数が終端状態だけでなく中間状態にも適用できる場合を考える。
これは例えば、エネルギー関数が加法的であるときに達成され、軌道に沿って項が利用できる。
これにより、不完全なトラジェクトリであってもパラメータの更新に適用可能なトレーニングの目標が可能になる。
論文 参考訳(メタデータ) (2023-02-03T12:19:42Z) - Classifying topological neural network quantum states via diffusion maps [0.0]
量子多体系におけるトポロジ的順序を検出するために,教師なしの機械学習手法を議論し,実証する。
制限ボルツマン機械を用いて低エネルギースペクトルに対する変分アンザッツを定義する。
拡散写像では、量子状態の要求される類似度尺度がネットワークパラメータの項で定義できることが示される。
論文 参考訳(メタデータ) (2023-01-06T19:00:21Z) - GFlowNet Foundations [66.69854262276391]
Generative Flow Networks (GFlowNets) は、多様な候補をアクティブな学習コンテキストでサンプリングする方法として導入された。
GFlowNetのさらなる理論的性質について述べる。
論文 参考訳(メタデータ) (2021-11-17T17:59:54Z) - Machine Learning S-Wave Scattering Phase Shifts Bypassing the Radial
Schr\"odinger Equation [77.34726150561087]
本稿では, 畳み込みニューラルネットワークを用いて, 正確な散乱s波位相シフトを得られる機械学習モデルの実証を行う。
我々は、ハミルトニアンが物理的に動機づけられた記述子の構築において、いかにして指導原理として機能するかについて議論する。
論文 参考訳(メタデータ) (2021-06-25T17:25:38Z) - Using Restricted Boltzmann Machines to Model Molecular Geometries [0.0]
本稿では,ボルツマンマシンの高速学習能力と表現力を利用して,物理パラメータ群をモデル化するための新しい手法を提案する。
本稿では,Tanhアクティベーション機能に基づく新しいRBMについて紹介し,異なるアクティベーション機能を有するRBMの比較を行う。
我々は、水やエタンなどの小さな分子をモデル化するガウスRBMの能力を示す。
論文 参考訳(メタデータ) (2020-12-13T07:02:32Z) - Boltzmann machine learning with a variational quantum algorithm [0.0]
ボルツマンマシンは、トレーニングデータを管理する確率分布をモデル化するための強力なツールである。
本稿では,ノイズ中間スケール量子(NISQ)デバイスを用いてボルツマン機械学習を実現する手法を提案する。
論文 参考訳(メタデータ) (2020-07-02T04:45:02Z) - Applications of Koopman Mode Analysis to Neural Networks [52.77024349608834]
我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。
アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。
また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
論文 参考訳(メタデータ) (2020-06-21T11:00:04Z) - Targeted free energy estimation via learned mappings [66.20146549150475]
自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。
FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。
目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
論文 参考訳(メタデータ) (2020-02-12T11:10:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。