論文の概要: Entropy, Free Energy, and Work of Restricted Boltzmann Machines
- arxiv url: http://arxiv.org/abs/2004.04900v1
- Date: Fri, 10 Apr 2020 04:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 06:25:13.198967
- Title: Entropy, Free Energy, and Work of Restricted Boltzmann Machines
- Title（参考訳）: 制限ボルツマンマシンのエントロピー、自由エネルギーおよび作業
- Authors: Sangchul Oh, Abdelkader Baggag, Hyunchul Nha
- Abstract要約: 我々は統計物理学の文脈で制限されたボルツマンマシンの訓練過程を分析する。
トレーニングが進むにつれて,エントロピーのサブ付加性を通じて,可視層と隠蔽層との相関関係が成長することを示す。
本稿では,作業の指数関数の経路平均と学習前後の自由エネルギーの差を結合するジャージンスキー等式について論じる。
- 参考スコア（独自算出の注目度）: 0.08594140167290096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A restricted Boltzmann machine is a generative probabilistic graphic network.
A probability of finding the network in a certain configuration is given by the
Boltzmann distribution. Given training data, its learning is done by optimizing
parameters of the energy function of the network. In this paper, we analyze the
training process of the restricted Boltzmann machine in the context of
statistical physics. As an illustration, for small size Bar-and-Stripe
patterns, we calculate thermodynamic quantities such as entropy, free energy,
and internal energy as a function of training epoch. We demonstrate the growth
of the correlation between the visible and hidden layers via the subadditivity
of entropies as the training proceeds. Using the Monte-Carlo simulation of
trajectories of the visible and hidden vectors in configuration space, we also
calculate the distribution of the work done on the restricted Boltzmann machine
by switching the parameters of the energy function. We discuss the Jarzynski
equality which connects the path average of the exponential function of the
work and the difference in free energies before and after training.
- Abstract（参考訳）: 制限ボルツマンマシンは生成確率的グラフィックネットワークである。
ある構成でネットワークを見つける確率はボルツマン分布によって与えられる。
トレーニングデータについて、学習はネットワークのエネルギー関数のパラメータを最適化することで行われる。
本稿では,制限されたボルツマンマシンの学習過程を統計物理学の文脈で解析する。
例示として,小径のバー・アンド・ストライプパターンについて,エントロピー,自由エネルギー,内部エネルギーなどの熱力学的量をトレーニング時代の関数として計算する。
トレーニングが進むにつれて,エントロピーのサブ付加性を通じて,可視層と隠蔽層との相関関係が成長することを示す。
構成空間における可視ベクトルと隠れベクトルの軌道のモンテカルロシミュレーションを用いて,エネルギー関数のパラメータを切り替えることで,制限ボルツマンマシン上での作業の分布を計算する。
本稿では,作業の指数関数の経路平均と学習前後の自由エネルギーの差を結合するジャージンスキー等式について論じる。
関連論文リスト
- DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。
DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。
経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
論文 参考訳（メタデータ） (2024-10-08T10:48:50Z) - Neural Entropy [0.0]
拡散モデルのパラダイムを用いて,深層学習と情報理論の関連性を検討する。
我々は、拡散過程を逆転させるために必要な情報の量を特徴付け、ニューラルネットワークがこの情報を格納し、生成段階においてマクスウェルの悪魔を思い起こさせるように動作することを示す。
この概念図は、最適制御、熱力学、情報理論、最適輸送の要素をブレンドし、ニューラルネットワークを理解するためのテストベンチとして拡散モデルを適用する可能性を高める。
論文 参考訳（メタデータ） (2024-09-05T18:00:00Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - Trained quantum neural networks are Gaussian processes [5.439020425819001]
パラメトリックな1量子ビットゲートと2量子ビットゲートを幅の限界で固定した量子ニューラルネットワークについて検討した。
我々は、教師付き学習問題に対して、二乗損失を伴う勾配降下によるネットワークのトレーニングを解析的に特徴付ける。
ネットワークが不毛の台地の影響を受けていない限り、トレーニングされたネットワークはトレーニングセットに完全に適合する。
論文 参考訳（メタデータ） (2024-02-13T19:00:08Z) - Universal representation by Boltzmann machines with Regularised Axons [34.337412054122076]
正規化されたボルツマンマシンは任意の分布を表現できることを示す。
また、正規化されたボルツマンマシンは、任意の相関した多くの可視パターンを完全検索で指数関数的に保存できることを示す。
論文 参考訳（メタデータ） (2023-10-22T20:05:47Z) - Better Training of GFlowNets with Local Credit and Incomplete
Trajectories [81.14310509871935]
エネルギー関数が終端状態だけでなく中間状態にも適用できる場合を考える。
これは例えば、エネルギー関数が加法的であるときに達成され、軌道に沿って項が利用できる。
これにより、不完全なトラジェクトリであってもパラメータの更新に適用可能なトレーニングの目標が可能になる。
論文 参考訳（メタデータ） (2023-02-03T12:19:42Z) - GFlowNet Foundations [66.69854262276391]
Generative Flow Networks (GFlowNets) は、多様な候補をアクティブな学習コンテキストでサンプリングする方法として導入された。
GFlowNetのさらなる理論的性質について述べる。
論文 参考訳（メタデータ） (2021-11-17T17:59:54Z) - Using Restricted Boltzmann Machines to Model Molecular Geometries [0.0]
本稿では,ボルツマンマシンの高速学習能力と表現力を利用して,物理パラメータ群をモデル化するための新しい手法を提案する。
本稿では,Tanhアクティベーション機能に基づく新しいRBMについて紹介し,異なるアクティベーション機能を有するRBMの比較を行う。
我々は、水やエタンなどの小さな分子をモデル化するガウスRBMの能力を示す。
論文 参考訳（メタデータ） (2020-12-13T07:02:32Z) - Boltzmann machine learning with a variational quantum algorithm [0.0]
ボルツマンマシンは、トレーニングデータを管理する確率分布をモデル化するための強力なツールである。
本稿では,ノイズ中間スケール量子(NISQ)デバイスを用いてボルツマン機械学習を実現する手法を提案する。
論文 参考訳（メタデータ） (2020-07-02T04:45:02Z) - Applications of Koopman Mode Analysis to Neural Networks [52.77024349608834]
我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。
アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。
また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
論文 参考訳（メタデータ） (2020-06-21T11:00:04Z) - Targeted free energy estimation via learned mappings [66.20146549150475]
自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。
FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。
目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
論文 参考訳（メタデータ） (2020-02-12T11:10:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。