論文の概要: Fundamental operating regimes, hyper-parameter fine-tuning and glassiness: towards an interpretable replica-theory for trained restricted Boltzmann machines
- arxiv url: http://arxiv.org/abs/2406.09924v1
- Date: Fri, 14 Jun 2024 11:12:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 14:05:00.623855
- Title: Fundamental operating regimes, hyper-parameter fine-tuning and glassiness: towards an interpretable replica-theory for trained restricted Boltzmann machines
- Title（参考訳）: 基本動作状態, ハイパーパラメータ微細調整, ガラス性:訓練されたボルツマンマシンの解釈可能なレプリカ理論に向けて
- Authors: Alberto Fachechi, Elena Agliari, Miriam Aquaro, Anthony Coolen, Menno Mulder,
- Abstract要約: 本稿では,二つの可視層を持つボルツマンマシンと,単一基底パターンの雑音的現実化からなる乱れのないデータセットによって訓練されたガウス的隠れ層を考える。
本稿では,ネットワーク生成能力を記述するための統計力学フレームワークを開発し,レプリカのトリックを活用し,基礎となる順序パラメータの自己評価を仮定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider restricted Boltzmann machines with a binary visible layer and a Gaussian hidden layer trained by an unlabelled dataset composed of noisy realizations of a single ground pattern. We develop a statistical mechanics framework to describe the network generative capabilities, by exploiting the replica trick and assuming self-averaging of the underlying order parameters (i.e., replica symmetry). In particular, we outline the effective control parameters (e.g., the relative number of weights to be trained, the regularization parameter), whose tuning can yield qualitatively-different operative regimes. Further, we provide analytical and numerical evidence for the existence of a sub-region in the space of the hyperparameters where replica-symmetry breaking occurs.
- Abstract（参考訳）: 本研究では,二つの可視層を持つ制限されたボルツマンマシンと,単一基底パターンの雑音的実現からなる非競合データセットによって訓練されたガウス的隠れ層を考察する。
本研究では,ネットワーク生成能力を記述するための統計力学フレームワークを開発し,レプリカのトリックを利用して,基礎となる順序パラメータ(レプリカ対称性)の自己拡張を仮定する。
特に、トレーニング対象の相対的な重量数、正規化パラメータなどの効果的な制御パラメータについて概説する。
さらに、レプリカ対称性の破れが発生するハイパーパラメータの空間にサブリージョンが存在するという分析的および数値的な証拠を提供する。
関連論文リスト
- Variational Inference of Parameters in Opinion Dynamics Models [9.51311391391997]
この研究は、変数推論を用いて、意見力学 ABM のパラメータを推定する。
我々は推論プロセスを自動微分に適した最適化問題に変換する。
提案手法は, シミュレーションベース法とMCMC法より, マクロ的(有界信頼区間とバックファイア閾値)と微視的(200ドル, エージェントレベルの役割)の両方を正確に推定する。
論文 参考訳（メタデータ） (2024-03-08T14:45:18Z) - Unsupervised and Supervised learning by Dense Associative Memory under
replica symmetry breaking [0.24999074238880487]
マルチノード相互作用を持つヘビアン誘引ネットワークは、多くのタスクにおいて古典的なペアワイズよりも優れていることが示されている。
我々はこれらの連想記憶のための教師あり教師なし学習プロトコルの1段階の分解-複製-対称性図を導出する。
論文 参考訳（メタデータ） (2023-12-15T09:27:46Z) - Learning minimal representations of stochastic processes with
variational autoencoders [52.99137594502433]
プロセスを記述するのに必要なパラメータの最小セットを決定するために、教師なしの機械学習アプローチを導入する。
我々の手法はプロセスを記述する未知のパラメータの自律的な発見を可能にする。
論文 参考訳（メタデータ） (2023-07-21T14:25:06Z) - Identifying overparameterization in Quantum Circuit Born Machines [1.7259898169307613]
量子回路Bornマシンのオーバーパラメータ化遷移の開始について,非逆勾配法を用いて学習した生成モデルについて検討する。
我々の結果は、これらのモデルのトレーニング可能性を完全に理解することは、未解決の問題であることを示している。
論文 参考訳（メタデータ） (2023-07-06T21:05:22Z) - Least Squares Regression Can Exhibit Under-Parameterized Double Descent [6.645111950779666]
本研究では,学習データ点数,パラメータ数,モデルの一般化能力の関係について検討する。
ピークの位置は、スペクトルとサンプル共分散の固有ベクトルの両方の技術的性質に依存すると仮定する。
論文 参考訳（メタデータ） (2023-05-24T03:52:48Z) - On the Forward Invariance of Neural ODEs [92.07281135902922]
本稿では,ニューラル常微分方程式(ODE)が出力仕様を満たすことを保証するための新しい手法を提案する。
提案手法では,出力仕様を学習システムのパラメータや入力の制約に変換するために,制御障壁関数のクラスを用いる。
論文 参考訳（メタデータ） (2022-10-10T15:18:28Z) - Analyzing Transformers in Embedding Space [59.434807802802105]
学習したトランスフォーマーの全てのパラメータを埋め込み空間に投影することで解釈する理論解析を提案する。
予め訓練されたモデルと微調整されたモデルの両方のパラメータを埋め込み空間で解釈できることを示す。
我々の発見は、少なくとも部分的には、モデル仕様から抽象化し、埋め込み空間でのみ動作する解釈手法への扉を開く。
論文 参考訳（メタデータ） (2022-09-06T14:36:57Z) - Arbitrary Marginal Neural Ratio Estimation for Simulation-based
Inference [7.888755225607877]
本稿では,数値積分に頼らずにパラメータの任意の部分集合に対する償却推論を可能にする新しい手法を提案する。
重力波観測による二元ブラックホール系のパラメータ推定法の適用性を示す。
論文 参考訳（メタデータ） (2021-10-01T14:35:46Z) - Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。
分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
論文 参考訳（メタデータ） (2021-03-07T00:15:44Z) - Sampling asymmetric open quantum systems for artificial neural networks [77.34726150561087]
非対称な開系に対する高速収束時間と高いスケーラビリティを実現し,非対称性を考慮したハイブリッドサンプリング戦略を提案する。
我々は、ニューラルネットワークの普遍的適用性を強調し、ニューラルネットワークの普遍的適用性を概説する。
論文 参考訳（メタデータ） (2020-12-20T18:25:29Z) - On the Sparsity of Neural Machine Translation Models [65.49762428553345]
性能向上のために冗長パラメータを再利用できるかどうかを検討する。
実験と分析は異なるデータセットとNTTアーキテクチャで体系的に行われる。
論文 参考訳（メタデータ） (2020-10-06T11:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。