論文の概要: Cascade of phase transitions in the training of Energy-based models
- arxiv url: http://arxiv.org/abs/2405.14689v3
- Date: Fri, 08 Nov 2024 09:37:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-11 14:51:56.712953
- Title: Cascade of phase transitions in the training of Energy-based models
- Title（参考訳）: エネルギーモデル学習における相転移のカスケード
- Authors: Dimitrios Bachtis, Giulio Biroli, Aurélien Decelle, Beatriz Seoane,
- Abstract要約: 原型エネルギーベース生成モデルBernoulli-Bernoulli RBMの特徴符号化過程について検討した。
本研究は、その特異値分解によるモデルの重み行列の進化をトラックする。
我々はBernoulli-Bernoulli RBMを実データ集合上でトレーニングすることで理論的結果を検証する。
- 参考スコア（独自算出の注目度）: 9.945465034701288
- License:
- Abstract: In this paper, we investigate the feature encoding process in a prototypical energy-based generative model, the Restricted Boltzmann Machine (RBM). We start with an analytical investigation using simplified architectures and data structures, and end with numerical analysis of real trainings on real datasets. Our study tracks the evolution of the model's weight matrix through its singular value decomposition, revealing a series of phase transitions associated to a progressive learning of the principal modes of the empirical probability distribution. The model first learns the center of mass of the modes and then progressively resolve all modes through a cascade of phase transitions. We first describe this process analytically in a controlled setup that allows us to study analytically the training dynamics. We then validate our theoretical results by training the Bernoulli-Bernoulli RBM on real data sets. By using data sets of increasing dimension, we show that learning indeed leads to sharp phase transitions in the high-dimensional limit. Moreover, we propose and test a mean-field finite-size scaling hypothesis. This shows that the first phase transition is in the same universality class of the one we studied analytically, and which is reminiscent of the mean-field paramagnetic-to-ferromagnetic phase transition.
- Abstract（参考訳）: 本稿では,原型エネルギーベース生成モデルであるRestricted Boltzmann Machine (RBM)の特徴符号化過程について検討する。
まず、単純化されたアーキテクチャとデータ構造を用いた分析研究から始め、実際のデータセット上での実際のトレーニングの数値解析で終わります。
本研究は, その特異値分解によるモデル重み行列の進化を追跡した結果, 経験的確率分布の主モードの漸進的学習に関連する一連の相転移が明らかになった。
モデルはまずモードの質量の中心を学習し、その後相転移のカスケードを通じて全てのモードを段階的に解決する。
まず、この過程を制御された設定で解析的に記述し、学習力学を解析的に研究することができる。
次に、実データ集合上でベルヌーイ・ベルヌーリ RBM を訓練することにより、理論的結果を検証する。
増大する次元のデータセットを用いることで,学習が高次元限界における急激な位相遷移をもたらすことを示す。
さらに、平均フィールド有限サイズスケーリング仮説を提案し、検証する。
これは、第1相転移が、我々が分析的に調べたものと同じ普遍性クラスであり、平均磁場の常磁性-強磁性相転移を連想させることを示している。
関連論文リスト
- Learning and Transferring Sparse Contextual Bigrams with Linear Transformers [47.37256334633102]
スパース・コン・ビグラム(Sparse Con Bigram)モデルを導入し、次のトークンの生成は、最後のトークンによって決定される以前の位置のスパースセットに依存する。
勾配アルゴリズムを用いた一層線形変圧器を用いて,SCB学習のトレーニングダイナミクスとサンプル複雑性を解析した。
下流と事前学習タスクの間に非自明な相関関係があることを証明し、事前訓練されたモデルから微調整することで、初期サンプル集約段階を回避できることを証明した。
論文 参考訳（メタデータ） (2024-10-30T20:29:10Z) - Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
論文 参考訳（メタデータ） (2024-09-05T18:14:22Z) - Dynamical Regimes of Diffusion Models [14.797301819675454]
空間の次元とデータ数が大きい体制における生成拡散モデルについて検討する。
本研究は, 逆向き発生拡散過程における3つの異なる動的状態を明らかにするものである。
崩壊時間の次元とデータ数への依存性は、拡散モデルにおける次元の呪いの徹底的な評価を与える。
論文 参考訳（メタデータ） (2024-02-28T17:19:26Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - Explaining the Machine Learning Solution of the Ising Model [0.0]
この研究は、統計物理学における機械学習(ML)研究の主要なターゲットである強磁性イジングモデルに対してどのように達成できるかを示す。
隠れた層を持たないニューラルネットワーク(NN)を使用し(最も単純な)、ハミルトニアンの対称性によって情報を伝達することにより、教師付き学習ソリューションを見つけるための戦略を説明する。
これらの結果は、物理インフォームドされた説明可能な一般化されたフレームワークへの道を開き、モデルのパラメータから物理法則と原理を抽出することができる。
論文 参考訳（メタデータ） (2024-02-18T20:47:33Z) - Machine Learning for the identification of phase-transitions in interacting agent-based systems: a Desai-Zwanzig example [0.0]
本稿では,エージェントモデルに対する位相遷移を平均フィールド限界でピンポイントするデータ駆動フレームワークを提案する。
この目的のために、多様体学習アルゴリズムであるマップを用いて、データ駆動潜在変数の相似集合を同定する。
次に、深層学習フレームワークを用いて、データ駆動座標の共形再パラメータ化を求める。
論文 参考訳（メタデータ） (2023-10-29T15:07:08Z) - From Stability to Chaos: Analyzing Gradient Descent Dynamics in
Quadratic Regression [14.521929085104441]
本研究では2次回帰モデルの文脈における高次定数ステップサイズを用いた勾配降下のダイナミクスについて検討する。
1) 単調, (2) カタパルト, (3) 周期, (4) カオス, (5) 発散の5つの異なる訓練段階を列挙した。
特に,エルゴード軌道平均化は非単調(および非発散)相における試験誤差を安定化させる。
論文 参考訳（メタデータ） (2023-10-02T22:59:17Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳（メタデータ） (2021-02-12T12:23:13Z) - Unsupervised machine learning of topological phase transitions from
experimental data [52.77024349608834]
超低温原子からの実験データに教師なし機械学習技術を適用する。
我々は、完全にバイアスのない方法で、ハルダンモデルの位相位相図を得る。
我々の研究は、複雑な多体系における新しいエキゾチック位相の教師なし検出のためのベンチマークを提供する。
論文 参考訳（メタデータ） (2021-01-14T16:38:21Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。