論文の概要: Exploring the Energy Landscape of RBMs: Reciprocal Space Insights into Bosons, Hierarchical Learning and Symmetry Breaking

• arxiv url: http://arxiv.org/abs/2503.21536v1
• Date: Thu, 27 Mar 2025 14:28:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:51:05.528962
• Title: Exploring the Energy Landscape of RBMs: Reciprocal Space Insights into Bosons, Hierarchical Learning and Symmetry Breaking
• Title（参考訳）: RBMのエネルギー景観を探る:ボソンズ、階層学習、シンメトリーブレーキングへの相互空間視点
• Authors: J. Quetzalcóatl Toledo-Marin, Anindita Maiti, Geoffrey C. Fox, Roger G. Melko,
• Abstract要約: 離散分布に対する普遍近似能力で知られるリミテッドボルツマンマシン(RBM)に着目した。 相互空間の定式化を導入することにより、RBM、拡散過程、結合ボソン間の接続を明らかにする。 我々の研究結果は、異なる生成フレームワーク間のギャップを埋めると同時に、生成モデルにおける学習を支えるプロセスにも光を当てています。
• 参考スコア（独自算出の注目度）: 0.07499722271664146
• License:
• Abstract: Deep generative models have become ubiquitous due to their ability to learn and sample from complex distributions. Despite the proliferation of various frameworks, the relationships among these models remain largely unexplored, a gap that hinders the development of a unified theory of AI learning. We address two central challenges: clarifying the connections between different deep generative models and deepening our understanding of their learning mechanisms. We focus on Restricted Boltzmann Machines (RBMs), known for their universal approximation capabilities for discrete distributions. By introducing a reciprocal space formulation, we reveal a connection between RBMs, diffusion processes, and coupled Bosons. We show that at initialization, the RBM operates at a saddle point, where the local curvature is determined by the singular values, whose distribution follows the Marcenko-Pastur law and exhibits rotational symmetry. During training, this rotational symmetry is broken due to hierarchical learning, where different degrees of freedom progressively capture features at multiple levels of abstraction. This leads to a symmetry breaking in the energy landscape, reminiscent of Landau theory. This symmetry breaking in the energy landscape is characterized by the singular values and the weight matrix eigenvector matrix. We derive the corresponding free energy in a mean-field approximation. We show that in the limit of infinite size RBM, the reciprocal variables are Gaussian distributed. Our findings indicate that in this regime, there will be some modes for which the diffusion process will not converge to the Boltzmann distribution. To illustrate our results, we trained replicas of RBMs with different hidden layer sizes using the MNIST dataset. Our findings bridge the gap between disparate generative frameworks and also shed light on the processes underpinning learning in generative models.
• Abstract（参考訳）: 複雑な分布から学習し、サンプルする能力によって、深い生成モデルがユビキタスになってきた。 様々なフレームワークが普及しているにもかかわらず、これらのモデル間の関係はほとんど解明されていないままであり、これはAI学習の統一理論の発展を妨げるギャップである。 我々は、異なる深層生成モデル間の関係を明確にし、学習メカニズムの理解を深めるという、2つの中心的な課題に対処する。 離散分布に対する普遍近似能力で知られるリミテッドボルツマンマシン(RBM)に着目した。 相互空間の定式化を導入することにより、RBM、拡散過程、結合ボソン間の接続を明らかにする。 初期化において、RBMは、局所曲率が特異値によって決定されるサドル点で作用し、その分布はマルチェンコ・パストゥル則に従って回転対称性を示すことを示す。 訓練中、この回転対称性は階層的な学習によって破られ、様々な自由度が徐々に複数の抽象レベルで特徴を捉えている。 これはランダウ理論を思い起こさせるエネルギー景観の対称性の破れにつながる。 このエネルギー景観における対称性の破れは特異値と重み行列固有ベクトル行列によって特徴づけられる。 平均場近似において対応する自由エネルギーを導出する。 無限大 RBM の極限において、相反変数はガウス分布であることを示す。 この状態においては,拡散過程がボルツマン分布に収束しないモードが存在することが示唆された。 この結果を説明するために,MNISTデータセットを用いて,異なる層サイズでRAMのレプリカをトレーニングした。 我々の研究結果は、異なる生成フレームワーク間のギャップを埋めると同時に、生成モデルにおける学習を支えるプロセスにも光を当てています。

関連論文リスト

• Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
  本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。 この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
  論文  参考訳（メタデータ） (2024-10-02T17:53:23Z)
• Generative Fractional Diffusion Models [53.36835573822926]
  我々は,その基礎となる力学に分数拡散過程を利用する,最初の連続時間スコアベース生成モデルを導入する。 実画像データを用いた評価では,GFDMはFIDが低い値で示されるように,画素幅の多様性と画質の向上を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:53:24Z)
• Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion Processes [57.396578974401734]
  一般多様体上に生成拡散過程を構築するための原理的枠組みを導入する。 従来の拡散モデルの認知的アプローチに従う代わりに、橋梁プロセスの混合を用いて拡散過程を構築する。 混合過程を幾何学的に理解し,データ点への接する方向の重み付け平均としてドリフトを導出する。
  論文  参考訳（メタデータ） (2023-10-11T06:04:40Z)
• Mirror Diffusion Models for Constrained and Watermarked Generation [41.27274841596343]
  ミラー拡散モデル(MDM)は、トラクタビリティを損なうことなく凸制約セット上のデータを生成する新しい拡散モデルである。 安全とプライバシーのために、我々は、生成したデータに目に見えないが定量的な情報を埋め込む新しいメカニズムとして制約セットを探求する。 私たちの研究は、複雑なドメイン上での抽出可能な拡散を学習する新しいアルゴリズムの機会をもたらします。
  論文  参考訳（メタデータ） (2023-10-02T14:26:31Z)
• Lipschitz Singularities in Diffusion Models [64.28196620345808]
  拡散モデルは、零点付近の時間変数に関して、しばしばネットワークの無限のリプシッツ特性を示す。 ゼロ点近傍の拡散モデルのリプシッツ特異点を緩和する新しい手法 E-TSDM を提案する。 我々の研究は、一般拡散過程の理解を深め、拡散モデルの設計に関する洞察を提供するかもしれない。
  論文  参考訳（メタデータ） (2023-06-20T03:05:28Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• COMET Flows: Towards Generative Modeling of Multivariate Extremes and Tail Dependence [13.041607703862724]
  COMETフローは, 関節分布のモデル化過程を, (i) 境界分布のモデル化, (ii) コーパス分布のモデル化の2つの部分に分割する。 合成データセットと実世界のデータセットの結果から,COMETフローの有効性が示された。
  論文  参考訳（メタデータ） (2022-05-02T21:37:54Z)
• Generative Ensemble Regression: Learning Particle Dynamics from Observations of Ensembles with Physics-Informed Deep Generative Models [27.623119767592385]
  本稿では,離散時間とスパース時間で粒子アンサンブルを観測することにより,支配する常微分方程式(SODE)を推定する新しい手法を提案する。 パーティクル座標は、スナップショット毎に記録されるが、スナップショット全体では再生されない。 サンプル経路を生成する物理インフォームド生成モデルを訓練することにより、観測された粒子アンサンブル分布を確率測定空間内の曲線に適合させることを目指す。
  論文  参考訳（メタデータ） (2020-08-05T03:06:40Z)
• Targeted free energy estimation via learned mappings [66.20146549150475]
  自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。 FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。 目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
  論文  参考訳（メタデータ） (2020-02-12T11:10:00Z)
• 'Place-cell' emergence and learning of invariant data with restricted Boltzmann machines: breaking and dynamical restoration of continuous symmetries in the weight space [0.0]
  本稿では,表現学習のためのニューラルネットワークパラダイムである拘束ボルツマンマシン(RBM)の学習力学について検討する。 ネットワーク重みのランダムな構成から学習が進むにつれて、対称性を破る現象の存在が示される。 この対称性を破る現象は、トレーニングに利用できるデータの量がいくつかの臨界値を超える場合にのみ起こる。
  論文  参考訳（メタデータ） (2019-12-30T14:37:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。