論文の概要: Spherical Boltzmann machines: a solvable theory of learning and generation in energy-based models
- arxiv url: http://arxiv.org/abs/2605.09031v1
- Date: Sat, 09 May 2026 16:15:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.032175
- Title: Spherical Boltzmann machines: a solvable theory of learning and generation in energy-based models
- Title（参考訳）: 球型ボルツマン機械:エネルギーモデルにおける学習と生成の可解理論
- Abstract要約: エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にヒントを得たフレキシブルな生成アーキテクチャである。
球状ボルツマン機械(SBM)の高次元限界における可溶性ESMの解析
- 参考スコア（独自算出の注目度）: 3.661853317875675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Energy-based models (EBMs) are flexible generative architectures inspired by statistical physics, but their learning and generative properties remain poorly understood. Here, we analyze a solvable EBM in the high-dimensional limit: the spherical Boltzmann machine (SBM). Combining tools from random matrix theory and dynamical mean-field theory, we: solve exact equations describing the training dynamics of the SBM; compute the Bayesian evidence, which acts as a partition function in parameter space and encodes global properties of the trained model; and uncover cascades of phase transitions that occur both during training and as a function of hyperparameters, related to successive alignment and condensation of the top modes of the coupling matrix to the data. We connect these transitions to sampling-time generative phenomena in a teacher-student scenario, including: sampling temperature tuning, double descent as a function of regularization strength, tempered posterior effects, and out-of-equilibrium effects during training that induce biases in the trained model. We provide numerical evidence demonstrating that all these phenomena appear in standard generative architectures, beyond the SBM.
- Abstract（参考訳）: エネルギーベースモデル(EBM)は、統計物理学にインスパイアされた柔軟な生成アーキテクチャであるが、その学習と生成特性は未だよく理解されていない。
本稿では, 球状ボルツマン機械 (SBM) の高次元限界における可溶性ESMを解析する。
ランダム行列理論と動的平均場理論のツールを組み合わせることで、SBMのトレーニング力学を記述する正確な方程式を解き、パラメータ空間における分配関数として機能し、訓練されたモデルのグローバルな特性を符号化するベイズ証拠を計算し、また、結合行列の上位モードの連続的なアライメントとデータへの凝縮に関連する過度パラメータの関数として生じる位相遷移のカスケードを明らかにする。
教師・学生のシナリオにおいて、これらの遷移をサンプリング時間生成現象に結びつける。例えば、サンプリング温度チューニング、正規化強度の関数としての二重降下、誘引後効果、訓練モデルにおけるバイアスを誘発するトレーニング中の非平衡効果である。
これらの現象がSBM以外の標準生成アーキテクチャに現れることを示す数値的な証拠を提供する。
関連論文リスト
- EFF-Grasp: Energy-Field Flow Matching for Physics-Aware Dexterous Grasp Generation [54.09734511705173]
EFF-Graspは、物理を意識したデクサラスグリップ生成のためのフローマッチング合成ベースのフレームワークである。
我々は、スムーズな確率フローによる効率的な安定な生成を可能にする決定論的常微分方程式(ODE)プロセスとして、グリップを再構成する。
EFF-Graspは、拡散ベースラインよりもサンプリングステップを著しく少なくしながら、把握品質と物理的実現性において優れた性能を実現する。
論文 参考訳（メタデータ） (2026-03-17T06:11:56Z) - Introduction to Sachdev-Ye-Kitaev Model: A Strongly Correlated System Perspective [0.0]
SYK(Sachdev-Ye-Kitaev)モデルは、エキゾチックな強相関相を解析的に抽出可能なフレームワークを提供する。
このレビューは、SYK物理の教育的な紹介を提供し、テクストレンジ金属をモデル化するユニークな能力を強調している。
マヨラナ変種と複素フェルミオン変種を現代多体物理学の訓練場に変換する。
論文 参考訳（メタデータ） (2025-07-09T18:10:54Z) - Models of Heavy-Tailed Mechanistic Universality [62.107333654304014]
トレーニングニューラルネットワークにおける重み付け行動を引き起こす属性を探索するために,ランダム行列モデルのファミリーを提案する。
このモデルの下では、3つの独立した因子の組み合わせによって、尾翼の電力法則によるスペクトル密度が生じる。
ニューラルネットワークトレーニングの5段階以上において、ニューラルネットワークのスケーリング法則、軌道、および5段階以上の位相を含む重尾の出現に対する我々のモデルの影響について論じる。
論文 参考訳（メタデータ） (2025-06-04T00:55:01Z) - Energy Matching: Unifying Flow Matching and Energy-Based Models for Generative Modeling [5.787270247104665]
現在の最先端生成モデルは、フローやスコアの一致によって、ノイズをデータ分布にマッピングする。
本稿では,ESMの柔軟性を備えたフローベースアプローチを実現するフレームワークであるEnergy Matchingを提案する。
論文 参考訳（メタデータ） (2025-04-14T18:10:58Z) - Parametric model reduction of mean-field and stochastic systems via higher-order action matching [1.1509084774278489]
我々は、勾配と平均場効果を特徴とする物理系の人口動態のモデルを学ぶ。
提案手法は,幅広いパラメータの集団動態を正確に予測し,最先端拡散モデルおよびフローベースモデルより優れていることを示す。
論文 参考訳（メタデータ） (2024-10-15T19:05:28Z) - Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
論文 参考訳（メタデータ） (2024-09-05T18:14:22Z) - Event-Based Simulation of Stochastic Memristive Devices for Neuromorphic Computing [41.66366715982197]
イベントベースシステムのシミュレーションに適したメムリスタの一般モデルを構築した。
既存のmemristorの汎用モデルをイベント駆動設定に拡張する。
本稿では,イベントベースモデルのパラメータをドリフトモデルに適合させる手法を示す。
論文 参考訳（メタデータ） (2024-06-14T13:17:19Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - Physics-Integrated Variational Autoencoders for Robust and Interpretable
Generative Modeling [86.9726984929758]
我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。
本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。
合成および実世界のデータセットの集合に対して生成的性能改善を示す。
論文 参考訳（メタデータ） (2021-02-25T20:28:52Z) - A physics-informed operator regression framework for extracting
data-driven continuum models [0.0]
高忠実度分子シミュレーションデータから連続体モデルを発見するためのフレームワークを提案する。
提案手法は、モーダル空間における制御物理のニューラルネットワークパラメタライゼーションを適用する。
局所・非局所拡散過程や単相・多相流など,様々な物理分野におけるフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2020-09-25T01:13:51Z) - Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。
所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。
実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
論文 参考訳（メタデータ） (2020-03-06T23:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。