論文の概要: Unlocking the Power of Boltzmann Machines by Parallelizable Sampler and Efficient Temperature Estimation
- arxiv url: http://arxiv.org/abs/2512.02323v1
- Date: Tue, 02 Dec 2025 01:40:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-03 21:04:45.677576
- Title: Unlocking the Power of Boltzmann Machines by Parallelizable Sampler and Efficient Temperature Estimation
- Title（参考訳）: 並列化可能なサンプリング器と効率的な温度推定によるボルツマンマシンのアンロック
- Authors: Kentaro Kubo, Hayato Goto,
- Abstract要約: 我々は、SB(simulated bifurcation)と呼ばれる量子インスパイアされた最適化にインスパイアされた新しいボルツマンサンプリングを提案する。
LSBは、学習を妨げ、性能を低下させる出力ボルツマン分布の逆温度を制御することができる。
また,条件付き予測マッチング(CEM)と呼ばれる学習過程中の逆温度を効率的に推定する手法を開発した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Boltzmann machines (BMs) are powerful energy-based generative models, but their heavy training cost has largely confined practical use to Restricted BMs (RBMs) trained with an efficient learning method called contrastive divergence. More accurate learning typically requires Markov chain Monte Carlo (MCMC) Boltzmann sampling, but it is time-consuming due to the difficulty of parallelization for more expressive models. To address this limitation, we first propose a new Boltzmann sampler inspired by a quantum-inspired combinatorial optimization called simulated bifurcation (SB). This SB-inspired approach, which we name Langevin SB (LSB), enables parallelized sampling while maintaining accuracy comparable to MCMC. Furthermore, this is applicable not only to RBMs but also to BMs with general couplings. However, LSB cannot control the inverse temperature of the output Boltzmann distribution, which hinders learning and degrades performance. To overcome this limitation, we also developed an efficient method for estimating the inverse temperature during the learning process, which we call conditional expectation matching (CEM). By combining LSB and CEM, we establish an efficient learning framework for BMs with greater expressive power than RBMs. We refer to this framework as sampler-adaptive learning (SAL). SAL opens new avenues for energy-based generative modeling beyond RBMs.
- Abstract（参考訳）: ボルツマンマシン(BM)は強力なエネルギーベースの生成モデルであるが、その重い訓練コストは、対照的な発散(英語版)と呼ばれる効率的な学習法で訓練された制限付きBM(RBM)に大きく制限されている。
より正確な学習にはマルコフ連鎖モンテカルロ (MCMC) ボルツマンサンプリングが必要であるが、より表現力のあるモデルの並列化が困難であるため、時間を要する。
この制限に対処するために、まず、SB(simulated bifurcation)と呼ばれる量子インスパイアされた組合せ最適化にインスパイアされた新しいボルツマンサンプリングを提案する。
このSBインスパイアされたアプローチはLangevin SB(LSB)と呼ばれ、MCMCに匹敵する精度を維持しながら並列サンプリングを可能にする。
さらに、これはRBMだけでなく、一般結合を持つBMにも適用できる。
しかし、LSBは、学習を妨げ、性能を低下させる出力ボルツマン分布の逆温度を制御できない。
また,この制限を克服するために,条件付き予測マッチング (CEM) と呼ばれる学習過程における逆温度を効率的に推定する方法を開発した。
LSB と CEM を組み合わせることで,RBM よりも表現力の高い BM の効率的な学習フレームワークを確立する。
このフレームワークをサンプル適応学習(SAL)と呼ぶ。
SALは、RBM以外のエネルギーベースの生成モデリングのための新しい道を開く。
関連論文リスト
- Diabatic quantum annealing for training energy-based generative models [0.19116784879310023]
制限ボルツマンマシン(RBM)のようなエネルギーベースの生成モデルは、効果的なトレーニングのために非バイアスのボルツマンサンプルを必要とする。
我々は,アニールスケジュールと有効逆温度の関係を解析的に適用することにより,このボトルネックに対処する。
この法則を量子アニール器に実装することにより、温度制御されたボルツマンサンプルを得ることができ、より高速な収束と低い検証誤差でRBMトレーニングを可能にする。
論文 参考訳（メタデータ） (2025-09-11T11:47:33Z) - BoltzNCE: Learning Likelihoods for Boltzmann Generation with Stochastic Interpolants and Noise Contrastive Estimation [1.2874523233023452]
ボルツマン分布からの効率的なサンプリングは、分子のような複雑な物理系をモデル化する上で重要な課題である。
我々は、ノイズコントラスト推定(NCE)とスコアマッチングの両方を用いて、エネルギーベースモデル(EBM)を訓練する。
また,提案手法では,実効的な転送学習を行い,推論時に新しいシステムに一般化し,標準MDよりも少なくとも6倍の高速化を実現している。
論文 参考訳（メタデータ） (2025-07-01T15:18:28Z) - Light and Optimal Schrödinger Bridge Matching [67.93806073192938]
我々はSB(Schr"odinger Bridges)を学習するための新しい手法を提案し、それを textbf Schr"odinger Bridge matching と呼ぶ。
EOT/SBを学習するための最適橋梁マッチングは,最近発見されたエネルギーベースモデリング(EBM)の目標と一致することを示す。
我々は、Schr"odinger電位の混合パラメタライゼーションを用いて、実際に最適なマッチングを実現するための光解法(LightSB-Mと呼ぶ)を開発した。
論文 参考訳（メタデータ） (2024-02-05T17:17:57Z) - Learning Energy-based Model via Dual-MCMC Teaching [5.31573596283377]
最大推定量(MLE)を用いてエネルギーベースモデル(EBM)を学習する。
本稿では,エネルギーベースモデル(EBM)の基本学習問題について考察する。
論文 参考訳（メタデータ） (2023-12-05T03:39:54Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-05T00:23:34Z) - Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level
Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。
任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文 参考訳（メタデータ） (2023-07-27T04:27:26Z) - Guiding Energy-based Models via Contrastive Latent Variables [81.68492940158436]
エネルギーベースモデル(EBM)は、明示的な密度とアーキテクチャの柔軟性の両方を提供する一般的な生成フレームワークである。
EBMとGANのような生成フレームワークの間には、世代品質の点で大きなギャップがあることが多い。
コントラスト表現学習によるESM改善のための新しい効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T10:50:25Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z) - Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines [7.960229223744695]
標準勾配更新とオフグラディエント方向を適切に組み合わせることで、従来の勾配法よりもトレーニングを劇的に改善することを示す。
モードトレーニングと呼ばれるこのアプローチは、収束相対エントロピー(KL分散)の低下に加えて、より高速なトレーニングと安定性を促進する。
我々が提案するモードトレーニングは、任意の勾配法と組み合わせて適用でき、より一般的なエネルギーベースのニューラルネットワーク構造に容易に拡張できるため、非常に多用途である。
論文 参考訳（メタデータ） (2020-01-15T21:12:44Z) - Elastic Bulk Synchronous Parallel Model for Distributed Deep Learning [17.798727574458514]
提案モデルでは、トレーニング期間中に、トレーニングモデルの精度を犠牲にすることなく、より柔軟性と適応性を提供する。
実験により,提案したELASTICBSPモデルは従来のBSPよりも高速かつ高精度に収束することが確認された。
論文 参考訳（メタデータ） (2020-01-06T01:05:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。