論文の概要: Learning with Restricted Boltzmann Machines: Asymptotics of AMP and GD in High Dimensions

• arxiv url: http://arxiv.org/abs/2505.18046v1
• Date: Fri, 23 May 2025 15:51:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.206207
• Title: Learning with Restricted Boltzmann Machines: Asymptotics of AMP and GD in High Dimensions
• Title（参考訳）: 制限ボルツマンマシンによる学習:高次元におけるAMPとGDの漸近
• Authors: Yizhou Xu, Florent Krzakala, Lenka Zdeborová,
• Abstract要約: Restricted Boltzmann Machine (RBM) は、入力分布を学習できる最も単純な生成ニューラルネットワークの1つである。 我々は、標準的なRBMトレーニング目標を、非分離正則化を伴うマルチインデックスモデルと同等の形式に単純化する。 特に, RBM が BBP 遷移と整合して, 最適計算弱回復しきい値に達することを示す。
• 参考スコア（独自算出の注目度）: 31.75902683077129
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Restricted Boltzmann Machine (RBM) is one of the simplest generative neural networks capable of learning input distributions. Despite its simplicity, the analysis of its performance in learning from the training data is only well understood in cases that essentially reduce to singular value decomposition of the data. Here, we consider the limit of a large dimension of the input space and a constant number of hidden units. In this limit, we simplify the standard RBM training objective into a form that is equivalent to the multi-index model with non-separable regularization. This opens a path to analyze training of the RBM using methods that are established for multi-index models, such as Approximate Message Passing (AMP) and its state evolution, and the analysis of Gradient Descent (GD) via the dynamical mean-field theory. We then give rigorous asymptotics of the training dynamics of RBM on data generated by the spiked covariance model as a prototype of a structure suitable for unsupervised learning. We show in particular that RBM reaches the optimal computational weak recovery threshold, aligning with the BBP transition, in the spiked covariance model.
• Abstract（参考訳）: Restricted Boltzmann Machine (RBM) は、入力分布を学習できる最も単純な生成ニューラルネットワークの1つである。 その単純さにもかかわらず、トレーニングデータから学習する際のその性能の分析は、本質的にデータの特異値分解に還元される場合にのみよく理解されている。 ここでは、入力空間の大きい次元と一定の数の隠れ単位の極限を考える。 この制限では、標準的なRBMトレーニング目標を、非分離正則化を持つマルチインデックスモデルと同等の形式に単純化する。 これは、近似メッセージパッシング(AMP)とその状態進化のようなマルチインデックスモデルのために確立された手法と、動的平均場理論によるグラディエント・ディクセント(GD)の解析を用いて、RBMのトレーニングを分析する道を開く。 次に、教師なし学習に適した構造のプロトタイプとして、スパイク共分散モデルによって生成されたデータに基づいて、RBMのトレーニング力学の厳密な漸近性を与える。 特に, スパイク共分散モデルにおいて, RBM が BBP 遷移と整合して, 最適計算弱回復しきい値に達することを示す。

関連論文リスト

• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
  本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。 この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
  論文  参考訳（メタデータ） (2024-10-02T17:53:23Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• The twin peaks of learning neural networks [3.382017614888546]
  近年の研究では、ニューラルネットワークの一般化誤差に対する二重発光現象の存在が示されている。 この現象とニューラルネットワークで表される関数の複雑さと感度の増大との関係について検討する。
  論文  参考訳（メタデータ） (2024-01-23T10:09:14Z)
• Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
  本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。 本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-29T04:15:58Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models [32.52492468276371]
  本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。 Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。 実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
  論文  参考訳（メタデータ） (2022-08-30T10:28:50Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。