論文の概要: A Dynamical Mean-Field Theory for Learning in Restricted Boltzmann Machines

• arxiv url: http://arxiv.org/abs/2005.01560v1
• Date: Mon, 4 May 2020 15:19:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 00:29:30.166799
• Title: A Dynamical Mean-Field Theory for Learning in Restricted Boltzmann Machines
• Title（参考訳）: 制限ボルツマン機械における学習のための動的平均場理論
• Authors: Burak \c{C}akmak and Manfred Opper
• Abstract要約: ボルツマンマシンにおける磁化計算のためのメッセージパッシングアルゴリズムを定義する。 安定性基準の下でのアルゴリズムのグローバル収束を証明し,数値シミュレーションとの良好な一致を示す収束率を計算する。
• 参考スコア（独自算出の注目度）: 2.8021833233819486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We define a message-passing algorithm for computing magnetizations in Restricted Boltzmann machines, which are Ising models on bipartite graphs introduced as neural network models for probability distributions over spin configurations. To model nontrivial statistical dependencies between the spins' couplings, we assume that the rectangular coupling matrix is drawn from an arbitrary bi-rotation invariant random matrix ensemble. Using the dynamical functional method of statistical mechanics we exactly analyze the dynamics of the algorithm in the large system limit. We prove the global convergence of the algorithm under a stability criterion and compute asymptotic convergence rates showing excellent agreement with numerical simulations.
• Abstract（参考訳）: 我々は、スピン構成上の確率分布のニューラルネットワークモデルとして導入された二部グラフ上のIsingモデルである制限ボルツマンマシンの磁化計算のためのメッセージパッシングアルゴリズムを定義する。 スピンのカップリング間の非自明な統計依存性をモデル化するために、矩形結合行列は任意の双回転不変なランダム行列アンサンブルから引き出されると仮定する。 統計力学の力学関数法を用いて,大規模システム限界におけるアルゴリズムの力学を正確に解析する。 安定基準の下でのアルゴリズムの大域収束を証明し,数値シミュレーションとよく一致した漸近収束率を計算する。

関連論文リスト

• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Simplex Random Features [53.97976744884616]
  ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。 我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。 ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
  論文  参考訳（メタデータ） (2023-01-31T18:53:39Z)
• Distributed Bayesian Learning of Dynamic States [65.7870637855531]
  提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。 逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
  論文  参考訳（メタデータ） (2022-12-05T19:40:17Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Statistical optimality and stability of tangent transform algorithms in logit models [6.9827388859232045]
  我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。 特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。 我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
  論文  参考訳（メタデータ） (2020-10-25T05:15:13Z)
• A Contour Stochastic Gradient Langevin Dynamics Algorithm for Simulations of Multi-modal Distributions [17.14287157979558]
  ビッグデータ統計学の学習のための適応重み付き勾配ランゲヴィン力学(SGLD)を提案する。 提案アルゴリズムは、CIFAR100を含むベンチマークデータセットで検証される。
  論文  参考訳（メタデータ） (2020-10-19T19:20:47Z)
• Estimation of sparse Gaussian graphical models with hidden clustering structure [8.258451067861932]
  隠れクラスタリング構造を持つスパースガウス図形モデルを推定するモデルを提案する。 対称なガウス・シーデルに基づく乗算器の交互方向法を開発した。 合成データと実データの両方に関する数値実験により,本モデルの有効性が示された。
  論文  参考訳（メタデータ） (2020-04-17T08:43:31Z)
• Analysis of Bayesian Inference Algorithms by the Dynamical Functional Approach [2.8021833233819486]
  学生自明なシナリオにおいて,大ガウス潜在変数モデルを用いて近似推論のアルゴリズムを解析する。 完全データモデルマッチングの場合、レプリカ法から派生した静的順序パラメータの知識により、効率的なアルゴリズム更新が得られる。
  論文  参考訳（メタデータ） (2020-01-14T17:22:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。