論文の概要: Universal representation by Boltzmann machines with Regularised Axons

• arxiv url: http://arxiv.org/abs/2310.14395v2
• Date: Thu, 30 Nov 2023 23:14:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 17:46:42.157966
• Title: Universal representation by Boltzmann machines with Regularised Axons
• Title（参考訳）: 正則化軸索を持つボルツマン機械による普遍表現
• Authors: Przemys{\l}aw R. Grzybowski, Antoni Jankiewicz, Eloy Pi\~nol, David Cirauqui, Dorota H. Grzybowska, Pawe{\l} M. Petrykowski, Miguel \'Angel Garc\'ia-March, Maciej Lewenstein, Gorka Mu\~noz-Gil, Alejandro Pozas-Kerstjens
• Abstract要約: 正規化されたボルツマンマシンは任意の分布を表現できることを示す。 また、正規化されたボルツマンマシンは、任意の相関した多くの可視パターンを完全検索で指数関数的に保存できることを示す。
• 参考スコア（独自算出の注目度）: 34.337412054122076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is widely known that Boltzmann machines are capable of representing arbitrary probability distributions over the values of their visible neurons, given enough hidden ones. However, sampling -- and thus training -- these models can be numerically hard. Recently we proposed a regularisation of the connections of Boltzmann machines, in order to control the energy landscape of the model, paving a way for efficient sampling and training. Here we formally prove that such regularised Boltzmann machines preserve the ability to represent arbitrary distributions. This is in conjunction with controlling the number of energy local minima, thus enabling easy \emph{guided} sampling and training. Furthermore, we explicitly show that regularised Boltzmann machines can store exponentially many arbitrarily correlated visible patterns with perfect retrieval, and we connect them to the Dense Associative Memory networks.
• Abstract（参考訳）: ボルツマンマシンは、十分に隠れているニューロンを与えられた可視ニューロンの値に対して任意の確率分布を表現することができることが広く知られている。 しかし、サンプリング、つまりトレーニング -- これらのモデルは数値的に困難である。 近年,Boltzmann マシンの接続を正規化して,モデルのエネルギー環境を制御し,効率的なサンプリングとトレーニングを行う方法を提案する。 ここでは、そのような正規化ボルツマン機械が任意の分布を表現することができることを正式に証明する。 これは、エネルギーローカルミニマの数を制御することで、簡単な \emph{guided}サンプリングとトレーニングを可能にする。 さらに,正規化ボルツマンマシンが指数関数的に多数の相互関係のある可視パターンを完全検索で保存できることを明示的に示し,それらを密結合メモリネットワークに接続する。

関連論文リスト

• Representing Arbitrary Ground States of Toric Code by Restricted Boltzmann Machine [0.23408308015481666]
  隠れたニューロンと可視ニューロンの局所的接続のみを有する制限ボルツマンマシンによるトーリック符号基底状態の表現可能性の解析を行った。 我々は制限ボルツマン機械を改良し、効率的な非局所接続を導入することで任意の基底状態に適応する。
  論文  参考訳（メタデータ） (2024-07-01T16:44:43Z)
• Transferable Boltzmann Generators [6.36887173111677]
  化学空間をまたいで移動可能なボルツマン発生器のための第1の枠組みを提案する。 提案アーキテクチャは, 単一分子系で訓練されたボルツマン発生器の効率を向上させる。
  論文  参考訳（メタデータ） (2024-06-20T15:50:12Z)
• Monotone deep Boltzmann machines [86.50247625239406]
  ディープボルツマンマシン(Deep Boltzmann Machine、DBM)は、双対エネルギー関数によって制御される多層確率モデルである。 我々は,各層で任意の自己接続が可能な新しい制限モデルであるモノトンDBMを開発した。 アクティベーションの特定の選択が、変動平均場解を与える固定点反復をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-11T03:02:44Z)
• Analogy between Boltzmann machines and Feynman path integrals [0.0]
  ボルツマンマシンとファインマン経路積分形式の間の接続の詳細な説明を提供する。 我々はボルツマンマシンとファインマンパス積分記述の両方に適用可能な一般的な量子回路モデルを提供することができる。
  論文  参考訳（メタデータ） (2023-01-15T23:54:21Z)
• Gating Dropout: Communication-efficient Regularization for Sparsely Activated Transformers [78.77361169167149]
  本稿では,トークンがゲーティングネットワークを無視してローカルマシンに留まることを可能にするEmphGating Dropoutを提案する。 従来のドロップアウトと同様に、Gating Dropoutはトレーニング中に正規化効果があり、その結果、一般化性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-28T05:12:43Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)
• Defence against adversarial attacks using classical and quantum-enhanced Boltzmann machines [64.62510681492994]
  生成モデルはデータセットの基盤となる分布を学習し、それらは本質的に小さな摂動に対してより堅牢である。 MNISTデータセット上のBoltzmannマシンによる攻撃に対して、5%から72%の改良が見られる。
  論文  参考訳（メタデータ） (2020-12-21T19:00:03Z)
• Generative Semantic Hashing Enhanced via Boltzmann Machines [61.688380278649056]
  既存の生成ハッシュ法は、主に後部分布の分解形式を仮定する。 本稿では,ボルツマンマシンの分布を検索後部として利用することを提案する。 ハッシュコード内の異なるビット間の相関関係を効果的にモデル化することにより、我々のモデルは大幅な性能向上を達成できることを示す。
  論文  参考訳（メタデータ） (2020-06-16T01:23:39Z)
• Entropy, Free Energy, and Work of Restricted Boltzmann Machines [0.08594140167290096]
  我々は統計物理学の文脈で制限されたボルツマンマシンの訓練過程を分析する。 トレーニングが進むにつれて,エントロピーのサブ付加性を通じて,可視層と隠蔽層との相関関係が成長することを示す。 本稿では,作業の指数関数の経路平均と学習前後の自由エネルギーの差を結合するジャージンスキー等式について論じる。
  論文  参考訳（メタデータ） (2020-04-10T04:16:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。