論文の概要: Attention in a family of Boltzmann machines emerging from modern Hopfield networks

• arxiv url: http://arxiv.org/abs/2212.04692v1
• Date: Fri, 9 Dec 2022 06:52:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 14:02:32.142009
• Title: Attention in a family of Boltzmann machines emerging from modern Hopfield networks
• Title（参考訳）: 近代ホップフィールドネットワークから出現するボルツマンマシン群における注意
• Authors: Toshihiro Ota, Ryo Karakida
• Abstract要約: ボルツマンマシン(Boltzmann Machine, BM)は、エネルギーベースのニューラルネットワークモデルである。 最近のホップフィールドネットワークの研究はエネルギー関数のクラスを広げている。 我々は、関連するエネルギー関数を用いて、現代のホップフィールドネットワークのBM対について検討する。
• 参考スコア（独自算出の注目度）: 6.624726878647541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hopfield networks and Boltzmann machines (BMs) are fundamental energy-based neural network models. Recent studies on modern Hopfield networks have broaden the class of energy functions and led to a unified perspective on general Hopfield networks including an attention module. In this letter, we consider the BM counterparts of modern Hopfield networks using the associated energy functions, and study their salient properties from a trainability perspective. In particular, the energy function corresponding to the attention module naturally introduces a novel BM, which we refer to as attentional BM (AttnBM). We verify that AttnBM has a tractable likelihood function and gradient for a special case and is easy to train. Moreover, we reveal the hidden connections between AttnBM and some single-layer models, namely the Gaussian--Bernoulli restricted BM and denoising autoencoder with softmax units. We also investigate BMs introduced by other energy functions, and in particular, observe that the energy function of dense associative memory models gives BMs belonging to Exponential Family Harmoniums.
• Abstract（参考訳）: ホップフィールドネットワークとボルツマンマシン(BM)は基本的なエネルギーベースニューラルネットワークモデルである。 最近のホップフィールドネットワークの研究はエネルギー関数のクラスを広げ、アテンションモジュールを含む一般ホップフィールドネットワークの統一的な視点をもたらした。 この書簡では、関連するエネルギー関数を用いた現代のホップフィールドネットワークのbm対応を考察し、訓練可能性の観点からそれらのサルエント特性について考察する。 特に、注意モジュールに対応するエネルギー関数は、注目BM(AttnBM)と呼ばれる新しいBMを自然に導入する。 我々は,attnbmが特別な場合に対して可搬的確率関数と勾配を持ち,訓練が容易であることを検証した。 さらに,AttnBMといくつかの単一層モデル,すなわちガウス・ベルヌーリ限定BMとソフトマックスユニットによる自動エンコーダの隠蔽接続を明らかにする。 また、他のエネルギー関数によって導入されたbmsについても検討し、特に、密結合記憶モデルのエネルギー関数が指数関数系ハーモニウムに属するbmsを与えることを観察する。

関連論文リスト

• Hitchhiker's guide on Energy-Based Models: a comprehensive review on the relation with other generative models, sampling and statistical physics [0.0]
  エネルギーベースモデル(EBM)は、生成モデリングの領域において強力なフレームワークとして登場した。 このレビューは、物理学者にESMの包括的理解を提供し、他の生成モデルとの関係を説明することを目的としている。
  論文  参考訳（メタデータ） (2024-06-19T16:08:00Z)
• Neural network backflow for ab-initio quantum chemistry [0.0]
  ニューラルネットワークのバックフロー波動関数を用いて,分子ハミルトニアンの最先端エネルギーを実現する方法を示す。 私たちが研究した分子では、NNBFはCCSDや他のニューラルネットワーク量子状態よりも低いエネルギー状態を与える。
  論文  参考訳（メタデータ） (2024-03-05T19:37:21Z)
• Multilinear Operator Networks [60.7432588386185]
  ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。 マルチリニア演算子のみに依存するMONetを提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:52:19Z)
• On Feature Diversity in Energy-based Models [98.78384185493624]
  エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。 EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
  論文  参考訳（メタデータ） (2023-06-02T12:30:42Z)
• Energy Transformer [64.22957136952725]
  我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-14T18:51:22Z)
• Many-body localized hidden generative models [1.7833229323127784]
  マルチボディローカライズドマシン(MBL)と呼ばれる新しいアーキテクチャを提案する。 隠れたユニットは、システムのトレーニング性を高める効果的な熱浴として機能することを示す。 我々は、MBL隠されたBornマシンが様々なタスクを学習できることを数値的に示す。
  論文  参考訳（メタデータ） (2022-07-05T22:38:35Z)
• Representation Theorem for Matrix Product States [1.7894377200944511]
  本稿では, 行列積状態(MPS)の普遍的表現能力について, 関数と連続関数の観点から検討する。 任意のゲートに対して対応するMPS構造の構築方法を提供することにより、MPSが任意の機能を正確に実現できることを示した。 我々は,MPSとニューラルネットワークの関係について検討し,スケール不変なシグモダル関数を持つMPSが一層ニューラルネットワークと等価であることを示す。
  論文  参考訳（メタデータ） (2021-03-15T11:06:54Z)
• Variational Monte Carlo calculations of $\mathbf{A\leq 4}$ nuclei with an artificial neural-network correlator ansatz [62.997667081978825]
  光核の基底状態波動関数をモデル化するためのニューラルネットワーク量子状態アンサッツを導入する。 我々は、Aleq 4$核の結合エネルギーと点核密度を、上位のピオンレス実効場理論から生じるものとして計算する。
  論文  参考訳（メタデータ） (2020-07-28T14:52:28Z)
• Learning Latent Space Energy-Based Prior Model [118.86447805707094]
  我々はジェネレータモデルの潜在空間でエネルギーベースモデル(EBM)を学習する。 学習したモデルが画像やテキストの生成や異常検出の点で強い性能を示すことを示す。
  論文  参考訳（メタデータ） (2020-06-15T08:11:58Z)
• Exact representations of many body interactions with RBM neural networks [77.34726150561087]
  我々は、RBMの表現力を利用して、多体接触相互作用を1体演算子に正確に分解する。 この構成は、ハバードモデルでよく知られたヒルシュの変換を、核物理学におけるピオンレスFTのようなより複雑な理論に一般化する。
  論文  参考訳（メタデータ） (2020-05-07T15:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。