論文の概要: Unsupervised and Supervised learning by Dense Associative Memory under
replica symmetry breaking
- arxiv url: http://arxiv.org/abs/2312.09638v1
- Date: Fri, 15 Dec 2023 09:27:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 16:25:50.081718
- Title: Unsupervised and Supervised learning by Dense Associative Memory under
replica symmetry breaking
- Title（参考訳）: 複製対称性の破れ下における密結合メモリによる教師なし・教師なし学習
- Authors: Linda Albanese, Andrea Alessandrelli, Alessia Annibale, Adriano Barra
- Abstract要約: マルチノード相互作用を持つヘビアン誘引ネットワークは、多くのタスクにおいて古典的なペアワイズよりも優れていることが示されている。
我々はこれらの連想記憶のための教師あり教師なし学習プロトコルの1段階の分解-複製-対称性図を導出する。
- 参考スコア（独自算出の注目度）: 0.24999074238880487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Statistical mechanics of spin glasses is one of the main strands toward a
comprehension of information processing by neural networks and learning
machines. Tackling this approach, at the fairly standard replica symmetric
level of description, recently Hebbian attractor networks with multi-node
interactions (often called Dense Associative Memories) have been shown to
outperform their classical pairwise counterparts in a number of tasks, from
their robustness against adversarial attacks and their capability to work with
prohibitively weak signals to their supra-linear storage capacities. Focusing
on mathematical techniques more than computational aspects, in this paper we
relax the replica symmetric assumption and we derive the one-step
broken-replica-symmetry picture of supervised and unsupervised learning
protocols for these Dense Associative Memories: a phase diagram in the space of
the control parameters is achieved, independently, both via the Parisi's
hierarchy within then replica trick as well as via the Guerra's telescope
within the broken-replica interpolation. Further, an explicit analytical
investigation is provided to deepen both the big-data and ground state limits
of these networks as well as a proof that replica symmetry breaking does not
alter the thresholds for learning and slightly increases the maximal storage
capacity. Finally the De Almeida and Thouless line, depicting the onset of
instability of a replica symmetric description, is also analytically derived
highlighting how, crossed this boundary, the broken replica description should
be preferred.
- Abstract（参考訳）: スピングラスの統計力学は、ニューラルネットワークや学習機械による情報処理の理解に向けた主要な要素の1つである。
このアプローチをかなり標準的なレプリカ対称な記述レベルで取り組むことで、最近、多ノード相互作用(しばしば密結合記憶と呼ばれる)を持つヘビーアトラクタネットワークは、敵の攻撃に対する頑健さや、超線形記憶容量に対する制限的に弱い信号を扱う能力から、多くのタスクにおいて、古典的なペアワイズアトラクタネットワークよりも優れていることが示されている。
計算的側面よりも数学的手法に焦点をあてて、我々はレプリカ対称性の仮定を緩和し、これらのDense Associative Memoriesに対する教師付きおよび教師なし学習プロトコルの一段階の破壊レプリカ対称性の図を導出する:制御パラメータの空間における位相図は、パリの階層と、分解レプリカ補間におけるゲラの望遠鏡を通して独立に達成される。
さらに、これらのネットワークのビッグデータおよび基底状態の限界を深くし、また、複製対称性の破れが学習のしきい値を変えず、最大記憶容量をわずかに増加させる証拠を明示的な分析研究として提供する。
最後に、レプリカ対称記述の不安定な開始を描写した de almeida と thouless の線は、この境界を越え、どのように破られたレプリカ記述が望ましいかを分析的に導出する。
関連論文リスト
- Fundamental operating regimes, hyper-parameter fine-tuning and glassiness: towards an interpretable replica-theory for trained restricted Boltzmann machines [0.0]
本稿では,二つの可視層を持つボルツマンマシンと,単一基底パターンの雑音的現実化からなる乱れのないデータセットによって訓練されたガウス的隠れ層を考える。
本稿では,ネットワーク生成能力を記述するための統計力学フレームワークを開発し,レプリカのトリックを活用し,基礎となる順序パラメータの自己評価を仮定する。
論文 参考訳（メタデータ） (2024-06-14T11:12:00Z) - Symmetry-protection Zeno phase transition in monitored lattice gauge theories [0.0]
保護ゲージ理論と不規則状態の間の測定速度によって引き起こされる急激な遷移の存在を示す。
我々の結果は、強い相互作用を持つ高制約量子系の散逸臨界性に光を当てた。
論文 参考訳（メタデータ） (2024-05-28T18:18:06Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳（メタデータ） (2023-10-09T20:22:43Z) - Statistical Mechanics of Learning via Reverberation in Bidirectional
Associative Memories [0.0]
ランダムなアーチタイプのノイズに曝される双方向連想ニューラルネットワークについて検討する。
この設定では、学習はヘテロアソシエイトな -- パターンのカップルを含む -- であり、サンプルから表現された情報をリバーバリングすることで達成される。
論文 参考訳（メタデータ） (2023-07-17T10:04:04Z) - Long Sequence Hopfield Memory [32.28395813801847]
シーケンスメモリは、エージェントが複雑な刺激や行動のシーケンスをエンコードし、保存し、取り出すことを可能にする。
非線形相互作用項を導入し、パターン間の分離を強化する。
このモデルを拡張して、状態遷移間の変動タイミングでシーケンスを格納する。
論文 参考訳（メタデータ） (2023-06-07T15:41:03Z) - Annihilation of Spurious Minima in Two-Layer ReLU Networks [9.695960412426672]
正方形損失に対する2層ReLUニューラルネットワークの適合に関する最適化問題について検討する。
ニューロンを追加することで、対称的な刺激性のミニマをサドルに変えることができる。
また、損失関数の対称性構造から生じるある種の部分空間における降下方向の存在を証明した。
論文 参考訳（メタデータ） (2022-10-12T11:04:21Z) - Symmetric Pruning in Quantum Neural Networks [111.438286016951]
量子ニューラルネットワーク(QNN)は、現代の量子マシンの力を発揮する。
ハンドクラフト対称アンサーゼを持つQNNは、一般に非対称アンサーゼを持つものよりも訓練性が高い。
本稿では,QNNのグローバル最適収束を定量化するために,実効量子ニューラルネットワークカーネル(EQNTK)を提案する。
論文 参考訳（メタデータ） (2022-08-30T08:17:55Z) - Boundary theories of critical matchgate tensor networks [59.433172590351234]
AdS/CFT対応の重要な側面は、双曲格子上のテンソルネットワークモデルの観点から捉えることができる。
マッチゲート制約を満たすテンソルに対しては、これらは以前、乱れた境界状態を生成することが示されている。
これらのハミルトニアンは、解析的な玩具モデルによって捉えられたマルチスケールの準周期対称性を示す。
論文 参考訳（メタデータ） (2021-10-06T18:00:03Z) - Sampling asymmetric open quantum systems for artificial neural networks [77.34726150561087]
非対称な開系に対する高速収束時間と高いスケーラビリティを実現し,非対称性を考慮したハイブリッドサンプリング戦略を提案する。
我々は、ニューラルネットワークの普遍的適用性を強調し、ニューラルネットワークの普遍的適用性を概説する。
論文 参考訳（メタデータ） (2020-12-20T18:25:29Z) - Asymmetric GANs for Image-to-Image Translation [62.49892218126542]
GAN(Generative Adversarial Networks)の既存のモデルは、サイクル一貫性損失を使用して、ソースドメインからターゲットドメインへのマッピングを学習する。
非対称GANモデルを提案し、不等サイズと異なるパラメータ共有戦略の変換と再構成の両方を行う。
8つのデータセットを用いた教師付きおよび教師なし生成タスクの実験は、非対称GANが優れたモデルキャパシティとより良い生成性能を達成することを示す。
論文 参考訳（メタデータ） (2019-12-14T21:24:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。