論文の概要: Demolition and Reinforcement of Memories in Spin-Glass-like Neural
Networks
- arxiv url: http://arxiv.org/abs/2403.02537v1
- Date: Mon, 4 Mar 2024 23:12:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 16:37:01.820733
- Title: Demolition and Reinforcement of Memories in Spin-Glass-like Neural
Networks
- Title(参考訳): スピングラス型ニューラルネットワークにおける記憶の破壊と強化
- Authors: Enrico Ventura
- Abstract要約: この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。
構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。
Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Statistical mechanics has made significant contributions to the study of
biological neural systems by modeling them as recurrent networks of
interconnected units with adjustable interactions. Several algorithms have been
proposed to optimize the neural connections to enable network tasks such as
information storage (i.e. associative memory) and learning probability
distributions from data (i.e. generative modeling). Among these methods, the
Unlearning algorithm, aligned with emerging theories of synaptic plasticity,
was introduced by John Hopfield and collaborators. The primary objective of
this thesis is to understand the effectiveness of Unlearning in both
associative memory models and generative models. Initially, we demonstrate that
the Unlearning algorithm can be simplified to a linear perceptron model which
learns from noisy examples featuring specific internal correlations. The
selection of structured training data enables an associative memory model to
retrieve concepts as attractors of a neural dynamics with considerable basins
of attraction. Subsequently, a novel regularization technique for Boltzmann
Machines is presented, proving to outperform previously developed methods in
learning hidden probability distributions from data-sets. The Unlearning rule
is derived from this new regularized algorithm and is showed to be comparable,
in terms of inferential performance, to traditional Boltzmann-Machine learning.
- Abstract(参考訳): 統計力学は生物神経系の研究に重要な貢献をしており、それらを相互接続された単位のリカレントネットワークと調整可能な相互作用としてモデル化している。
情報ストレージ(連想記憶)やデータ(生成モデリング)からの確率分布の学習などのネットワークタスクを可能にするために、ニューラルネットワークを最適化するアルゴリズムが提案されている。
これらの手法の中で、アンラーニングアルゴリズムは、ジョン・ホプフィールドと共同研究者によって導入されたシナプス可塑性の新たな理論と一致している。
この論文の主な目的は、連想記憶モデルと生成モデルの両方におけるアンラーニングの有効性を理解することである。
最初,Unlearningアルゴリズムを線形パーセプトロンモデルに単純化し,特定の内部相関を特徴とする雑音のある例から学習できることを実証した。
構造化トレーニングデータの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。
その後、ボルツマンマシンの新しい正規化手法が提示され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
unlearningルールは、この新しい正規化アルゴリズムから派生したもので、一般的なボルツマン・マシン・ラーニングと同等の性能であることが示されている。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - An effective theory of collective deep learning [1.3812010983144802]
我々は、近年の分散化アルゴリズムを凝縮する最小限のモデルを導入する。
線形ネットワークの有効理論を導出し、我々のシステムの粗粒度挙動が変形したギンズバーグ・ランダウモデルと等価であることを示す。
MNISTデータセットで訓練された現実的なニューラルネットワークの結合アンサンブルで理論を検証した。
論文 参考訳(メタデータ) (2023-10-19T14:58:20Z) - Neural Koopman prior for data assimilation [6.699751896019971]
ニューラルネットワークアーキテクチャを使って、潜在空間に動的システムを埋め込む。
本研究では,このようなモデルを長期の継続的再構築のために訓練する手法を提案する。
また,変動データ同化手法の先行として,訓練された動的モデルの有望な利用を示すとともに,自己教師型学習の可能性も示された。
論文 参考訳(メタデータ) (2023-09-11T09:04:36Z) - Understanding Activation Patterns in Artificial Neural Networks by
Exploring Stochastic Processes [0.0]
我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。
我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。
各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
論文 参考訳(メタデータ) (2023-08-01T22:12:30Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳(メタデータ) (2022-02-21T18:59:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Learning Neural Causal Models with Active Interventions [83.44636110899742]
本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。
本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。
シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-06T13:10:37Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳(メタデータ) (2020-12-15T16:29:49Z) - Learning Queuing Networks by Recurrent Neural Networks [0.0]
データから性能モデルを導出する機械学習手法を提案する。
我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。
これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
論文 参考訳(メタデータ) (2020-02-25T10:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。