論文の概要: Dense Hopfield Networks in the Teacher-Student Setting
- arxiv url: http://arxiv.org/abs/2401.04191v1
- Date: Mon, 8 Jan 2024 19:06:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 18:33:33.938740
- Title: Dense Hopfield Networks in the Teacher-Student Setting
- Title（参考訳）: 教師-学生設定におけるDense Hopfield Networks
- Authors: Robin Th\'eriault and Daniele Tantari
- Abstract要約: 教師による教師なし学習問題の設定において, p-body Hopfield ネットワークの位相図について検討した。
教師-学生設定の常磁性-強磁性遷移は、直接モデルの常磁性-スピングラス遷移と一致することがわかった。
本研究では, 大規模ニューラルネットワークで観測されたパラメータ数とロバスト性との正の相関関係を, ゼロ温度での学生の対角的ロバスト性を測定するクローズドフォーム式を導出した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dense Hopfield networks are known for their feature to prototype transition
and adversarial robustness. However, previous theoretical studies have been
mostly concerned with their storage capacity. We bridge this gap by studying
the phase diagram of p-body Hopfield networks in the teacher-student setting of
an unsupervised learning problem, uncovering ferromagnetic phases reminiscent
of the prototype and feature learning regimes. On the Nishimori line, we find
the critical size of the training set necessary for efficient pattern
retrieval. Interestingly, we find that that the paramagnetic to ferromagnetic
transition of the teacher-student setting coincides with the paramagnetic to
spin-glass transition of the direct model, i.e. with random patterns. Outside
of the Nishimori line, we investigate the learning performance in relation to
the inference temperature and dataset noise. Moreover, we show that using a
larger p for the student than the teacher gives the student an extensive
tolerance to noise. We then derive a closed-form expression measuring the
adversarial robustness of such a student at zero temperature, corroborating the
positive correlation between number of parameters and robustness observed in
large neural networks. We also use our model to clarify why the prototype phase
of modern Hopfield networks is adversarially robust.
- Abstract（参考訳）: デンスホップフィールドネットワークは、プロトタイプの移行と敵の堅牢性に特徴があることで知られている。
しかし、以前の理論的研究は主に貯蔵能力に関するものだった。
そこで,p-body hopfieldネットワークの位相図を教師が教師に指導しない学習問題の設定で検討し,プロトタイプを想起させる強磁性相と特徴学習態様を明らかにすることで,このギャップを解消した。
西森線では,効率的なパターン検索に必要なトレーニングセットの臨界サイズが分かる。
興味深いことに、教師-学生設定の常磁性から強磁性への遷移は、直接モデルの常磁性からスピングラスへの移行、すなわちランダムなパターンと一致する。
西森線以外では,推測温度とデータセット雑音との関係について学習性能について検討する。
さらに,教師よりも大きなpを学生に与えることで,学生は騒音に対する寛容感を広く得ることを示す。
次に, ゼロ温度における学生の対角強靭性を測定し, 大規模ニューラルネットワークで観測されたパラメータ数と頑健性との正の相関を相関づけた。
また,このモデルを用いて,現代のホップフィールドネットワークのプロトタイプフェーズが反抗的ロバストである理由を明らかにする。
関連論文リスト
- Faithful Label-free Knowledge Distillation [8.572967695281054]
本稿では,中期教師(TinTeM)と呼ばれるラベルフリーな知識蒸留手法を提案する。
より忠実な学生を生み出し、教師ネットワークの振る舞いをよりよく再現し、モデルの堅牢性、一般化可能性、アウト・オブ・ディストリビューション検出などをテストする。
論文 参考訳（メタデータ） (2024-11-22T01:48:44Z) - Explosive neural networks via higher-order interactions in curved statistical manifolds [43.496401697112695]
我々は、高次現象を研究するためのプロトタイプモデルのクラスとして、曲面ニューラルネットワークを紹介した。
これらの曲線ニューラルネットワークは、メモリ検索を高速化する自己制御プロセスを実装している。
論文 参考訳（メタデータ） (2024-08-05T09:10:29Z) - Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
我々は、失われたヘッセンのレンズを通して風景を研究する。
我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。
ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
論文 参考訳（メタデータ） (2024-02-27T12:28:01Z) - Hebbian Learning from First Principles [0.0]
我々は、そのハミルトン的表現を教師なしおよび教師なしのプロトコルに仮定する。
エントロピー拡大力ネットワークにおけるラグランジアン制約がニューラル相関に与える影響を示す。
指数ホップフィールドモデル(密度のばらつきに富んだ高密度ネットワークの限界として)や半教師付きプロトコルについても言及する。
論文 参考訳（メタデータ） (2024-01-13T16:19:49Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳（メタデータ） (2023-12-04T01:32:42Z) - Tipping Points of Evolving Epidemiological Networks: Machine
Learning-Assisted, Data-Driven Effective Modeling [0.0]
適応型感受性感染症(SIS)疫学ネットワークのチップポイント集団動態を,データ駆動型機械学習支援方式で検討した。
複素実効微分方程式(eSDE)を物理的に有意な粗い平均場変数で同定する。
本研究では, 頻繁な現象の統計を, 繰り返しブルート力シミュレーションと, 確立された数学的・計算ツールを用いて研究する。
論文 参考訳（メタデータ） (2023-11-01T19:33:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Emergence of a finite-size-scaling function in the supervised learning
of the Ising phase transition [0.7658140759553149]
強磁性イジングモデルにおける二相分類の教師付き学習と二階相転移の標準有限サイズスケーリング理論との関係について検討する。
1つの自由パラメータだけで、ネットワーク出力における普遍的な有限サイズスケーリング関数の出現を記述するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-10-01T12:34:12Z) - Phase Detection with Neural Networks: Interpreting the Black Box [58.720142291102135]
ニューラルネットワーク(NN)は通常、予測の背後にある推論に対する洞察を妨げます。
本研究では,1次元拡張スピンレスFermi-Hubbardモデルの位相を半充足で予測するために,NNのブラックボックスをいかに影響関数が解き放つかを示す。
論文 参考訳（メタデータ） (2020-04-09T17:45:45Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳（メタデータ） (2020-03-04T17:52:48Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。