論文の概要: The Hidden-Manifold Hopfield Model and a learning phase transition

• arxiv url: http://arxiv.org/abs/2303.16880v1
• Date: Wed, 29 Mar 2023 17:39:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-30 13:45:45.007779
• Title: The Hidden-Manifold Hopfield Model and a learning phase transition
• Title（参考訳）: 隠れた多様体ホップフィールドモデルと学習相転移
• Authors: Matteo Negri, Clarissa Lauditi, Gabriele Perugini, Carlo Lucibello, Enrico Malatesta
• Abstract要約: ホップフィールドモデルは統計物理学における長年の伝統を持ち、理論が利用できる数少ないニューラルネットワークの1つである。 我々はHidden-Manifold Hopfield Modelと呼ぶ一般化ホップフィールドモデルを提案し,検討する。 レプリカ法を用いて、例に隠された因子が動的に惹きつけられる位相遷移を示すモデルのための位相図を得る。
• 参考スコア（独自算出の注目度）: 9.489398590336643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Hopfield model has a long-standing tradition in statistical physics, being one of the few neural networks for which a theory is available. Extending the theory of Hopfield models for correlated data could help understand the success of deep neural networks, for instance describing how they extract features from data. Motivated by this, we propose and investigate a generalized Hopfield model that we name Hidden-Manifold Hopfield Model: we generate the couplings from $P=\alpha N$ examples with the Hebb rule using a non-linear transformation of $D=\alpha_D N$ random vectors that we call factors, with $N$ the number of neurons. Using the replica method, we obtain a phase diagram for the model that shows a phase transition where the factors hidden in the examples become attractors of the dynamics; this phase exists above a critical value of $\alpha$ and below a critical value of $\alpha_D$. We call this behaviour learning transition.
• Abstract（参考訳）: ホップフィールドモデルは統計物理学における長年の伝統を持ち、理論が利用できる数少ないニューラルネットワークの1つである。 相関データに対するホップフィールドモデルの理論を拡張することで、ディープニューラルネットワークの成功を理解することができる。 これを動機として、Hidden-Manifold Hopfield Model と呼ぶ一般化ホップフィールドモデルを提案し、検討する:我々は、$P=\alpha N$ と Hebb の規則とのカップリングを、D=\alpha_D N$ の非線型変換を用いて生成する。 レプリカ法を用いて、例に隠された因子が力学の誘引者となる相転移を示すモデルのための相図を得る。この相は、臨界値$\alpha$ と臨界値$\alpha_d$ よりも上に存在する。 この行動を学習の移行と呼びます

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Neural Implicit Manifold Learning for Topology-Aware Density Estimation [15.878635603835063]
  現在の生成モデルは、ニューラルネットワークを介して$m$次元の潜在変数をマッピングすることで、$mathcalM$を学ぶ。 我々のモデルは、プッシュフォワードモデルよりも複雑なトポロジーを持つ多様体支持分布を正確に学習できることが示される。
  論文  参考訳（メタデータ） (2022-06-22T18:00:00Z)
• Fundamental limits to learning closed-form mathematical models from data [0.0]
  ノイズの多いデータセットが与えられたら、データだけで真の生成モデルを学ぶことはいつ可能だろうか? この問題は,真のモデルが学習可能な低雑音位相から,観測ノイズが高すぎて真のモデルが学習できない位相への遷移を示す。
  論文  参考訳（メタデータ） (2022-04-06T10:00:33Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Model-based Reinforcement Learning for Continuous Control with Posterior Sampling [10.91557009257615]
  連続状態空間における強化学習(PSRL)のためのモデルベース後方サンプリングについて検討した。 MPC-PSRLはモデルに基づく後部サンプリングアルゴリズムであり,行動選択のためのモデル予測制御を行う。
  論文  参考訳（メタデータ） (2020-11-20T21:00:31Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)
• The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
  我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。 この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-22T16:43:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。