論文の概要: Capacity of the Hopfield-Hebbian dynamics with correlated patterns

• arxiv url: http://arxiv.org/abs/2610.38437v1
• Date: Wed, 28 Oct 2026 08:19:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.384181
• Title: Capacity of the Hopfield-Hebbian dynamics with correlated patterns
• Title（参考訳）: 相関パターンを持つホップフィールド・ヘビアン力学の容量
• Abstract要約: 我々は相関データを分析するための強力なランダム二重性理論に基づくフレームワークを開発する。 私たちの結果は、既存の文献を補うのに適しています。
• 参考スコア（独自算出の注目度）: 2.538209532048867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Allowing for small fraction of errors in retrieved stored binary patterns, Hopfield-Hebbian neural network (NN) associative memory dynamics [14] achieves linearly scaled capacity. The famous proportionality constant $α_c\approx 0.14$ is obtained in a large dimensional scenario as the ratio of the number of reliably stored patterns $m$ and the patterns' length $n$ under the assumption that uniformly randomly chosen binary patterns are \emph{independent} among themselves. While such an idealized scenario is now well understood, more practical scenarios with correlated/noisy datasets remaining challenging even for classical statistical mechanics replica approaches. We consider precisely such practical settings where each \emph{archetype} pattern is replaced with $M$ correlated \emph{examples} with parameter $r$ governing the quality of correlation. We develop a powerful Random Duality Theory (RDT) based framework to analyze correlated data and already on the first level of RDT lifting obtain capacity characterizations that remarkably well match behavior exhibited through simulated dynamics. Moreover, characterizations explicitly feature correlation parameters $M$ and $r$, which allows to precisely determine their effects on phase-transitioning behavior of the underlying dynamics. Our results are also a well-fitting complement to the existing literature. Namely, to circumvent challenging statistical mechanics analyses, an alternative combination of spectral and replica methods is considered in [4]. We confirm that [4]'s elegant spectral characterizations are excellent approximations in the low correlated regime. At the same time, we also close the gap in the regimes with higher correlation levels where spectral methods deviate from the practical dynamics performance.
• Abstract（参考訳）: 検索した記憶されたバイナリパターンのわずかなエラーを許すため、ホップフィールド・ヘビアンニューラルネットワーク(NN)連想メモリダイナミクス[14]は線形にスケールされたキャパシティを実現する。 有名な比例定数$α_c\approx 0.14$は、安定に記憶されたパターン数$m$とパターンの長さ$n$の比率が、一様に選択されたバイナリパターンが互いに独立であるという仮定の下で、大きな次元シナリオで得られる。 このような理想的なシナリオは、現在ではよく理解されているが、古典的な統計力学のレプリカアプローチでさえ、相関データセットやノイズの多いデータセットを持つより実践的なシナリオは、難しいままである。 パラメータ $r$ で各 \emph{archetype} パターンを $M$ の相関付き \emph{examples} に置き換える、まさにそのような実践的な設定を考える。 我々はRandom Duality Theory(RDT)に基づく強力なフレームワークを開発し、相関データを解析し、すでにRDTリフトの第1段階において、シミュレーション力学によって提示された挙動と著しくよく一致したキャパシティ特性を得る。 さらに、キャラクタリゼーションはM$と$r$の相関パラメータを明示的に特徴付けており、基礎となるダイナミクスの相転移挙動に対するそれらの影響を正確に決定することができる。 私たちの結果は、既存の文献の補完にも適しています。 すなわち、難解な統計力学解析を回避すべく、スペクトル法とレプリカ法の別の組み合わせが[4]で検討されている。 我々は[4]のエレガントなスペクトル特性が低相関状態における優れた近似であることを確認した。 同時に、スペクトル法が実用的な力学性能から逸脱する相関レベルの高いレジームのギャップを埋める。

関連論文リスト

• Generative Criticality in Large Language Model Temperature Scaling [3.472734054649125]
  大規模言語モデル(LLM)によって生成されるテキストの統計的フィールドフレームワークを提案する。 接続された2点相関器からの感受性と、アンサンブル平均埋め込み場からの順序パラメータを定義する。 パワーローのようなスケーリング,順序パラメータの同時変化,T_c$以下の1つの意味的方向への崩壊といった特徴を持つ$T_c$近傍の鋭い感受性ピークを観測した。
  論文  参考訳（メタデータ） (2026-06-04T14:43:32Z)
• Machine Learning Surrogate Modeling for Homogenization of Hyperelastic Materials with Boolean Microstructures [0.0]
  データ駆動サロゲートモデルは、異種物質の数値的均質化の代替となる。 ニューラルネットワークはスカラーと曲線の統計記述子の組み合わせに基づいて訓練される。 パラメータ空間の制限ケースを表す追加データは、トレーニングを安定させ、外挿動作を改善するために組み込まれている。
  論文  参考訳（メタデータ） (2026-05-31T00:51:52Z)
• Noise Titration: Exact Distributional Benchmarking for Probabilistic Time Series Forecasting [1.5939955861266883]
  本稿では,介入主義的,厳密な統計的ベンチマークへのパラダイムシフトを提案する。 我々は,ブラックボックスシーケンスマッチングゲームから正確な分布推定タスクに予測を変換する。 我々は、最先端のゼロショットモデルがコンテキストパロッキング機構と一貫して振る舞うことを発見した。
  論文  参考訳（メタデータ） (2026-03-23T17:14:11Z)
• Embedding interpretable $\ell_1$-regression into neural networks for uncovering temporal structure in cell imaging [24.51358786006251]
  本稿では,ベクトル自己回帰(VAR)モデルを解釈可能な回帰手法として畳み込み自己エンコーダに組み込む手法を提案する。 スキップ接続は、スパース構造をVARモデルに選択的にチャネルする非スパース静的空間情報に別々に対処する。 埋め込み統計モデルを持つことは、同じ観測単位からの時間的シーケンスを比較するためのテストアプローチを可能にする。
  論文  参考訳（メタデータ） (2026-03-03T11:48:44Z)
• The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective [55.15192437680943]
  連続状態と行動空間を持つ非線形力学系の一般設定におけるオンライン強化学習のサンプル複雑性について検討した。 我々のアルゴリズムは、$mathcalO(N epsilon2 + Mathrmln(m(epsilon)/epsilon2)$のポリシーを後悔する。 力学がコンパクトで実数値のパラメータ集合によってパラメータ化される特別な場合、$mathcalO(sqrt)のポリシー後悔を証明する。
  論文  参考訳（メタデータ） (2025-01-27T10:01:28Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。