論文の概要: Pseudo-likelihood produces associative memories able to generalize, even for asymmetric couplings

• arxiv url: http://arxiv.org/abs/2507.05147v1
• Date: Mon, 07 Jul 2025 15:57:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.499857
• Title: Pseudo-likelihood produces associative memories able to generalize, even for asymmetric couplings
• Title（参考訳）: Pseudo-likelihoodは非対称結合に対しても一般化可能な連想記憶を生成する
• Authors: Francesco D'Amico, Dario Bocchi, Luca Maria Del Bono, Saverio Rossi, Matteo Negri,
• Abstract要約: 広く使われている回避策は、グローバル正規化をトラクタブルな局所正規化に置き換える擬似的様相を最大化することである。 ゼロ温度制限下では、擬似的類似度を最大化するために訓練されたネットワークが自然に連想メモリを実装していることを示す。 この結果から,擬似的な動作は効率的な推論ツールであり,メモリや一般化の原理的なメカニズムであることが明らかとなった。
• 参考スコア（独自算出の注目度）: 9.697311933975294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-based probabilistic models learned by maximizing the likelihood of the data are limited by the intractability of the partition function. A widely used workaround is to maximize the pseudo-likelihood, which replaces the global normalization with tractable local normalizations. Here we show that, in the zero-temperature limit, a network trained to maximize pseudo-likelihood naturally implements an associative memory: if the training set is small, patterns become fixed-point attractors whose basins of attraction exceed those of any classical Hopfield rule. We explain quantitatively this effect on uncorrelated random patterns. Moreover, we show that, for different structured datasets coming from computer science (random feature model, MNIST), physics (spin glasses) and biology (proteins), as the number of training examples increases the learned network goes beyond memorization, developing meaningful attractors with non-trivial correlations with test examples, thus showing the ability to generalize. Our results therefore reveal pseudo-likelihood works both as an efficient inference tool and as a principled mechanism for memory and generalization.
• Abstract（参考訳）: データの可能性の最大化によって得られたエネルギーベース確率モデルは、分割関数の誘引性によって制限される。 広く使われている回避策は、グローバル正規化をトラクタブルな局所正規化に置き換える擬似的様相を最大化することである。 ここでは、ゼロ温度の限界において、擬似的様相を最大化するために訓練されたネットワークが自然に連想記憶を実装していることを示す。 非相関なランダムパターンに対するこの効果を定量的に説明する。 さらに、コンピュータサイエンス(ランダム特徴モデル、MNIST)、物理学(スピングラス)、生物学(タンパク質)から来る異なる構造化データセットに対して、学習したネットワークが記憶以上に増大するにつれて、テスト例と非自明な相関関係を持つ有意義なアトラクタを開発し、一般化する能力を示すことを示す。 この結果から,擬似的な動作は効率的な推論ツールであり,メモリや一般化の原理的なメカニズムであることが明らかとなった。

関連論文リスト

• The Universality Lens: Why Even Highly Over-Parametrized Models Learn Well [4.2466572124752995]
  拡張仮説クラスに先立って,ログロスと(ほとんど)均一なベイズ混合について検討する。 主要な結果は、学習者の後悔は仮説クラス全体のサイズによって決定されないことを示している。 結果は、オンライン、バッチ、教師付き学習設定で広く適用されます。
  論文  参考訳（メタデータ） (2025-06-09T11:32:31Z)
• Bigger Isn't Always Memorizing: Early Stopping Overparameterized Diffusion Models [51.03144354630136]
  自然データ領域の一般化は、記憶の開始前に訓練中に徐々に達成される。 一般化対メモ化は、時間スケール間の競合として最もよく理解される。 この現象学は,確率論的文脈自由文法をランダムな規則で学習する拡散モデルにおいて復元されることを示す。
  論文  参考訳（メタデータ） (2025-05-22T17:40:08Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Variational Hierarchical Mixtures for Probabilistic Learning of Inverse Dynamics [20.953728061894044]
  適切に校正された確率回帰モデルは、データセットが急速に成長し、タスクがより複雑になるにつれて、ロボットアプリケーションにおいて重要な学習要素である。 計算効率のよい表現と計算複雑性の正規化を両世界の利点と組み合わせた確率論的階層的モデリングパラダイムを考察する。 これらの表現を学習するための2つの効率的な変分推論手法を導出し、階層的無限局所回帰モデルの利点を強調する。
  論文  参考訳（メタデータ） (2022-11-02T13:54:07Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。