論文の概要: Hierarchical Prototype Emergence in Modern Hopfield Models

• arxiv url: http://arxiv.org/abs/2609.12079v1
• Date: Thu, 10 Sep 2026 18:07:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.503787
• Title: Hierarchical Prototype Emergence in Modern Hopfield Models
• Title（参考訳）: 現代ホップフィールドモデルにおける階層型プロトタイプ創発
• Abstract要約: 本稿では,高密度ホップフィールドネットワークに格納されたメモリの階層モデルについて考察する。 この階層の各レベルが局所的に安定である条件を導出する。 擬似ポリノミカルな情報しか必要とせず、特定の記憶を超えて一般化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hierarchical correlations are a universal feature of any realistic model of data, and the question of how associative memory models may learn these correlations and generalize beyond them to construct new sensible images is an important step towards understanding more complex modern architectures such as diffusion models. We consider a hierarchical model for memories which are sampled and stored in a dense Hopfield network with polynomial activation. We analytically derive conditions for each level of this hierarchy to be locally stable - that is they are local energy minima. We use prototype reconstruction as a minimal model of generalization and we find that it takes only a quasi-polynomial amount of information to generalize beyond particular memories and even particular groups in the hierarchy. We observe a qualitatively analogous phase diagram in the number of memories, sharpness of the activation function (polynomial degree) for data from Fashion-MNIST.
• Abstract（参考訳）: 階層的相関は、任意の現実的なデータモデルの普遍的な特徴であり、連想記憶モデルがこれらの相関関係を学習し、新しい感覚的イメージを構築するためにどのように一般化するかという問題は、拡散モデルのようなより複雑な近代的アーキテクチャを理解するための重要なステップである。 本稿では,多項式活性化を伴う高密度ホップフィールドネットワークにサンプリング・格納されるメモリの階層モデルについて考察する。 我々は、この階層の各レベルが局所的に安定であるような条件を解析的に導出する。 我々は、最小限の一般化モデルとしてプロトタイプ再構成を用い、特定の記憶や階層内の特定のグループを超越して一般化するためには、準ポリノミカルな量の情報しか必要としないことがわかった。 本研究では,Fashion-MNISTのデータに対して,メモリ数,アクティベーション関数のシャープさ(ポリノミカル度)を定性的に類似した位相図で観察する。

関連論文リスト

• Extracting Complex Topology from Multivariate Functional Approximation: Contours, Jacobi Sets, and Ridge-Valley Graphs [4.426174973462758]
  暗黙的な連続モデルは、科学データの保存、転送、分析に関する新しい視点を提供する。 連続的な暗黙的モデルから複雑なトポロジ的特徴を直接抽出する最初のフレームワークを紹介する。 我々の研究は、関数値と高階微分のクエリをサポートする任意の連続的暗黙モデルに容易に一般化できる。
  論文  参考訳（メタデータ） (2025-08-11T05:41:24Z)
• RelDiff: Relational Data Generative Modeling with Graph-Based Diffusion Models [83.6013616017646]
  RelDiffは、外部キーグラフ構造を明示的にモデル化することによって完全な関係データベースを合成する新しい拡散生成モデルである。 RelDiffは、現実的で一貫性のある合成リレーショナルデータベースの作成において、従来手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-05-31T21:01:02Z)
• Memorization to Generalization: Emergence of Diffusion Models from Associative Memory [27.677278702224687]
  AMのレンズを用いた拡散モデルにおける記憶一般化現象について検討する。 本研究は, AMsレンズを用いた拡散モデルにおける記憶一般化現象の新たな展望である。
  論文  参考訳（メタデータ） (2025-05-27T21:20:57Z)
• How Compositional Generalization and Creativity Improve as Diffusion Models are Trained [82.08869888944324]
  構成規則を学習するために生成モデルに必要なサンプルはいくつあるか? ルールを学習するために、データのどのシグナルが利用されるのか? ここで紹介する階層的クラスタリング機構と物理における再正規化群との関係について論じる。
  論文  参考訳（メタデータ） (2025-02-17T18:06:33Z)
• Topological Deep Learning with State-Space Models: A Mamba Approach for Simplicial Complexes [4.787059527893628]
  本稿では,Mamba状態空間モデルをバックボーンとして利用して,単純な複素数を扱うように設計された新しいアーキテクチャを提案する。 提案手法は, 隣接セルをベースとしたノードのシーケンスを生成し, ランクに関わらず, 上位構造間の直接通信を可能にする。
  論文  参考訳（メタデータ） (2024-09-18T14:49:25Z)
• A Phase Transition in Diffusion Models Reveals the Hierarchical Nature of Data [51.03144354630136]
  最近の進歩は、拡散モデルが高品質な画像を生成することを示している。 我々はこの現象を階層的なデータ生成モデルで研究する。 t$の後に作用する後方拡散過程は相転移によって制御される。
  論文  参考訳（メタデータ） (2024-02-26T19:52:33Z)
• Learning Hierarchical Features with Joint Latent Space Energy-Based Prior [44.4434704520236]
  階層表現学習における多層ジェネレータモデルの基本的問題について検討する。 実効的階層型表現学習のための多層潜在変数を用いた有意な潜在空間EMM事前モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-14T15:44:14Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Hierarchical Variational Memory for Few-shot Learning Across Domains [120.87679627651153]
  本稿では,プロトタイプの各レベルが階層メモリから対応する情報を取得する階層型プロトタイプモデルを提案する。 このモデルには、ドメインシフトの状況が要求される場合、異なるセマンティックレベルの機能を柔軟に依存する能力が備わっている。 モデルにおける各コンポーネントの有効性を示すために、徹底的なアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2021-12-15T15:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。