論文の概要: Prototype Analysis in Hopfield Networks with Hebbian Learning

• arxiv url: http://arxiv.org/abs/2407.03342v1
• Date: Wed, 29 May 2024 01:03:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 22:09:04.984945
• Title: Prototype Analysis in Hopfield Networks with Hebbian Learning
• Title（参考訳）: Hebbian Learningを用いたホップフィールドネットワークのプロトタイプ解析
• Authors: Hayden McAlister, Anthony Robins, Lech Szymanski,
• Abstract要約: 高い相関状態を持つヘビアン学習は、劣化したメモリ性能をもたらす。 このような学習は、未学習状態が大きな相関部分集合の表現として現れるプロトタイプ形成に繋がることを示す。 このプロセスは、人間の認知におけるプロトタイプ学習と類似している。
• 参考スコア（独自算出の注目度）: 1.2289361708127877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We discuss prototype formation in the Hopfield network. Typically, Hebbian learning with highly correlated states leads to degraded memory performance. We show this type of learning can lead to prototype formation, where unlearned states emerge as representatives of large correlated subsets of states, alleviating capacity woes. This process has similarities to prototype learning in human cognition. We provide a substantial literature review of prototype learning in associative memories, covering contributions from psychology, statistical physics, and computer science. We analyze prototype formation from a theoretical perspective and derive a stability condition for these states based on the number of examples of the prototype presented for learning, the noise in those examples, and the number of non-example states presented. The stability condition is used to construct a probability of stability for a prototype state as the factors of stability change. We also note similarities to traditional network analysis, allowing us to find a prototype capacity. We corroborate these expectations of prototype formation with experiments using a simple Hopfield network with standard Hebbian learning. We extend our experiments to a Hopfield network trained on data with multiple prototypes and find the network is capable of stabilizing multiple prototypes concurrently. We measure the basins of attraction of the multiple prototype states, finding attractor strength grows with the number of examples and the agreement of examples. We link the stability and dominance of prototype states to the energy profile of these states, particularly when comparing the profile shape to target states or other spurious states.
• Abstract（参考訳）: ホップフィールドネットワークにおけるプロトタイプ形成について論じる。 通常、高い相関状態を持つヘビアン学習は、劣化したメモリ性能をもたらす。 このような学習は、未学習状態が大きな相関した状態のサブセットの代表として出現し、能力難を緩和するプロトタイプ形成に繋がることを示す。 このプロセスは、人間の認知におけるプロトタイプ学習と類似している。 本稿では,心理学,統計物理学,計算機科学からの貢献を網羅した,連想記憶におけるプロトタイプ学習の実質的な文献レビューを行う。 理論的な観点からプロトタイプの生成を分析し,学習用プロトタイプのサンプル数,これらのサンプルのノイズ数,非サンプル状態の数に基づいて,これらの状態に対する安定性条件を導出する。 安定性条件は、安定性変化の要因としてプロトタイプ状態に対する安定性の確率を構築するために用いられる。 また、従来のネットワーク分析と類似点があり、プロトタイプのキャパシティを見つけることができます。 標準ヘビアン学習を用いた単純なホップフィールドネットワークを用いた実験により,プロトタイプ形成に対するこれらの期待を裏付ける。 我々は実験を、複数のプロトタイプでデータに基づいて訓練されたホップフィールドネットワークに拡張し、同時に複数のプロトタイプを安定化できるネットワークを見つける。 複数のプロトタイプ状態のアトラクションの流域を測定し,実例数と実例の一致により,アトラクタ強度が増大することを示した。 我々はプロトタイプ状態の安定性と支配性をこれらの状態のエネルギープロファイルと結びつけ、特にプロファイル形状をターゲット状態や他の刺激状態と比較する。

関連論文リスト

• Sparse Prototype Network for Explainable Pedestrian Behavior Prediction [60.80524827122901]
  Sparse Prototype Network (SPN) は,歩行者の将来の行動,軌道,ポーズを同時に予測するための説明可能な手法である。 モノセマンティリティとクラスタリングの制約によって規則化されたプロトタイプは、一貫性と人間の理解可能な機能を学ぶ。
  論文  参考訳（メタデータ） (2024-10-16T03:33:40Z)
• Predefined Prototypes for Intra-Class Separation and Disentanglement [10.005120138175206]
  原型学習は、クラスの埋め込みがクラスタ化される点(プロトタイプと呼ぶ)があるという考えに基づいている。 我々は、トレーニングパイプラインを簡素化し、異なる利点をもたらす、人間の特定基準に従ってプロトタイプを事前定義することを提案する。
  論文  参考訳（メタデータ） (2024-06-23T15:52:23Z)
• Interpreting What Typical Fault Signals Look Like via Prototype-matching [3.774984871230879]
  プロトタイプマッチングとオートエンコーダを組み合わせたプロトタイプマッチングネットワーク(PMN)を提案する。 分類ロジック、障害プロトタイプ、マッチングコントリビューションに関する3つの解釈パスがある。 この能力は人間の理解を広げ、解釈可能性の研究から科学のためのAIまで有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-03-11T05:47:07Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Learning to Select Prototypical Parts for Interpretable Sequential Data Modeling [7.376829794171344]
  本稿では,原型概念の線形結合を用いた自己説明選択モデル(SESM)を提案する。 より良い解釈可能性を得るために,多様性,安定性,局所性など,複数の制約をトレーニング対象として設計する。
  論文  参考訳（メタデータ） (2022-12-07T01:42:47Z)
• Towards Human-Interpretable Prototypes for Visual Assessment of Image Classification Models [9.577509224534323]
  人間に似た推論プロセスに基づいて、解釈可能な設計のモデルが必要です。 ProtoPNetは、教師なしの方法で視覚的に意味のあるプロトタイプを発見すると主張している。 これらのプロトタイプはまだ明確な説明に向けて長い道のりがある。
  論文  参考訳（メタデータ） (2022-11-22T11:01:22Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• Interpretable Image Classification with Differentiable Prototypes Assignment [7.660883761395447]
  クラスが共有するプロトタイプのプールを備えた解釈可能な画像分類モデルであるProtoPoolを紹介する。 プロトタイプを特定のクラスに完全に微分可能な割り当てを導入することで得られる。 我々は,CUB-200-2011とStanford Carsのデータセットにおいて,ProtoPoolが最先端の精度を得ることを示す。
  論文  参考訳（メタデータ） (2021-12-06T10:03:32Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)
• Toward Scalable and Unified Example-based Explanation and Outlier Detection [128.23117182137418]
  我々は,試行錯誤の予測に例ベースの説明を与えることのできる,プロトタイプベースの学生ネットワークのより広範な採用を論じる。 類似カーネル以外のプロトタイプベースのネットワークは,分類精度を損なうことなく,有意義な説明と有望な外乱検出結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-11-11T05:58:17Z)
• Learning Sparse Prototypes for Text Generation [120.38555855991562]
  プロトタイプ駆動のテキスト生成は、トレーニングコーパス全体の保存とインデックスを必要とするため、テスト時に非効率である。 本稿では,言語モデリング性能を向上するスパースなプロトタイプサポートセットを自動的に学習する新しい生成モデルを提案する。 実験では,1000倍のメモリ削減を実現しつつ,従来のプロトタイプ駆動型言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2020-06-29T19:41:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。