論文の概要: Random Features Hopfield Networks generalize retrieval to previously unseen examples

• arxiv url: http://arxiv.org/abs/2407.05658v1
• Date: Mon, 8 Jul 2024 06:35:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 16:50:12.358453
• Title: Random Features Hopfield Networks generalize retrieval to previously unseen examples
• Title（参考訳）: Random Features Hopfield Networksは検索をこれまで見つからなかった例に一般化する
• Authors: Silvio Kalaj, Clarissa Lauditi, Gabriele Perugini, Carlo Lucibello, Enrico M. Malatesta, Matteo Negri,
• Abstract要約: ホップフィールドネットワークは、ランダムな特徴の重ね合わせとして生成されたサンプルを格納し、そのような特徴に対応する新しいアトラクタがモデルに現れることを示す。 本研究により,ネットワークは,同一の機能セットで生成した未確認例に対応するアトラクタも開発していることを明らかにした。
• 参考スコア（独自算出の注目度）: 11.291100747161044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been recently shown that a learning transition happens when a Hopfield Network stores examples generated as superpositions of random features, where new attractors corresponding to such features appear in the model. In this work we reveal that the network also develops attractors corresponding to previously unseen examples generated with the same set of features. We explain this surprising behaviour in terms of spurious states of the learned features: we argue that, increasing the number of stored examples beyond the learning transition, the model also learns to mix the features to represent both stored and previously unseen examples. We support this claim with the computation of the phase diagram of the model.
• Abstract（参考訳）: 近年、ホップフィールドネットワークはランダムな特徴の重ね合わせとして生成されたサンプルを格納し、そのような特徴に対応する新しいアトラクタがモデルに現れると学習遷移が起こることが示されている。 本研究により,ネットワークは,同一の機能セットで生成した未確認例に対応するアトラクタも開発していることを明らかにした。 学習トランジションを超えて格納されたサンプルの数を増やすことで、モデルはまた、格納された例と以前は見えない例の両方を表現するために、機能を混在させることも学んでいる、と我々は主張する。 我々はこの主張をモデルの位相図の計算で支持する。

関連論文リスト

• In-Context Learning of Physical Properties: Few-Shot Adaptation to Out-of-Distribution Molecular Graphs [1.8635507597668244]
  コンテキスト内学習は推論中のみに非自明な機械学習タスクを実行することができる。 この研究で、我々は、イン・コンテクスト・ラーニングを利用して、配布外物質特性を予測できるだろうか? 我々は、GPT-2が幾何認識グラフニューラルネットワークの出力に作用し、コンテキスト内情報に適応する複合モデルを用いる。
  論文  参考訳（メタデータ） (2024-06-03T21:59:21Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Statistical Mechanics of Learning via Reverberation in Bidirectional Associative Memories [0.0]
  ランダムなアーチタイプのノイズに曝される双方向連想ニューラルネットワークについて検討する。 この設定では、学習はヘテロアソシエイトな -- パターンのカップルを含む -- であり、サンプルから表現された情報をリバーバリングすることで達成される。
  論文  参考訳（メタデータ） (2023-07-17T10:04:04Z)
• Generalization despite overfitting in quantum machine learning models [0.0]
  量子モデルにおける良性過剰適合のキャラクタリゼーションを提供する。 量子モデルのクラスが如何に類似した特徴を示すかを示す。 我々はこれらの特徴を、局所的な「スパイク」な振る舞いでノイズデータを補間する量子モデルの能力に応じて直感的に説明する。
  論文  参考訳（メタデータ） (2022-09-12T18:08:45Z)
• Learning from few examples with nonlinear feature maps [68.8204255655161]
  我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。 本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
  論文  参考訳（メタデータ） (2022-03-31T10:36:50Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Toward Scalable and Unified Example-based Explanation and Outlier Detection [128.23117182137418]
  我々は,試行錯誤の予測に例ベースの説明を与えることのできる,プロトタイプベースの学生ネットワークのより広範な採用を論じる。 類似カーネル以外のプロトタイプベースのネットワークは,分類精度を損なうことなく,有意義な説明と有望な外乱検出結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-11-11T05:58:17Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Non-exchangeable feature allocation models with sublinear growth of the feature sizes [38.020001748199036]
  指定された特徴を共有するオブジェクトの数がサブライン的に増加するような、交換不能な特徴割り当てモデルのクラスを示す。 我々はモデルの性質を導出し、そのようなモデルが様々なデータセットに対してより適合し、より良い予測性能を提供することを示す。
  論文  参考訳（メタデータ） (2020-03-30T14:14:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。