論文の概要: Recurrent neural networks that generalize from examples and optimize by
dreaming
- arxiv url: http://arxiv.org/abs/2204.07954v1
- Date: Sun, 17 Apr 2022 08:40:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-20 04:01:29.840222
- Title: Recurrent neural networks that generalize from examples and optimize by
dreaming
- Title(参考訳): 例から一般化し、夢で最適化するリカレントニューラルネットワーク
- Authors: Miriam Aquaro, Francesco Alemanno, Ido Kanter, Fabrizio Durante, Elena
Agliari, Adriano Barra
- Abstract要約: オンライン学習のためのHebbの処方則に従って,ニューロン間のペア結合が構築される一般化されたホップフィールドネットワークを導入する。
ネットワークエクスペリエンスは、パターン毎にノイズの多いサンプルのサンプルで構成されたデータセットに過ぎません。
注目すべきは、睡眠メカニズムが常に正しく一般化するために必要なデータセットサイズを著しく削減することです。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The gap between the huge volumes of data needed to train artificial neural
networks and the relatively small amount of data needed by their biological
counterparts is a central puzzle in machine learning. Here, inspired by
biological information-processing, we introduce a generalized Hopfield network
where pairwise couplings between neurons are built according to Hebb's
prescription for on-line learning and allow also for (suitably stylized)
off-line sleeping mechanisms. Moreover, in order to retain a learning
framework, here the patterns are not assumed to be available, instead, we let
the network experience solely a dataset made of a sample of noisy examples for
each pattern. We analyze the model by statistical-mechanics tools and we obtain
a quantitative picture of its capabilities as functions of its control
parameters: the resulting network is an associative memory for pattern
recognition that learns from examples on-line, generalizes and optimizes its
storage capacity by off-line sleeping. Remarkably, the sleeping mechanisms
always significantly reduce (up to $\approx 90\%$) the dataset size required to
correctly generalize, further, there are memory loads that are prohibitive to
Hebbian networks without sleeping (no matter the size and quality of the
provided examples), but that are easily handled by the present "rested" neural
networks.
- Abstract(参考訳): 人工ニューラルネットワークのトレーニングに必要な膨大なデータと、その生物学的データに必要な比較的少ないデータとの間のギャップは、機械学習の中心的なパズルである。
ここでは,生物情報処理に触発されて,ヘブのオンライン学習処方に従ってニューロン間のペアワイズ結合を構築し,オフライン睡眠機構(適度にスタイリッシュな)を実現する,一般化されたホップフィールドネットワークを提案する。
さらに、学習フレームワークを維持するために、ここではパターンは利用できないと仮定し、代わりに、各パターンに対するノイズの多いサンプルのサンプルからなるデータセットのみをネットワーク体験に委ねる。
我々は,統計力学ツールを用いてモデルを解析し,制御パラメータの機能としてその能力の定量的な図式を得た。
驚くべきことに、スリープ機構は常に、正しい一般化に必要なデータセットサイズを著しく削減し(約90\%$)、さらに、(提供された例のサイズや品質に関わらず)ヘビーネットワークに制限されるメモリ負荷があるが、現在の"rested"ニューラルネットワークでは容易に処理できる。
関連論文リスト
- Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Kernel Memory Networks: A Unifying Framework for Memory Modeling [4.849550522970841]
我々は、ニューラルネットワークをトレーニングして、最大ノイズロバスト性を持つパターンの集合を格納する問題を考察する。
解は、各ニューロンにカーネル分類または最小重量ノルムの実行を訓練することで導出される。
カネルバのモデルを一般化し、指数関数的な連続値パターンを格納できるカーネルメモリネットワークを設計する簡単な方法を示す。
論文 参考訳(メタデータ) (2022-08-19T16:01:09Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Robust Generalization of Quadratic Neural Networks via Function
Identification [19.87036824512198]
一般化は、テスト分布がトレーニング分布に近いと仮定することが多い。
2次ニューラルネットワークでは、パラメータを特定できないにもかかわらず、モデルで表される関数を識別できることが示される。
論文 参考訳(メタデータ) (2021-09-22T18:02:00Z) - Dive into Layers: Neural Network Capacity Bounding using Algebraic
Geometry [55.57953219617467]
ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。
入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。
実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
論文 参考訳(メタデータ) (2021-09-03T11:45:51Z) - Slope and generalization properties of neural networks [0.0]
十分に訓練されたニューラルネットワーク分類器の勾配分布は、一般に、完全に接続されたネットワークの層幅から独立していることを示す。
傾斜は、関連する体積を通して類似した大きさであり、滑らかに変化する。また、再スケーリングの例でも予測されるように振る舞う。
本稿では、損失関数の一部として利用したり、ネットワークトレーニング中に基準を終了させたり、複雑度の観点からデータセットをランク付けしたりといった、斜面概念の応用の可能性について論じる。
論文 参考訳(メタデータ) (2021-07-03T17:54:27Z) - Locally Sparse Networks for Interpretable Predictions [7.362415721170984]
本稿では,局所的な疎度をサンプル固有のゲーティング機構を用いて学習する,局所スパースニューラルネットワークのトレーニングフレームワークを提案する。
サンプル固有の間隔は、テキスト予測ネットワークで予測され、テキスト予測ネットワークとタンデムでトレーニングされる。
本手法は,1インスタンスあたりの機能が少ないターゲット関数の予測において,最先端のモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-06-11T15:46:50Z) - Information contraction in noisy binary neural networks and its
implications [11.742803725197506]
我々は、各ニューロンが不正な出力を発生させる確率がゼロでない、ノイズの多いバイナリニューラルネットワークを考察する。
私たちの重要な発見は、ノイズの多いニューラルネットワークで必要なニューロンの数が少ないことです。
本稿では,情報理論のレンズを通して,ノイズの多い情報処理システムに対する新たな理解を提供する。
論文 参考訳(メタデータ) (2021-01-28T00:01:45Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳(メタデータ) (2020-09-14T12:01:30Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳(メタデータ) (2020-06-22T15:07:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。