Fugu-MT 論文翻訳(概要): Sparse Distributed Memory is a Continual Learner

論文の概要: Sparse Distributed Memory is a Continual Learner

arxiv url: http://arxiv.org/abs/2303.11934v1
Date: Mon, 20 Mar 2023 16:54:10 GMT
ステータス: 処理完了
システム内更新日: 2023-03-22 14:30:56.954873
Title: Sparse Distributed Memory is a Continual Learner
Title（参考訳）: スパース分散メモリは継続的に学習する
Authors: Trenton Bricken, Xander Davies, Deepak Singh, Dmitry Krotov, Gabriel Kreiman
Abstract要約: 連続学習は、生物学的に解けない人工知能ニューラルネットワークの課題である。我々は,強力な連続学習者であるMLP(Multi-Layered Perceptron)を改良した。
参考スコア（独自算出の注目度）: 10.038348134526508
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual learning is a problem for artificial neural networks that their biological counterparts are adept at solving. Building on work using Sparse Distributed Memory (SDM) to connect a core neural circuit with the powerful Transformer model, we create a modified Multi-Layered Perceptron (MLP) that is a strong continual learner. We find that every component of our MLP variant translated from biology is necessary for continual learning. Our solution is also free from any memory replay or task information, and introduces novel methods to train sparse networks that may be broadly applicable.
Abstract（参考訳）: 連続学習は、生物学的に解けない人工知能ニューラルネットワークの課題である。スパース分散メモリ(sdm)を使用してコアニューラル回路と強力なトランスフォーマーモデルを接続する作業に基づいて、強力な連続学習者である修正多層パーセプトロン(mlp)を作成します。生物から翻訳されたmlp変異体の全ての成分が連続学習に必要であることがわかった。当社のソリューションはメモリリプレイやタスク情報もフリーで、広く適用可能なスパースネットワークをトレーニングするための新しい方法を導入しています。

関連論文リスト

Learning Universal Predictors [23.18743879588599]
メタラーニングを限界まで活用することで、最も強力な普遍的予測子であるソロモノフ誘導(SI)をニューラルネットワークに記憶させる可能性を探る。我々はUniversal Turing Machines (UTM) を用いて、幅広いパターンにネットワークを公開するトレーニングデータを生成する。この結果から,UTMデータはメタラーニングに有用な資源であり,普遍的な予測戦略を学習可能なニューラルネットワークのトレーニングに有効であることが示唆された。
論文参考訳（メタデータ） (2024-01-26T15:37:16Z)
aSTDP: A More Biologically Plausible Learning [0.0]
我々は,新しいニューラルネットワーク学習フレームワークSTDPを導入する。教師なしおよび教師なしの学習にはSTDPルールのみを使用する。追加設定なしで予測したり、ひとつのモデルでパターンを生成できる。
論文参考訳（メタデータ） (2022-05-22T08:12:50Z)
Learning to Modulate Random Weights: Neuromodulation-inspired Neural Networks For Efficient Continual Learning [1.9580473532948401]
生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
論文参考訳（メタデータ） (2022-04-08T21:12:13Z)
Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文参考訳（メタデータ） (2022-02-21T13:25:03Z)
Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文参考訳（メタデータ） (2021-12-09T07:11:14Z)
Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
論文参考訳（メタデータ） (2020-11-24T01:53:39Z)
MPLP: Learning a Message Passing Learning Protocol [63.948465205530916]
人工ニューラルネットワークの重みを学習する新しい手法として,メッセージパッシング学習プロトコル(MPLP)を提案する。 ANNで発生したすべての操作を独立したエージェントとして抽象化する。各エージェントは、他のエージェントからやってくる多次元メッセージを取り込み、内部状態を更新し、近隣エージェントに渡される多次元メッセージを生成する責任がある。
論文参考訳（メタデータ） (2020-07-02T09:03:14Z)
Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文参考訳（メタデータ） (2020-06-29T08:35:49Z)
Triple Memory Networks: a Brain-Inspired Method for Continual Learning [35.40452724755021]
ニューラルネットワークは、新しいタスクを学ぶ際にパラメータを調整するが、古いタスクをうまく実行できない。脳は破滅的な干渉なしに新しい経験を継続的に学習する能力を持っている。このような脳戦略に触発されて、連続学習のための三重記憶ネットワーク(TMN)という新しいアプローチを提案する。
論文参考訳（メタデータ） (2020-03-06T11:35:24Z)
Learning to Continually Learn [14.988129334830003]
ニューロ変調メタラーニングアルゴリズム(ANML)を提案する。脳の神経調節過程にインスパイアされた我々は、神経変調メタラーニングアルゴリズム(ANML)を提案する。 ANMLは最先端の継続的学習性能を生成し、600以上のクラスを逐次学習する(9000以上のSGD更新)。
論文参考訳（メタデータ） (2020-02-21T22:52:00Z)
Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
論文参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。