論文の概要: Finding online neural update rules by learning to remember

• arxiv url: http://arxiv.org/abs/2003.03124v1
• Date: Fri, 6 Mar 2020 10:31:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 00:27:58.036244
• Title: Finding online neural update rules by learning to remember
• Title（参考訳）: 記憶の学習によるオンラインニューラルアップデートルールの探索
• Authors: Karol Gregor
• Abstract要約: 神経活動(身体)と重み(シナプス)をスクラッチから学習する。 異なるニューロンタイプは異なる埋め込みベクターによって表現され、同じ2つの関数を全てのニューロンに使用することができる。 短期的なバックプロパゲーションを用いてこの目的を訓練し、異なるネットワークタイプと問題の難易度の両方の関数として性能を解析する。
• 参考スコア（独自算出の注目度）: 3.295767453921912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate learning of the online local update rules for neural activations (bodies) and weights (synapses) from scratch. We represent the states of each weight and activation by small vectors, and parameterize their updates using (meta-) neural networks. Different neuron types are represented by different embedding vectors which allows the same two functions to be used for all neurons. Instead of training directly for the objective using evolution or long term back-propagation, as is commonly done in similar systems, we motivate and study a different objective: That of remembering past snippets of experience. We explain how this objective relates to standard back-propagation training and other forms of learning. We train for this objective using short term back-propagation and analyze the performance as a function of both the different network types and the difficulty of the problem. We find that this analysis gives interesting insights onto what constitutes a learning rule. We also discuss how such system could form a natural substrate for addressing topics such as episodic memories, meta-learning and auxiliary objectives.
• Abstract（参考訳）: 神経活性化(ボディー)と重み(サイナプス)のオンラインローカル更新ルールをスクラッチから学習する。 我々は,各重みと活性化状態を小ベクトルで表現し,その更新を(メタ)ニューラルネットワークを用いてパラメータ化する。 異なるニューロンタイプは、異なる埋め込みベクターによって表現され、同じ2つの機能を全てのニューロンで使用できる。 同じシステムで一般的に行われているように、進化や長期のバックプロパゲーションを使って目的のために直接トレーニングする代わりに、私たちは異なる目的、すなわち過去の経験の断片を思い出すという動機付けと研究を行います。 この目的が標準のバックプロパゲーショントレーニングや他の学習にどのように関係しているかを説明する。 短期的なバックプロパゲーションを用いてこの目的を訓練し、異なるネットワークタイプと問題の難しさの両方の関数として性能を解析する。 この分析は、学習ルールを構成するものに関する興味深い洞察を与える。 また,このようなシステムが,エピソード記憶やメタラーニング,補助的目的といったトピックに対処するための自然な基盤を形成する方法についても論じる。

関連論文リスト

• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Neural Routing in Meta Learning [9.070747377130472]
  入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。 本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。 提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
  論文  参考訳（メタデータ） (2022-10-14T16:31:24Z)
• aSTDP: A More Biologically Plausible Learning [0.0]
  我々は,新しいニューラルネットワーク学習フレームワークSTDPを導入する。 教師なしおよび教師なしの学習にはSTDPルールのみを使用する。 追加設定なしで予測したり、ひとつのモデルでパターンを生成できる。
  論文  参考訳（メタデータ） (2022-05-22T08:12:50Z)
• How and what to learn:The modes of machine learning [7.085027463060304]
  本稿では, 重み経路解析(WPA)と呼ばれる新しい手法を提案し, 多層ニューラルネットワークのメカニズムについて検討する。 WPAは、ニューラルネットワークが情報を「ホログラフィック」な方法で保存し、活用していることを示し、ネットワークはすべてのトレーニングサンプルをコヒーレントな構造にエンコードする。 隠れた層状ニューロンは学習過程の後半で異なるクラスに自己組織化することが判明した。
  論文  参考訳（メタデータ） (2022-02-28T14:39:06Z)
• Training Spiking Neural Networks Using Lessons From Deep Learning [28.827506468167652]
  シナプスとニューロンの内部構造は、ディープラーニングの未来を垣間見ることができます。 いくつかのアイデアはニューロモルフィックエンジニアリングコミュニティでよく受け入れられ、一般的に使われているが、他のアイデアはここで初めて提示または正当化されている。 PythonパッケージであるsnnTorchを使って、この論文を補完する一連のインタラクティブチュートリアルも利用可能である。
  論文  参考訳（メタデータ） (2021-09-27T09:28:04Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)
• Learning Neural Activations [2.842794675894731]
  人工ニューラルネットワークにおける各ニューロンの活性化関数がデータのみから学習されるとどうなるかを検討する。 これは、各ニューロンの活性化機能を、元のネットワーク内のすべてのニューロンによって共有される小さなニューラルネットワークとしてモデル化することで達成される。
  論文  参考訳（メタデータ） (2019-12-27T15:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。