論文の概要: Neurocoder: Learning General-Purpose Computation Using Stored Neural
Programs
- arxiv url: http://arxiv.org/abs/2009.11443v1
- Date: Thu, 24 Sep 2020 01:39:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-15 04:05:25.592062
- Title: Neurocoder: Learning General-Purpose Computation Using Stored Neural
Programs
- Title（参考訳）: neurocoder: 記憶型ニューラルネットワークを用いた汎用計算の学習
- Authors: Hung Le and Svetha Venkatesh
- Abstract要約: ニューロコーダ(Neurocoder)は、汎用計算機の全く新しいクラスである。
共有可能なモジュール型プログラムのセットから関連するプログラムを構成することで、データ応答性のある方法で“コード”を行う。
モジュールプログラムを学習し、パターンシフトを厳しく処理し、新しいプログラムが学習されると、古いプログラムを記憶する新しい能力を示す。
- 参考スコア（独自算出の注目度）: 64.56890245622822
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial Neural Networks are uniquely adroit at machine learning by
processing data through a network of artificial neurons. The inter-neuronal
connection weights represent the learnt Neural Program that instructs the
network on how to compute the data. However, without an external memory to
store Neural Programs, they are restricted to only one, overwriting learnt
programs when trained on new data. This is functionally equivalent to a
special-purpose computer. Here we design Neurocoder, an entirely new class of
general-purpose conditional computational machines in which the neural network
"codes" itself in a data-responsive way by composing relevant programs from a
set of shareable, modular programs. This can be considered analogous to
building Lego structures from simple Lego bricks. Notably, our bricks change
their shape through learning. External memory is used to create, store and
retrieve modular programs. Like today's stored-program computers, Neurocoder
can now access diverse programs to process different data. Unlike manually
crafted computer programs, Neurocoder creates programs through training.
Integrating Neurocoder into current neural architectures, we demonstrate new
capacity to learn modular programs, handle severe pattern shifts and remember
old programs as new ones are learnt, and show substantial performance
improvement in solving object recognition, playing video games and continual
learning tasks. Such integration with Neurocoder increases the computation
capability of any current neural network and endows it with entirely new
capacity to reuse simple programs to build complex ones. For the first time a
Neural Program is treated as a datum in memory, paving the ways for modular,
recursive and procedural neural programming.
- Abstract（参考訳）: 人工ニューラルネットワークは、人工ニューロンのネットワークを通じてデータを処理することで、機械学習に独特である。
ニューロン間の接続重みは、データの計算方法をネットワークに指示する学習されたニューラルプログラムを表す。
しかし、ニューラルプログラムを格納する外部メモリがなければ、1つに制限され、新しいデータでトレーニングされた時に学習プログラムを上書きする。
これは特殊目的のコンピュータと機能的に等価である。
ここでは、ニューラルネットワークがデータ応答性のある方法で、共有可能なモジュールプログラムの集合から関連するプログラムを構成する、全く新しい汎用的条件計算マシンであるNeurocoderを設計する。
これは、単純なレゴブロックからレゴ構造を構築するのに似ています。
特に、私たちのレンガは学習によって形を変えます。
外部メモリはモジュールプログラムの作成、保存、検索に使用される。
現在のコンピュータと同様に、neurocoderは様々なプログラムにアクセスして異なるデータを処理することができる。
手動のコンピュータプログラムとは異なり、neurocoderはトレーニングを通じてプログラムを作成する。
ニューロコーダを現在のニューラル・アーキテクチャに統合することで,モジュール型プログラムを学習し,厳格なパターンシフトを処理し,新しいプログラムが学習されるにつれて古いプログラムを記憶し,オブジェクト認識の解決やビデオゲームのプレイ,継続的な学習タスクにおいて実質的なパフォーマンス向上を示す。
このようなNeurocoderとの統合は、現在のニューラルネットワークの計算能力を高め、複雑なプログラムを構築するための単純なプログラムを再利用する全く新しい能力を提供する。
初めて、ニューラルプログラムは、モジュール型、再帰型、手続き型ニューラルプログラミングの方法を舗装して、メモリ上のデータムとして扱われる。
関連論文リスト
- Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - A Sparse Quantized Hopfield Network for Online-Continual Memory [0.0]
神経系は、ノイズの多いデータポイントのストリームが非独立で同一に分散された(非i.d.)方法で提示されるオンライン学習を行う。
一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。
我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
論文 参考訳（メタデータ） (2023-07-27T17:46:17Z) - The Clock and the Pizza: Two Stories in Mechanistic Explanation of
Neural Networks [59.26515696183751]
ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。
単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
論文 参考訳（メタデータ） (2023-06-30T17:59:13Z) - A Neural Lambda Calculus: Neurosymbolic AI meets the foundations of
computing and functional programming [0.0]
我々は、プログラム全体の実行方法を学ぶニューラルネットワークの能力を分析する。
統合型ニューラルラーニングと電卓形式化の導入について紹介する。
論文 参考訳（メタデータ） (2023-04-18T20:30:16Z) - Neuromorphic Artificial Intelligence Systems [58.1806704582023]
フォン・ノイマンアーキテクチャと古典的ニューラルネットワークに基づく現代のAIシステムは、脳と比較して多くの基本的な制限がある。
この記事では、そのような制限と、それらが緩和される方法について論じる。
これは、これらの制限が克服されている現在利用可能なニューロモーフィックAIプロジェクトの概要を示す。
論文 参考訳（メタデータ） (2022-05-25T20:16:05Z) - A Robust Learning Rule for Soft-Bounded Memristive Synapses Competitive
with Supervised Learning in Standard Spiking Neural Networks [0.0]
理論神経科学における見解は、脳を機能計算装置と見なしている。
関数を近似できることは、将来の脳研究のための基礎となる公理である。
本研究では,非自明な多次元関数の学習に,ニオブをドープしたチタン酸ストロンチウムの旋律的シナプスを制御した新しい教師付き学習アルゴリズムを適用する。
論文 参考訳（メタデータ） (2022-04-12T10:21:22Z) - Memory and attention in deep learning [19.70919701635945]
マシンのメモリ構成は避けられない。
ディープラーニングにおけるメモリモデリングの最近の進歩は、外部メモリ構築を中心に展開されている。
この論文の目的は、深層学習における記憶と注意に対する理解を深めることである。
論文 参考訳（メタデータ） (2021-07-03T09:21:13Z) - Applications of Deep Neural Networks with Keras [0.0]
ディープラーニングにより、ニューラルネットワークは人間の脳の機能のような方法で情報の階層を学習することができる。
本コースでは,従来のニューラルネットワーク構造であるConversa Neural Networks (CNN), Long Short-Term Memory (LSTM), Gated Recurrent Neural Networks (GRU), General Adrial Networks (GAN)を紹介する。
論文 参考訳（メタデータ） (2020-09-11T22:09:10Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。