論文の概要: Towards continual task learning in artificial neural networks: current
approaches and insights from neuroscience
- arxiv url: http://arxiv.org/abs/2112.14146v1
- Date: Tue, 28 Dec 2021 13:50:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-31 03:50:20.259322
- Title: Towards continual task learning in artificial neural networks: current
approaches and insights from neuroscience
- Title（参考訳）: ニューラルネットワークにおけるタスク学習の継続に向けて : 神経科学からのアプローチと洞察
- Authors: David McCaffary
- Abstract要約: 人間や他の動物が、多様で、しばしば干渉し、知識の範囲を学習する能力は、自然知性の目印である。
人工知能がさまざまなタスクやドメインをまたいで学習できることは、人工知能の明確な目標である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The innate capacity of humans and other animals to learn a diverse, and often
interfering, range of knowledge and skills throughout their lifespan is a
hallmark of natural intelligence, with obvious evolutionary motivations. In
parallel, the ability of artificial neural networks (ANNs) to learn across a
range of tasks and domains, combining and re-using learned representations
where required, is a clear goal of artificial intelligence. This capacity,
widely described as continual learning, has become a prolific subfield of
research in machine learning. Despite the numerous successes of deep learning
in recent years, across domains ranging from image recognition to machine
translation, such continual task learning has proved challenging. Neural
networks trained on multiple tasks in sequence with stochastic gradient descent
often suffer from representational interference, whereby the learned weights
for a given task effectively overwrite those of previous tasks in a process
termed catastrophic forgetting. This represents a major impediment to the
development of more generalised artificial learning systems, capable of
accumulating knowledge over time and task space, in a manner analogous to
humans. A repository of selected papers and implementations accompanying this
review can be found at https://github.com/mccaffary/continual-learning.
- Abstract（参考訳）: 人間や他の動物が、人生を通して多様で、しばしば干渉し、様々な知識とスキルを身につける能力は、自然知性の目印であり、明らかに進化の動機である。
並行して、AIニューラルネットワーク(ANN)が、さまざまなタスクやドメインにわたって学習し、必要な場所で学習された表現を組み合わせて再利用できることは、人工知能の明確な目標である。
この能力は、継続学習として広く説明され、機械学習の研究の多くのサブフィールドとなっている。
近年のディープラーニングの成功にもかかわらず、画像認識から機械翻訳まで幅広い分野において、このような連続的なタスク学習は困難であることが証明されている。
確率勾配降下の順序で複数のタスクで訓練されたニューラルネットワークは、しばしば表現的干渉に悩まされるため、与えられたタスクの学習した重み付けは、破滅的忘れというプロセスにおいて、過去のタスクの重み付けを効果的に上書きする。
これは、人間に似た方法で時間とタスク空間に知識を蓄積できる、より一般化した人工知能システムの開発における大きな障害である。
このレビューに伴う論文と実装のリポジトリはhttps://github.com/mccaffary/continual-learning.comにある。
関連論文リスト
- Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Brain-Inspired Computational Intelligence via Predictive Coding [89.6335791546526]
予測符号化(PC)は、マシンインテリジェンスタスクにおいて有望なパフォーマンスを示している。
PCは様々な脳領域で情報処理をモデル化することができ、認知制御やロボティクスで使用することができる。
論文 参考訳（メタデータ） (2023-08-15T16:37:16Z) - Brain-inspired learning in artificial neural networks: a review [5.064447369892274]
人工ニューラルネットワークにおける脳にインスパイアされた学習表現について概説する。
これらのネットワークの能力を高めるために, シナプス可塑性などの生物学的に妥当な機構の統合について検討する。
論文 参考訳（メタデータ） (2023-05-18T18:34:29Z) - Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks [107.8565143456161]
本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。
結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。
トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
論文 参考訳（メタデータ） (2022-10-06T15:36:27Z) - Continual learning of quantum state classification with gradient
episodic memory [0.20646127669654826]
破滅的忘れという現象は、機械学習モデルが複数のタスクにわたって訓練されたときに発生する。
破滅的な忘れの問題に対処するために、いくつかの継続的な学習戦略が提案されている。
本研究では,変分量子分類器の学習に勾配エピソードメモリ法を取り入れた。
論文 参考訳（メタデータ） (2022-03-26T09:28:26Z) - Transferability in Deep Learning: A Survey [80.67296873915176]
知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。
本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。
我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
論文 参考訳（メタデータ） (2022-01-15T15:03:17Z) - Learning to acquire novel cognitive tasks with evolution, plasticity and
meta-meta-learning [3.8073142980733]
メタラーニングでは、ネットワークは外部アルゴリズムでトレーニングされ、タスクの新しいインスタンスごとに予測不可能な情報を取得し、保存し、活用する必要があるタスクを学習する。
ここでは、神経科学モデリングフレームワークに基づく単純なメタ学習タスクのセットで、プラスティック接続を備えたニューラルネットワークを進化させます。
進化したネットワークは、進化した神経組織と塑性構造を自発的に操作することで、トレーニング中に見ることのない、新しい単純な認知タスクを自動的に取得することができる。
論文 参考訳（メタデータ） (2021-12-16T03:18:01Z) - Multi-Task Neural Processes [105.22406384964144]
我々はマルチタスク学習のためのニューラル・プロセスの新たな変種であるマルチタスク・ニューラル・プロセスを開発する。
特に,各タスク改善のための帰納的バイアスを提供するために,関数空間内の関連するタスクから伝達可能な知識を探索することを提案する。
その結果、マルチタスク学習におけるタスク間の有用な知識の伝達におけるマルチタスクニューラルプロセスの有効性が示された。
論文 参考訳（メタデータ） (2021-11-10T17:27:46Z) - Efficient and robust multi-task learning in the brain with modular task
primitives [2.6166087473624318]
タスクプリミティブを具備したモジュールネットワークは,パラメータ数と更新率を低く保ちながら,複数のタスクを適切に学習することができることを示す。
また,本手法により得られたスキルは,他のマルチタスク学習戦略に比べて幅広い摂動に対してより堅牢であることを示す。
論文 参考訳（メタデータ） (2021-05-28T21:07:54Z) - Beneficial Perturbation Network for designing general adaptive
artificial intelligence systems [14.226973149346886]
我々は、動的状況に対応するために、ネットワーク外、タスク依存バイアスユニットを付加した新しいタイプのディープニューラルネットワークを提案する。
我々のアプローチはメモリ効率が高く、パラメータ効率が高く、多くのタスクに対応でき、様々なタスクやドメインで最先端のパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2020-09-27T01:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。