論文の概要: A Neural Network Model of Continual Learning with Cognitive Control
- arxiv url: http://arxiv.org/abs/2202.04773v1
- Date: Wed, 9 Feb 2022 23:53:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-12 06:14:50.937842
- Title: A Neural Network Model of Continual Learning with Cognitive Control
- Title（参考訳）: 認知制御を用いた連続学習のニューラルネットワークモデル
- Authors: Jacob Russin, Maryam Zolfaghar, Seongmin A. Park, Erie Boorman,
Randall C. O'Reilly
- Abstract要約: 本研究では,認知制御機構を備えたニューラルネットワークが,トライアルがブロックされた場合に破滅的な忘れを生じさせないことを示す。
さらに、制御信号にアクティブなメンテナンスのバイアスがある場合、インターリービングをブロックする利点を示す。
我々の研究は、ニューラルネットワークにおける継続的な学習を支援する認知制御の可能性を強調し、人体で観察されたブロックの利点を説明する。
- 参考スコア（独自算出の注目度）: 1.8051006704301769
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks struggle in continual learning settings from catastrophic
forgetting: when trials are blocked, new learning can overwrite the learning
from previous blocks. Humans learn effectively in these settings, in some cases
even showing an advantage of blocking, suggesting the brain contains mechanisms
to overcome this problem. Here, we build on previous work and show that neural
networks equipped with a mechanism for cognitive control do not exhibit
catastrophic forgetting when trials are blocked. We further show an advantage
of blocking over interleaving when there is a bias for active maintenance in
the control signal, implying a tradeoff between maintenance and the strength of
control. Analyses of map-like representations learned by the networks provided
additional insights into these mechanisms. Our work highlights the potential of
cognitive control to aid continual learning in neural networks, and offers an
explanation for the advantage of blocking that has been observed in humans.
- Abstract（参考訳）: ニューラルネットワークは、破滅的な忘れから連続的な学習環境に苦しむ:トライアルがブロックされると、新しい学習は以前のブロックからの学習を上書きできる。
人間はこれらの環境で効果的に学習し、場合によってはブロックの利点も示し、脳がこの問題を克服するためのメカニズムを含んでいることを示唆する。
本稿では,先行研究に基づいて,認知制御機構を備えたニューラルネットワークが,試行が中止された場合の破滅的な忘れ方を示さないことを示す。
また、制御信号にアクティブな保守のバイアスがある場合、インターリーブによるブロックの利点を示し、メンテナンスと制御の強さのトレードオフを示唆する。
ネットワークによって学習されたマップライクな表現の分析は、これらのメカニズムに関する追加の洞察を提供した。
我々の研究は、ニューラルネットワークにおける継続的な学習を支援する認知制御の可能性を強調し、人間の観察したブロックの利点を説明する。
関連論文リスト
- Avoiding Catastrophic Forgetting in Visual Classification Using Human
Concept Formation [0.8159711103888622]
我々は,人間に似た学習システムであるCobweb上に構築された新しい視覚分類手法であるCobweb4Vを提案する。
本研究では,視覚概念の学習におけるCobweb4Vの有効性を示す総合的な評価を行う。
これらの特徴は、人間の認知における学習戦略と一致し、Cobweb4Vをニューラルネットワークアプローチの有望な代替品として位置づけている。
論文 参考訳（メタデータ） (2024-02-26T17:20:16Z) - Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T15:51:01Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Investigating Human-Identifiable Features Hidden in Adversarial
Perturbations [54.39726653562144]
我々の研究では、最大5つの攻撃アルゴリズムを3つのデータセットにわたって探索する。
対人摂動における人間の識別可能な特徴を同定する。
画素レベルのアノテーションを用いて、そのような特徴を抽出し、ターゲットモデルに妥協する能力を実証する。
論文 参考訳（メタデータ） (2023-09-28T22:31:29Z) - The least-control principle for learning at equilibrium [65.2998274413952]
我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。
私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
論文 参考訳（メタデータ） (2022-07-04T11:27:08Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳（メタデータ） (2022-05-30T18:04:57Z) - Learning by Active Forgetting for Neural Networks [36.47528616276579]
記憶と忘れのメカニズムは、人間の学習記憶システムにおいて、同じコインの2つの側面である。
現代の機械学習システムは、記憶を良くすることで、生涯にわたる学習能力を持つ機械を育むために取り組んできた。
本稿では,ニューラルネットワークを用いた能動的記憶機構による学習モデルを提案する。
論文 参考訳（メタデータ） (2021-11-21T14:55:03Z) - Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。
ネットワークの学習力学を様々な観点から研究する。
論文 参考訳（メタデータ） (2021-10-21T23:49:23Z) - Cortico-cerebellar networks as decoupling neural interfaces [1.1879716317856945]
脳は信用代入問題を著しく解決する。
ニューラルネットワークにまたがってクレジットを割り当てるには、原則として、特定のニューラルネットワーク計算が完了するのを待つ必要がある。
ディープラーニングの手法は、フォワードとフィードバックのフェーズの両方で、同様のロックの制約に悩まされる。
そこで本研究では、大脳皮質がDNIと同様のロック問題を解くのに役立つ特化脳野である小脳を提案する。
論文 参考訳（メタデータ） (2021-10-21T22:02:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。