論文の概要: Incorporating Neuro-Inspired Adaptability for Continual Learning in
Artificial Intelligence
- arxiv url: http://arxiv.org/abs/2308.14991v2
- Date: Thu, 9 Nov 2023 12:00:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-10 17:44:17.725888
- Title: Incorporating Neuro-Inspired Adaptability for Continual Learning in
Artificial Intelligence
- Title(参考訳): 人工知能における連続学習への神経インスパイアされた適応性の導入
- Authors: Liyuan Wang, Xingxing Zhang, Qian Li, Mingtian Zhang, Hang Su, Jun
Zhu, Yi Zhong
- Abstract要約: 継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。
既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。
本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
- 参考スコア(独自算出の注目度): 59.11038175596807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning aims to empower artificial intelligence (AI) with strong
adaptability to the real world. For this purpose, a desirable solution should
properly balance memory stability with learning plasticity, and acquire
sufficient compatibility to capture the observed distributions. Existing
advances mainly focus on preserving memory stability to overcome catastrophic
forgetting, but remain difficult to flexibly accommodate incremental changes as
biological intelligence (BI) does. By modeling a robust Drosophila learning
system that actively regulates forgetting with multiple learning modules, here
we propose a generic approach that appropriately attenuates old memories in
parameter distributions to improve learning plasticity, and accordingly
coordinates a multi-learner architecture to ensure solution compatibility.
Through extensive theoretical and empirical validation, our approach not only
clearly enhances the performance of continual learning, especially over
synaptic regularization methods in task-incremental settings, but also
potentially advances the understanding of neurological adaptive mechanisms,
serving as a novel paradigm to progress AI and BI together.
- Abstract(参考訳): 継続的な学習は、現実世界に強い適応性を持つ人工知能(AI)を強化することを目的としている。
この目的のためには、メモリ安定性と学習可塑性を適切にバランスさせ、観測された分布を捉えるのに十分な互換性を得る必要がある。
既存の進歩は主に破滅的な忘れを克服するために記憶の安定性を維持することに集中しているが、生物知能(bi)のように漸進的な変化を柔軟に対応させることは難しいままである。
本稿では,複数の学習モジュールによる記憶を積極的に制御する堅牢なショウジョウバエ学習システムをモデル化することにより,パラメータ分布の古い記憶を適切に抑制し,学習の可塑性を向上し,ソリューションの互換性を確保するために複数階層アーキテクチャをコーディネートする手法を提案する。
広範な理論的検証と経験的検証を通じて、このアプローチは、連続学習のパフォーマンス、特にタスク・インクリメンタルな設定におけるシナプス正規化法よりも明らかに向上するだけでなく、神経学的適応機構の理解を前進させ、aiとbiを共に進めるための新しいパラダイムとなる可能性がある。
関連論文リスト
- Neural Contractive Dynamical Systems [13.046426079291376]
完全自律型ロボットが望ましくない、あるいは潜在的に有害な行動を起こさないためには、安定性の保証が不可欠である。
本稿では,ニューラルアーキテクチャが収縮を保証するニューラル収縮力学系を学習するための新しい手法を提案する。
提案手法は, 現状技術よりも所望の力学を正確に符号化し, 安定性の保証がより少ないことを示す。
論文 参考訳(メタデータ) (2024-01-17T17:18:21Z) - Task adaption by biologically inspired stochastic comodulation [8.59194778459436]
我々は、利得変調による微調整畳み込みネットワークが、決定論的利得変調を改善することを示す。
この結果から,コモディレーション表現はマルチタスク学習における学習効率と性能を向上させることが示唆された。
論文 参考訳(メタデータ) (2023-11-25T15:21:03Z) - A Novel Neural-symbolic System under Statistical Relational Learning [50.747658038910565]
本稿では,GBPGRと呼ばれる2段階の確率的グラフィカル推論フレームワークを提案する。
GBPGRでは、シンボル推論の結果を用いて、ディープラーニングモデルによる予測を洗練し、修正する。
提案手法は高い性能を示し, 帰納的タスクと帰納的タスクの両方において効果的な一般化を示す。
論文 参考訳(メタデータ) (2023-09-16T09:15:37Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment
Regularization [57.71118589124002]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - Learning the Plasticity: Plasticity-Driven Learning Framework in Spiking
Neural Networks [9.25919593660244]
スパイクニューラルネットワーク(SNN)の新しいパラダイム
塑性駆動学習フレームワーク(PDLF)
PDLFは機能的およびシナプス依存的塑性の概念を再定義する。
論文 参考訳(メタデータ) (2023-08-23T11:11:31Z) - Improving Performance in Continual Learning Tasks using Bio-Inspired
Architectures [4.2903672492917755]
我々は,シナプスの可塑性機構とニューロ変調を組み込んだ,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。
提案手法により,Split-MNIST,Split-CIFAR-10,Split-CIFAR-100データセット上でのオンライン連続学習性能が向上する。
さらに,鍵設計概念を他のバックプロパゲーションに基づく連続学習アルゴリズムに統合することにより,提案手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-08-08T19:12:52Z) - Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks
in Continual Learning [23.15206507040553]
本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。
ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。
より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
論文 参考訳(メタデータ) (2023-03-16T17:00:42Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-02-11T21:07:30Z) - The least-control principle for learning at equilibrium [65.2998274413952]
我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。
私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
論文 参考訳(メタデータ) (2022-07-04T11:27:08Z) - Efficient Model-based Multi-agent Reinforcement Learning via Optimistic
Equilibrium Computation [93.52573037053449]
H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。
自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
論文 参考訳(メタデータ) (2022-03-14T17:24:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。