論文の概要: Incorporating Neuro-Inspired Adaptability for Continual Learning in Artificial Intelligence

• arxiv url: http://arxiv.org/abs/2308.14991v2
• Date: Thu, 9 Nov 2023 12:00:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 17:44:17.725888
• Title: Incorporating Neuro-Inspired Adaptability for Continual Learning in Artificial Intelligence
• Title（参考訳）: 人工知能における連続学習への神経インスパイアされた適応性の導入
• Authors: Liyuan Wang, Xingxing Zhang, Qian Li, Mingtian Zhang, Hang Su, Jun Zhu, Yi Zhong
• Abstract要約: 継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。 既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。 本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
• 参考スコア（独自算出の注目度）: 59.11038175596807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning aims to empower artificial intelligence (AI) with strong adaptability to the real world. For this purpose, a desirable solution should properly balance memory stability with learning plasticity, and acquire sufficient compatibility to capture the observed distributions. Existing advances mainly focus on preserving memory stability to overcome catastrophic forgetting, but remain difficult to flexibly accommodate incremental changes as biological intelligence (BI) does. By modeling a robust Drosophila learning system that actively regulates forgetting with multiple learning modules, here we propose a generic approach that appropriately attenuates old memories in parameter distributions to improve learning plasticity, and accordingly coordinates a multi-learner architecture to ensure solution compatibility. Through extensive theoretical and empirical validation, our approach not only clearly enhances the performance of continual learning, especially over synaptic regularization methods in task-incremental settings, but also potentially advances the understanding of neurological adaptive mechanisms, serving as a novel paradigm to progress AI and BI together.
• Abstract（参考訳）: 継続的な学習は、現実世界に強い適応性を持つ人工知能(AI)を強化することを目的としている。 この目的のためには、メモリ安定性と学習可塑性を適切にバランスさせ、観測された分布を捉えるのに十分な互換性を得る必要がある。 既存の進歩は主に破滅的な忘れを克服するために記憶の安定性を維持することに集中しているが、生物知能(bi)のように漸進的な変化を柔軟に対応させることは難しいままである。 本稿では,複数の学習モジュールによる記憶を積極的に制御する堅牢なショウジョウバエ学習システムをモデル化することにより,パラメータ分布の古い記憶を適切に抑制し,学習の可塑性を向上し,ソリューションの互換性を確保するために複数階層アーキテクチャをコーディネートする手法を提案する。 広範な理論的検証と経験的検証を通じて、このアプローチは、連続学習のパフォーマンス、特にタスク・インクリメンタルな設定におけるシナプス正規化法よりも明らかに向上するだけでなく、神経学的適応機構の理解を前進させ、aiとbiを共に進めるための新しいパラダイムとなる可能性がある。

関連論文リスト

• Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training [0.0]
  指数減衰と高度な反オーバーフィッティング戦略を統合する動的学習率アルゴリズムを開発した。 適応学習率の影響を受けて、損失関数の超レベル集合が常に連結であることを証明する。
  論文  参考訳（メタデータ） (2024-09-25T09:27:17Z)
• Neuromimetic metaplasticity for adaptive continual learning [2.1749194587826026]
  本研究では,人間の作業記憶にインスパイアされたメタ塑性モデルを提案する。 このアプローチの重要な側面は、安定から柔軟性までの異なるタイプのシナプスを実装し、それらをランダムに混在させて、柔軟性の異なるシナプス接続をトレーニングすることである。 このモデルは、追加の訓練や構造変更を必要とせず、メモリ容量と性能のバランスのとれたトレードオフを実現した。
  論文  参考訳（メタデータ） (2024-07-09T12:21:35Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Task adaption by biologically inspired stochastic comodulation [8.59194778459436]
  我々は、利得変調による微調整畳み込みネットワークが、決定論的利得変調を改善することを示す。 この結果から,コモディレーション表現はマルチタスク学習における学習効率と性能を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-11-25T15:21:03Z)
• A Novel Neural-symbolic System under Statistical Relational Learning [50.747658038910565]
  本稿では,GBPGRと呼ばれる2段階の確率的グラフィカル推論フレームワークを提案する。 GBPGRでは、シンボル推論の結果を用いて、ディープラーニングモデルによる予測を洗練し、修正する。 提案手法は高い性能を示し, 帰納的タスクと帰納的タスクの両方において効果的な一般化を示す。
  論文  参考訳（メタデータ） (2023-09-16T09:15:37Z)
• Learning the Plasticity: Plasticity-Driven Learning Framework in Spiking Neural Networks [9.25919593660244]
  スパイクニューラルネットワーク(SNN)の新しいパラダイム 塑性駆動学習フレームワーク(PDLF) PDLFは機能的およびシナプス依存的塑性の概念を再定義する。
  論文  参考訳（メタデータ） (2023-08-23T11:11:31Z)
• Improving Performance in Continual Learning Tasks using Bio-Inspired Architectures [4.2903672492917755]
  我々は,シナプスの可塑性機構とニューロ変調を組み込んだ,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 提案手法により,Split-MNIST,Split-CIFAR-10,Split-CIFAR-100データセット上でのオンライン連続学習性能が向上する。 さらに,鍵設計概念を他のバックプロパゲーションに基づく連続学習アルゴリズムに統合することにより,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-08T19:12:52Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。