論文の概要: Context selectivity with dynamic availability enables lifelong continual learning

• arxiv url: http://arxiv.org/abs/2306.01690v2
• Date: Thu, 25 Jan 2024 12:41:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 18:26:24.804957
• Title: Context selectivity with dynamic availability enables lifelong continual learning
• Title（参考訳）: ダイナミックアベイラビリティによるコンテキスト選択は生涯連続学習を可能にする
• Authors: Martin Barry, Wulfram Gerstner, Guillaume Bellec
• Abstract要約: 脳は複雑なスキルを学び、何年も練習を止め、その間に他のスキルを学び、必要なときに元の知識を取り戻すことができる。 本稿では,生涯学習における古典的な研究を基盤とした,生物工学的なメタ塑性制御法を提案する。 ニューロン選択性とニューロン全体の統合は、脳内でCLを可能にするための、シンプルで実行可能なメタ可塑性仮説であることを示す。
• 参考スコア（独自算出の注目度）: 8.828725115733986
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: "You never forget how to ride a bike", -- but how is that possible? The brain is able to learn complex skills, stop the practice for years, learn other skills in between, and still retrieve the original knowledge when necessary. The mechanisms of this capability, referred to as lifelong learning (or continual learning, CL), are unknown. We suggest a bio-plausible meta-plasticity rule building on classical work in CL which we summarize in two principles: (i) neurons are context selective, and (ii) a local availability variable partially freezes the plasticity if the neuron was relevant for previous tasks. In a new neuro-centric formalization of these principles, we suggest that neuron selectivity and neuron-wide consolidation is a simple and viable meta-plasticity hypothesis to enable CL in the brain. In simulation, this simple model balances forgetting and consolidation leading to better transfer learning than contemporary CL algorithms on image recognition and natural language processing CL benchmarks.
• Abstract（参考訳）: 「自転車の乗り方を決して忘れないのに、どうすればいいの?」 脳は複雑なスキルを学び、何年も練習を止め、その間に他のスキルを学び、必要なときに元の知識を取り戻すことができる。 この能力のメカニズムは、生涯学習(または連続学習、CL)と呼ばれるが、不明である。 我々はclの古典的作業に基づく生体可塑性規則を提案し,2つの原則をまとめる。 (i)ニューロンは文脈選択的であり、 (2)ニューロンが以前のタスクに関係していた場合、局所可用性変数は部分的に可塑性を凍結する。 これらの原理の新しい神経中心形式化において、ニューロン選択性とニューロン全体の統合は、脳内のclを可能にするためのシンプルで実行可能なメタ可塑性仮説であることが示唆された。 シミュレーションでは、この単純なモデルは、画像認識や自然言語処理のCLベンチマークにおいて、現代のCLアルゴリズムよりも優れた転送学習をもたらす。

関連論文リスト

• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• CHANI: Correlation-based Hawkes Aggregation of Neurons with bio-Inspiration [7.26259898628108]
  本研究の目的は,生物学にインスパイアされたニューラルネットワークが,局所的な変換のみによって分類タスクを学習できることを数学的に証明することである。 我々は、ホークス過程によってニューロンの活動がモデル化されるCHANIというスパイクニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T07:17:58Z)
• Curriculum effects and compositionality emerge with in-context learning in neural networks [15.744573869783972]
  In-context learning (ICL) が可能なネットワークは、ルールが支配するタスクにおいて、人間のような学習や構成の振る舞いを再現できることを示す。 我々の研究は、創発性ICLがニューラルネットワークに、伝統的に帰属するものと根本的に異なる学習特性を持たせる方法を示している。
  論文  参考訳（メタデータ） (2024-02-13T18:55:27Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Flexible Phase Dynamics for Bio-Plausible Contrastive Learning [11.179324762680297]
  Contrastive Learning (CL)アルゴリズムは、伝統的に剛性、時間的に非局所的、周期的な学習ダイナミクスで実装されている。 この研究は、CLが生物学的またはニューロモルフィックシステムによってどのように実装されるかを研究する研究に基づいている。 このような学習は時間的に局所的に行うことができ、標準的な訓練手順の動的要求の多くを緩和しても機能することを示す。
  論文  参考訳（メタデータ） (2023-02-24T03:18:45Z)
• Bio-Inspired, Task-Free Continual Learning through Activity Regularization [3.5502600490147196]
  継続的学習アプローチは通常、個別のタスク境界を必要とする。 我々は神経科学からインスピレーションを得ており、忘れるのを防ぐために、スパースで重複しない神経表現が提案されている。 空間性に加えて,各層に横方向のリカレント接続を導入し,事前学習した表現をさらに保護する。 本手法は,タスク境界に関する情報を必要とせずに,弾性重み統合やシナプスインテリジェンスなどのよく知られたCL手法と類似した性能を実現する。
  論文  参考訳（メタデータ） (2022-12-08T15:14:20Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
  我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。 人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
  論文  参考訳（メタデータ） (2021-02-18T14:53:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。