論文の概要: Thalamus: a brain-inspired algorithm for biologically-plausible
continual learning and disentangled representations
- arxiv url: http://arxiv.org/abs/2205.11713v1
- Date: Tue, 24 May 2022 01:29:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 15:10:30.990614
- Title: Thalamus: a brain-inspired algorithm for biologically-plausible
continual learning and disentangled representations
- Title（参考訳）: Thalamus: 生物学的に証明可能な連続学習と非絡み合い表現のための脳誘発アルゴリズム
- Authors: Ali Hummos
- Abstract要約: 動物は絶えず変化する環境の中で成長し、時間構造を利用して因果表現を学ぶ。
本稿では,時間的文脈の内部表現を生成するために,推論時に最適化を利用する単純なアルゴリズムを提案する。
従来の重み付け更新を用いて一連のタスクをトレーニングしたネットワークが,タスクを動的に推論できることを示す。
次に、ウェイト更新と潜伏更新を交互に切り替えて、未ラベルのタスクストリーム内の非絡み合った表現を発見することができるタスク非依存のアルゴリズムであるTalamusに到達します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Animals thrive in a constantly changing environment and leverage the temporal
structure to learn well-factorized causal representations. In contrast,
traditional neural networks suffer from forgetting in changing environments and
many methods have been proposed to limit forgetting with different trade-offs.
Inspired by the brain thalamocortical circuit, we introduce a simple algorithm
that uses optimization at inference time to generate internal representations
of temporal context and to infer current context dynamically, allowing the
agent to parse the stream of temporal experience into discrete events and
organize learning about them. We show that a network trained on a series of
tasks using traditional weight updates can infer tasks dynamically using
gradient descent steps in the latent task embedding space (latent updates). We
then alternate between the weight updates and the latent updates to arrive at
Thalamus, a task-agnostic algorithm capable of discovering disentangled
representations in a stream of unlabeled tasks using simple gradient descent.
On a continual learning benchmark, it achieves competitive end average accuracy
and demonstrates knowledge transfer. After learning a subset of tasks it can
generalize to unseen tasks as they become reachable within the well-factorized
latent space, through one-shot latent updates. The algorithm meets many of the
desiderata of an ideal continually learning agent in open-ended environments,
and its simplicity suggests fundamental computations in circuits with abundant
feedback control loops such as the thalamocortical circuits in the brain.
- Abstract（参考訳）: 動物は絶えず変化する環境の中で成長し、時間的構造を利用してよくリファクタリングされた因果表現を学ぶ。
対照的に、従来のニューラルネットワークは環境の変化を忘れることに苦しめられ、異なるトレードオフで忘れることを制限するために多くの方法が提案されている。
脳視床皮質回路に触発されて,時間的文脈の内部表現を推定し,現在の文脈を動的に推測し,エージェントが時間的経験の流れを離散的な事象に解析し,それらの学習を組織化する,単純なアルゴリズムを導入する。
従来の重み付け更新を用いて一連のタスクをトレーニングしたネットワークは、潜時タスク埋め込み空間における勾配降下ステップを用いて動的にタスクを推論できる(レイトアップデート)。
次に、重み更新と潜伏更新を交互に交互に行い、単純な勾配勾配勾配を用いてラベル付けされていないタスクのストリーム内で不整合表現を発見できるタスク非依存アルゴリズムであるTalamusに到達します。
連続学習ベンチマークでは、競合平均精度を達成し、知識伝達を実証する。
タスクのサブセットを学んだ後、一発の潜伏更新を通じて、十分にリファクタリングされた潜伏空間内で到達可能なタスクに一般化することができる。
このアルゴリズムは、オープンエンド環境での理想的な学習エージェントのデシラタの多くに適合し、その単純さは脳の視床皮質回路のような豊富なフィードバック制御ループを持つ回路の基本的な計算を示唆している。
関連論文リスト
- Flexible task abstractions emerge in linear networks with fast and bounded units [47.11054206483159]
重みとゲートが勾配降下によって協調的に最適化される線形ゲートネットワークを解析する。
その結果,タスクの抽象化はタスクとサブタスクの合成による一般化を支援することがわかった。
我々の研究は、シナプス的および神経的ゲーティングにおける関節勾配降下から生じる動物の認知的柔軟性の理論を提供する。
論文 参考訳（メタデータ） (2024-11-06T11:24:02Z) - Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
連続学習を逐次関数空間変動推論として定式化した目的を提案する。
ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。
タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
論文 参考訳（メタデータ） (2023-12-28T18:44:32Z) - Understanding Activation Patterns in Artificial Neural Networks by
Exploring Stochastic Processes [0.0]
我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。
我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。
各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
論文 参考訳（メタデータ） (2023-08-01T22:12:30Z) - The Clock and the Pizza: Two Stories in Mechanistic Explanation of
Neural Networks [59.26515696183751]
ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。
単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
論文 参考訳（メタデータ） (2023-06-30T17:59:13Z) - IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文 参考訳（メタデータ） (2023-06-18T05:26:49Z) - Learning to Modulate Random Weights: Neuromodulation-inspired Neural
Networks For Efficient Continual Learning [1.9580473532948401]
生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。
学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
論文 参考訳（メタデータ） (2022-04-08T21:12:13Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳（メタデータ） (2022-03-08T09:57:48Z) - Natural continual learning: success is a journey, not (just) a
destination [9.462808515258464]
自然継続学習(NCL)は、重み付け正規化と射影勾配降下を統一する新しい手法である。
提案手法は,RNNにおける連続学習問題に適用した場合,標準重み付け正規化手法とプロジェクションベースアプローチの両方に優れる。
トレーニングされたネットワークは、生体回路の実験的な発見と同様に、新しいタスクが学習されると強く保存されるタスク固有ダイナミクスを進化させる。
論文 参考訳（メタデータ） (2021-06-15T12:24:53Z) - Faster Biological Gradient Descent Learning [0.0]
バックプロパゲーション(back-proagation)は、ニューラルネットワークのトレーニングと教師あり学習に勾配勾配を利用する、一般的な機械学習アルゴリズムである。
トレーニング時間を短縮できる単純で局所的な勾配勾配勾配最適化アルゴリズムを考案した。
我々のアルゴリズムは、特に小さなネットワークで学習を高速化する。
論文 参考訳（メタデータ） (2020-09-27T05:26:56Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。