論文の概要: The Emergence of Abstract and Episodic Neurons in Episodic Meta-RL
- arxiv url: http://arxiv.org/abs/2104.02959v1
- Date: Wed, 7 Apr 2021 07:25:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-08 21:21:54.383154
- Title: The Emergence of Abstract and Episodic Neurons in Episodic Meta-RL
- Title(参考訳): エピソードメタRLにおける抽象ニューロンとエピソードニューロンの出現
- Authors: Badr AlKhamissi, Muhammad ElNokrashy, Michael Spranger
- Abstract要約: 我々はリッターらが導入したリテンション機構を解析した。
2種類のニューロンを 明らかにすることです
抽象ニューロンはタスク間で共有される知識をエンコードし、エピソドニューロンは特定のエピソードのタスクに関連する情報を運ぶ。
- 参考スコア(独自算出の注目度): 5.607676459156789
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this work, we analyze the reinstatement mechanism introduced by Ritter et
al. (2018) to reveal two classes of neurons that emerge in the agent's working
memory (an epLSTM cell) when trained using episodic meta-RL on an episodic
variant of the Harlow visual fixation task. Specifically, Abstract neurons
encode knowledge shared across tasks, while Episodic neurons carry information
relevant for a specific episode's task.
- Abstract(参考訳): 本稿では,リッターらが導入したリテンション機構を解析する。
(2018)は、ハーロウ視覚固定タスクのエピソード変種において、エピソードメタRLを用いて訓練すると、エージェントのワーキングメモリ(epLSTM細胞)に現れる2種類のニューロンを明らかにする。
具体的には、抽象ニューロンはタスク間で共有される知識を符号化し、エピソードニューロンは特定のエピソードのタスクに関連する情報を運ぶ。
関連論文リスト
- Interpreting Context Look-ups in Transformers: Investigating
Attention-MLP Interactions [21.733308901113137]
特定のトークンを予測する多層パーセプトロンにおいて,注目頭部と特殊な「次世代」ニューロンとの相互作用について検討する。
我々の分析では、特定のトークンの予測に関連するコンテキストを認識し、残りの接続を通じて関連するニューロンを活性化する注意頭を認識する。
論文 参考訳(メタデータ) (2024-02-23T02:15:47Z) - Episodic Memory Theory for the Mechanistic Interpretation of Recurrent
Neural Networks [3.683202928838613]
本稿では,最近提案された一般逐次記憶モデルにおいて,RNNを離散時間アナログとして概念化できるという,エピソード記憶理論(EMT)を提案する。
本稿では,RNNにおける変数結合の振る舞いを探索するアルゴリズムを新たに導入する。
実験により、訓練されたRNNは可変結合回路に一貫して収束し、RNNのダイナミクスの普遍性を示すことが明らかとなった。
論文 参考訳(メタデータ) (2023-10-03T20:52:37Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳(メタデータ) (2022-12-08T15:16:04Z) - When, where, and how to add new neurons to ANNs [3.0969191504482243]
ANNの神経新生は、プルーニングのような他の形態の構造学習と比較しても、未調査で難しい問題である。
神経新生の様々な側面、すなわち学習過程においてニューロンをいつ、どこで、どのように追加するかを研究するための枠組みを紹介する。
論文 参考訳(メタデータ) (2022-02-17T09:32:08Z) - Astrocytes mediate analogous memory in a multi-layer neuron-astrocytic
network [52.77024349608834]
情報の一部が数秒間堅牢な活動パターンとして維持され、他の刺激が来なければ完全に消滅することを示す。
この種の短期記憶は、操作情報を数秒保存し、次のパターンとの重複を避けるために完全に忘れてしまう。
任意のパターンをロードし、一定の間隔で保存し、適切な手掛かりパターンを入力に適用した場合に検索する方法について示す。
論文 参考訳(メタデータ) (2021-08-31T16:13:15Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - When Noise meets Chaos: Stochastic Resonance in Neurochaos Learning [0.0]
ニューロカオス学習(NL)における共鳴(SR)現象の実証
SRはNLの単一ニューロンのレベルで発現し、効率的なサブスレッショルド信号検出を可能にする。
ニューロカオス学習における中間レベルのノイズは、分類タスクにおけるピークパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-02-02T05:16:55Z) - Low-Dimensional Manifolds Support Multiplexed Integrations in Recurrent
Neural Networks [0.0]
本稿では,1つまたは複数の時間信号を統合するために訓練されたリカレントニューラルネットワークにおける学習力学と表現について検討する。
線形ニューロンとReLUニューロンの両方に対して、その内部状態が活性化関数に関係したD次元多様体に近く存在することを示す。
論文 参考訳(メタデータ) (2020-11-20T14:58:47Z) - The distribution of inhibitory neurons in the C. elegans connectome
facilitates self-optimization of coordinated neural activity [78.15296214629433]
線虫Caenorhabditis elegansの神経系は、昆虫のサイズが小さいにもかかわらず著しく複雑である。
一般的な課題は、システムレベルでの神経組織と神経活動の関係をよりよく理解することである。
我々は,各ニューロンの神経伝達物質同定を近似した,C. elegans Connectomeの抽象シミュレーションモデルを実装した。
論文 参考訳(メタデータ) (2020-10-28T23:11:37Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。