Fugu-MT 論文翻訳(概要): The Emergence of Abstract and Episodic Neurons in Episodic Meta-RL

論文の概要: The Emergence of Abstract and Episodic Neurons in Episodic Meta-RL

arxiv url: http://arxiv.org/abs/2104.02959v1
Date: Wed, 7 Apr 2021 07:25:52 GMT
ステータス: 処理完了
システム内更新日: 2021-04-08 21:21:54.383154
Title: The Emergence of Abstract and Episodic Neurons in Episodic Meta-RL
Title（参考訳）: エピソードメタRLにおける抽象ニューロンとエピソードニューロンの出現
Authors: Badr AlKhamissi, Muhammad ElNokrashy, Michael Spranger
Abstract要約: 我々はリッターらが導入したリテンション機構を解析した。 2種類のニューロンを明らかにすることです抽象ニューロンはタスク間で共有される知識をエンコードし、エピソドニューロンは特定のエピソードのタスクに関連する情報を運ぶ。
参考スコア（独自算出の注目度）: 5.607676459156789
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: In this work, we analyze the reinstatement mechanism introduced by Ritter et al. (2018) to reveal two classes of neurons that emerge in the agent's working memory (an epLSTM cell) when trained using episodic meta-RL on an episodic variant of the Harlow visual fixation task. Specifically, Abstract neurons encode knowledge shared across tasks, while Episodic neurons carry information relevant for a specific episode's task.
Abstract（参考訳）: 本稿では,リッターらが導入したリテンション機構を解析する。 (2018)は、ハーロウ視覚固定タスクのエピソード変種において、エピソードメタRLを用いて訓練すると、エージェントのワーキングメモリ(epLSTM細胞)に現れる2種類のニューロンを明らかにする。具体的には、抽象ニューロンはタスク間で共有される知識を符号化し、エピソードニューロンは特定のエピソードのタスクに関連する情報を運ぶ。

関連論文リスト

Brain-like Functional Organization within Large Language Models [58.93629121400745]
人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
論文参考訳（メタデータ） (2024-10-25T13:15:17Z)
Towards Understanding Multi-Task Learning (Generalization) of LLMs via Detecting and Exploring Task-Specific Neurons [45.04661608619081]
大規模言語モデル(LLM)におけるタスク依存ニューロンは,タスク固有データに対する勾配属性によって検出される。タスク固有のニューロンの重複は、タスク間の一般化と特殊化と強く関連している。連続学習において,現在のタスク固有ニューロンのみを微調整するニューロンレベルの連続微調整法を提案する。
論文参考訳（メタデータ） (2024-07-09T01:27:35Z)
Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
論文参考訳（メタデータ） (2024-06-13T16:04:11Z)
Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。以上の結果から,ニューロンのスケーラブルな理解は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
論文参考訳（メタデータ） (2024-06-06T17:59:52Z)
Episodic Memory Theory for the Mechanistic Interpretation of Recurrent Neural Networks [3.683202928838613]
本稿では,最近提案された一般逐次記憶モデルにおいて,RNNを離散時間アナログとして概念化できるという,エピソード記憶理論(EMT)を提案する。本稿では,RNNにおける変数結合の振る舞いを探索するアルゴリズムを新たに導入する。実験により、訓練されたRNNは可変結合回路に一貫して収束し、RNNのダイナミクスの普遍性を示すことが明らかとなった。
論文参考訳（メタデータ） (2023-10-03T20:52:37Z)
The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文参考訳（メタデータ） (2023-06-14T13:34:13Z)
Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文参考訳（メタデータ） (2022-12-08T15:16:04Z)
When, where, and how to add new neurons to ANNs [3.0969191504482243]
ANNの神経新生は、プルーニングのような他の形態の構造学習と比較しても、未調査で難しい問題である。神経新生の様々な側面、すなわち学習過程においてニューロンをいつ、どこで、どのように追加するかを研究するための枠組みを紹介する。
論文参考訳（メタデータ） (2022-02-17T09:32:08Z)
Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文参考訳（メタデータ） (2021-04-22T04:01:32Z)
When Noise meets Chaos: Stochastic Resonance in Neurochaos Learning [0.0]
ニューロカオス学習(NL)における共鳴(SR)現象の実証 SRはNLの単一ニューロンのレベルで発現し、効率的なサブスレッショルド信号検出を可能にする。ニューロカオス学習における中間レベルのノイズは、分類タスクにおけるピークパフォーマンスを実現する。
論文参考訳（メタデータ） (2021-02-02T05:16:55Z)
Low-Dimensional Manifolds Support Multiplexed Integrations in Recurrent Neural Networks [0.0]
本稿では,1つまたは複数の時間信号を統合するために訓練されたリカレントニューラルネットワークにおける学習力学と表現について検討する。線形ニューロンとReLUニューロンの両方に対して、その内部状態が活性化関数に関係したD次元多様体に近く存在することを示す。
論文参考訳（メタデータ） (2020-11-20T14:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。