論文の概要: Geometry of naturalistic object representations in recurrent neural network models of working memory
- arxiv url: http://arxiv.org/abs/2411.02685v1
- Date: Mon, 04 Nov 2024 23:57:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-06 15:00:32.846182
- Title: Geometry of naturalistic object representations in recurrent neural network models of working memory
- Title（参考訳）: 作業記憶の繰り返しニューラルネットワークモデルにおける自然主義的対象表現の幾何学
- Authors: Xiaoxuan Lei, Takuya Ito, Pouya Bashivan,
- Abstract要約: ニューラルネットワークの動作記憶において、自然言語的対象情報がいかに維持されているかを示す。
この結果から, ゴール駆動型RNNでは, 短時間で情報を追跡するために, 時系列メモリサブスペースが使用されていることが示唆された。
- 参考スコア（独自算出の注目度）: 2.028720028008411
- License:
- Abstract: Working memory is a central cognitive ability crucial for intelligent decision-making. Recent experimental and computational work studying working memory has primarily used categorical (i.e., one-hot) inputs, rather than ecologically relevant, multidimensional naturalistic ones. Moreover, studies have primarily investigated working memory during single or few cognitive tasks. As a result, an understanding of how naturalistic object information is maintained in working memory in neural networks is still lacking. To bridge this gap, we developed sensory-cognitive models, comprising a convolutional neural network (CNN) coupled with a recurrent neural network (RNN), and trained them on nine distinct N-back tasks using naturalistic stimuli. By examining the RNN's latent space, we found that: (1) Multi-task RNNs represent both task-relevant and irrelevant information simultaneously while performing tasks; (2) The latent subspaces used to maintain specific object properties in vanilla RNNs are largely shared across tasks, but highly task-specific in gated RNNs such as GRU and LSTM; (3) Surprisingly, RNNs embed objects in new representational spaces in which individual object features are less orthogonalized relative to the perceptual space; (4) The transformation of working memory encodings (i.e., embedding of visual inputs in the RNN latent space) into memory was shared across stimuli, yet the transformations governing the retention of a memory in the face of incoming distractor stimuli were distinct across time. Our findings indicate that goal-driven RNNs employ chronological memory subspaces to track information over short time spans, enabling testable predictions with neural data.
- Abstract（参考訳）: ワーキングメモリは、インテリジェントな意思決定に不可欠な中心的な認知能力である。
ワーキングメモリを研究する最近の実験的および計算的な研究は、主に生態学的に関係のある多次元自然主義的なものではなく、分類学的(すなわち1ホット)な入力を用いている。
さらに、研究は主に、単一または少数の認知タスクにおける作業記憶について研究してきた。
結果として、ニューラルネットワークのワーキングメモリにおいて、自然主義的なオブジェクト情報がいかに維持されているかの理解は、いまだに欠如している。
このギャップを埋めるために、我々は畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)を結合した感覚認知モデルを開発し、自然主義的刺激を用いて9つの異なるN-backタスクで訓練した。
1)タスク実行中にタスク関連情報と非関連情報の両方を同時に表現するマルチタスクRNN,(2)バニラRNNにおける特定のオブジェクト特性を維持するために使用される潜在サブスペースはタスク間で大きく共有されているが,GRUやLSTMなどのゲート付きRNNではタスク特化度が高い,(3)個々のオブジェクトの特徴が知覚空間に対して直交しない新しい表現空間にオブジェクトを埋め込む,(4)ワーキングメモリエンコーディングの変換(つまり,RNN潜時空間に視覚入力を埋め込む)がメモリ間で共有されている,という結果を得た。
その結果、ゴール駆動型RNNでは、時系列メモリサブスペースを使用して、短時間で情報を追跡し、ニューラルデータによるテスト可能な予測を可能にすることが示唆された。
関連論文リスト
- Spiking representation learning for associative memories [0.0]
本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。
モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
論文 参考訳（メタデータ） (2024-06-05T08:30:11Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - Episodic Memory Theory for the Mechanistic Interpretation of Recurrent
Neural Networks [3.683202928838613]
本稿では,最近提案された一般逐次記憶モデルにおいて,RNNを離散時間アナログとして概念化できるという,エピソード記憶理論(EMT)を提案する。
本稿では,RNNにおける変数結合の振る舞いを探索するアルゴリズムを新たに導入する。
実験により、訓練されたRNNは可変結合回路に一貫して収束し、RNNのダイナミクスの普遍性を示すことが明らかとなった。
論文 参考訳（メタデータ） (2023-10-03T20:52:37Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Neuroevolution of a Recurrent Neural Network for Spatial and Working
Memory in a Simulated Robotic Environment [57.91534223695695]
我々は,ラットで観察される行動と神経活動を再現する進化的アルゴリズムを用いて,生物学的に有意なリカレントニューラルネットワーク(RNN)でウェイトを進化させた。
提案手法は, 進化したRNNの動的活動が, 興味深く複雑な認知行動をどのように捉えているかを示す。
論文 参考訳（メタデータ） (2021-02-25T02:13:52Z) - Slow manifolds in recurrent networks encode working memory efficiently
and robustly [0.0]
ワーキングメモリ(working memory)は、潜在情報の保存と操作を短時間で行う認知機能である。
作業メモリのネットワークレベルメカニズムを調べるために,トップダウンモデリング手法を用いる。
論文 参考訳（メタデータ） (2021-01-08T18:47:02Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z) - Exploring weight initialization, diversity of solutions, and degradation
in recurrent neural networks trained for temporal and decision-making tasks [0.0]
リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳機能と構造をモデル化するために頻繁に使用される。
本研究では,時間変化刺激による時間・流れ制御タスクを行うために,小型完全接続型RNNを訓練した。
論文 参考訳（メタデータ） (2019-06-03T21:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。