論文の概要: Recurrent neural network models for working memory of continuous variables: activity manifolds, connectivity patterns, and dynamic codes

• arxiv url: http://arxiv.org/abs/2111.01275v2
• Date: Sat, 18 Dec 2021 07:52:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 16:39:51.996735
• Title: Recurrent neural network models for working memory of continuous variables: activity manifolds, connectivity patterns, and dynamic codes
• Title（参考訳）: 連続変数の動作記憶のためのリカレントニューラルネットワークモデル:活動多様体、接続パターン、動的符号
• Authors: Christopher J. Cueva, Adel Ardalan, Misha Tsodyks, Ning Qian
• Abstract要約: 我々は、以前に示した2つの刺激方向を報告するために、リカレントネットワークを訓練する。 2つの向きのアクティビティ多様体はクリフォードトーラスに類似している。 トレーニング条件を変化させることで、人間の行動はニューラルノイズの産物であり、2つの方向の順序関係のより安定した行動関連記憶に依存しているという仮説を検証、支持する。
• 参考スコア（独自算出の注目度）: 2.4598088471068555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many daily activities and psychophysical experiments involve keeping multiple items in working memory. When items take continuous values (e.g., orientation, contrast, length, loudness) they must be stored in a continuous structure of appropriate dimensions. We investigate how this structure is represented in neural circuits by training recurrent networks to report two previously shown stimulus orientations. We find the activity manifold for the two orientations resembles a Clifford torus. Although a Clifford and standard torus (the surface of a donut) are topologically equivalent, they have important functional differences. A Clifford torus treats the two orientations equally and keeps them in orthogonal subspaces, as demanded by the task, whereas a standard torus does not. We find and characterize the connectivity patterns that support the Clifford torus. Moreover, in addition to attractors that store information via persistent activity, our networks also use a dynamic code where units change their tuning to prevent new sensory input from overwriting the previously stored one. We argue that such dynamic codes are generally required whenever multiple inputs enter a memory system via shared connections. Finally, we apply our framework to a human psychophysics experiment in which subjects reported two remembered orientations. By varying the training conditions of the RNNs, we test and support the hypothesis that human behavior is a product of both neural noise and reliance on the more stable and behaviorally relevant memory of the ordinal relationship between the two orientations. This suggests that suitable inductive biases in RNNs are important for uncovering how the human brain implements working memory. Together, these results offer an understanding of the neural computations underlying a class of visual decoding tasks, bridging the scales from human behavior to synaptic connectivity.
• Abstract（参考訳）: 多くの日常的な活動や精神物理学的な実験は、複数の項目を作業記憶に保持する。 アイテムが連続的な値(例えば、向き、コントラスト、長さ、大声)を取るとき、それらは適切な次元の連続的な構造に格納されなければならない。 この構造が神経回路においてどのように表現されるのかを,前述した2つの刺激方向を報告するために再帰ネットワークを訓練することで検討する。 2つの方向のアクティビティ多様体はクリフォードトーラスに似ている。 クリフォードと標準的なトーラス(ドーナツの表面)は位相的に等価であるが、重要な機能的差異がある。 クリフォードトーラスは2つの向きを等しく扱い、タスクが要求する直交部分空間に保持するが、標準的なトーラスはそうではない。 私たちはクリフォードトーラスをサポートする接続パターンを見つけ、特徴付けします。 さらに、永続的な活動を通じて情報を格納するアトラクタに加えて、ユニットがチューニングを変更する動的コードを使用して、新しい感覚入力が以前記憶されていたものを上書きするのを防ぐ。 複数の入力が共有接続を介してメモリシステムに入る場合、このような動的コードは一般的に必要である。 最後に,本研究の枠組みを人間の心理物理学実験に適用し,被験者が2つの記憶方向を報告した。 rnnの訓練条件を変化させることで、人間の行動は神経雑音の産物であり、2つの方向間の順序関係のより安定かつ行動的に関連する記憶に依存するという仮説を検証、支持する。 これは、人間の脳がワーキングメモリをどのように実装しているかを明らかにするために、RNNの適切な誘導バイアスが重要であることを示唆している。 これらの結果は、人間の行動からシナプス接続までのスケールを橋渡しし、視覚デコーディングタスクのクラスの基礎となる神経計算を理解する。

関連論文リスト

• Geometry of naturalistic object representations in recurrent neural network models of working memory [2.028720028008411]
  ニューラルネットワークの動作記憶において、自然言語的対象情報がいかに維持されているかを示す。 この結果から, ゴール駆動型RNNでは, 短時間で情報を追跡するために, 時系列メモリサブスペースが使用されていることが示唆された。
  論文  参考訳（メタデータ） (2024-11-04T23:57:46Z)
• Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations [52.48094670415497]
  我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。 我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
  論文  参考訳（メタデータ） (2024-10-08T17:41:37Z)
• Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
  深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。 本稿では,DNNが2段階の相互作用を学習していることを明らかにする。 第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
  論文  参考訳（メタデータ） (2024-05-16T17:13:25Z)
• Learning dynamic representations of the functional connectome in neurobiological networks [41.94295877935867]
  我々は、生きた行動する動物のニューロン間の動的親和性を学ぶために、教師なしのアプローチを導入する。 本研究では,ニューロン間の因果関係を強く予測し,行動を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T19:54:25Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)
• Learning shared neural manifolds from multi-subject FMRI data [13.093635609349874]
  MRMD-AEmaniと呼ばれる,複数の被験者から共通の埋め込みを実験で学習するニューラルネットワークを提案する。 学習した共通空間は、テンポラル多様体(トレーニング中に見えない新しい点をマッピングできる)を表し、目に見えない時間点の刺激特徴の分類を改善する。 このフレームワークは、将来的には脳-コンピュータインタフェース(BCI)トレーニングなど、多くのダウンストリームアプリケーションに応用できると考えています。
  論文  参考訳（メタデータ） (2021-12-22T23:08:39Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• A Framework for Learning Invariant Physical Relations in Multimodal Sensory Processing [0.0]
  我々は、教師なしの方法で、知覚的手がかり間の関係を学習できる新しいニューラルネットワークアーキテクチャを設計する。 低次元知覚データにおける任意の非線形関係を学習する際のコアシステム機能について述べる。 我々は、標準的なRGBカメラフレームから物理量間の関係を学習する現実世界の学習問題を通してこれを実証する。
  論文  参考訳（メタデータ） (2020-06-30T08:42:48Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。