論文の概要: Relating transformers to models and neural representations of the hippocampal formation

• arxiv url: http://arxiv.org/abs/2112.04035v1
• Date: Tue, 7 Dec 2021 23:14:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-10 01:18:33.846308
• Title: Relating transformers to models and neural representations of the hippocampal formation
• Title（参考訳）: モデルへのトランスフォーマーの関与と海馬形成の神経表現
• Authors: James C.R. Whittington, Joseph Warren, Timothy E.J. Behrens
• Abstract要約: 最もエキサイティングで有望な新しいアーキテクチャの一つであるTransformer Neural Networkは、脳を念頭に置いて開発された。 本研究では, 海馬形成の精密な空間表現を再現し, 繰り返し位置エンコーディングを施したトランスフォーマーについて述べる。 この研究は、人工と脳のネットワークの計算を結合し続け、海馬と皮質の相互作用の新たな理解を提供し、言語理解のような現在の神経科学モデルを超えて、より広い皮質領域がいかに複雑なタスクを遂行するかを示唆している。
• 参考スコア（独自算出の注目度）: 0.7734726150561088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many deep neural network architectures loosely based on brain networks have recently been shown to replicate neural firing patterns observed in the brain. One of the most exciting and promising novel architectures, the Transformer neural network, was developed without the brain in mind. In this work, we show that transformers, when equipped with recurrent position encodings, replicate the precisely tuned spatial representations of the hippocampal formation; most notably place and grid cells. Furthermore, we show that this result is no surprise since it is closely related to current hippocampal models from neuroscience. We additionally show the transformer version offers dramatic performance gains over the neuroscience version. This work continues to bind computations of artificial and brain networks, offers a novel understanding of the hippocampal-cortical interaction, and suggests how wider cortical areas may perform complex tasks beyond current neuroscience models such as language comprehension.
• Abstract（参考訳）: 脳ネットワークに基づく多くのディープニューラルネットワークアーキテクチャは、最近、脳内で観察される神経の発射パターンを再現することが示されている。 最もエキサイティングで有望な新しいアーキテクチャの一つであるTransformer Neural Networkは、脳を念頭に置いて開発された。 本研究では, トランスフォーマーが再帰的な位置エンコーディングを備えると, 海馬形成の正確な空間表現を再現できること, 特にプレースセルとグリッドセルについて述べる。 さらに,神経科学の現在の海馬モデルと密接な関係にあることから,この結果は驚きではない。 さらに、トランスバージョンは神経科学バージョンよりも劇的なパフォーマンス向上を提供することを示した。 この研究は、人工と脳のネットワークの計算を結合し続け、海馬と皮質の相互作用の新たな理解を提供し、言語理解のような現在の神経科学モデルを超えて、より広い皮質領域が複雑なタスクを果たすことを示唆している。

関連論文リスト

• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Expressivity of Spiking Neural Networks [15.181458163440634]
  本研究では,ニューロンの発射時間内に情報を符号化したスパイクニューラルネットワークの能力について検討する。 ReLUネットワークとは対照的に、スパイクニューラルネットワークは連続関数と不連続関数の両方を実現することができる。
  論文  参考訳（メタデータ） (2023-08-16T08:45:53Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• BrainBERT: Self-supervised representation learning for intracranial recordings [18.52962864519609]
  我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。 NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。 将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
  論文  参考訳（メタデータ） (2023-02-28T07:40:37Z)
• Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
  脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。 ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
  論文  参考訳（メタデータ） (2022-12-08T15:16:04Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Adapting Brain-Like Neural Networks for Modeling Cortical Visual Prostheses [68.96380145211093]
  皮質補綴は視覚野に移植された装置で、電気的にニューロンを刺激することで失った視力を回復しようとする。 現在、これらのデバイスが提供する視覚は限られており、刺激による視覚知覚を正確に予測することはオープンな課題である。 我々は、視覚システムの有望なモデルとして登場した「脳様」畳み込みニューラルネットワーク(CNN)を活用することで、この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2022-09-27T17:33:19Z)
• Deep Auto-encoder with Neural Response [8.797970797884023]
  ニューラルレスポンス(DAE-NR)を用いたディープオートエンコーダと呼ばれるハイブリッドモデルを提案する。 DAE-NRは、視覚野からの情報をANNに組み込んで、より優れた画像再構成と、生物学的および人工ニューロン間の高い神経表現類似性を実現する。 DAE-NRは, 共同学習によって(画像再構成の性能の向上) 生体ニューロンと人工ニューロンとの表現的類似性の向上が可能であることを実証した。
  論文  参考訳（メタデータ） (2021-11-30T11:44:17Z)
• Training Deep Spiking Auto-encoders without Bursting or Dying Neurons through Regularization [9.34612743192798]
  スパイクニューラルネットワークは、計算神経科学における次世代の脳モデルに対する有望なアプローチである。 膜電位に基づくバックプロパゲーションを用いたエンドツーエンド学習を、スパイクする畳み込みオートエンコーダに適用する。 膜電位とスパイク出力に正規化を適用することで、死と破裂の両方のニューロンをうまく回避できることを示す。
  論文  参考訳（メタデータ） (2021-09-22T21:27:40Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• Neuroevolution of a Recurrent Neural Network for Spatial and Working Memory in a Simulated Robotic Environment [57.91534223695695]
  我々は,ラットで観察される行動と神経活動を再現する進化的アルゴリズムを用いて,生物学的に有意なリカレントニューラルネットワーク(RNN)でウェイトを進化させた。 提案手法は, 進化したRNNの動的活動が, 興味深く複雑な認知行動をどのように捉えているかを示す。
  論文  参考訳（メタデータ） (2021-02-25T02:13:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。