論文の概要: Transformer Mechanisms Mimic Frontostriatal Gating Operations When
Trained on Human Working Memory Tasks
- arxiv url: http://arxiv.org/abs/2402.08211v1
- Date: Tue, 13 Feb 2024 04:28:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 16:30:32.406908
- Title: Transformer Mechanisms Mimic Frontostriatal Gating Operations When
Trained on Human Working Memory Tasks
- Title（参考訳）: ヒトの作業記憶タスクで訓練した前頭前頭前歯部ゲーティング動作のトランスフォーマー機構
- Authors: Aaron Traylor, Jack Merullo, Michael J. Frank, Ellie Pavlick
- Abstract要約: 簡単なシーケンスモデリングタスクで訓練されたバニラアテンションのみのトランスフォーマー内で発生するメカニズムを解析する。
トレーニングの結果,Transformer内の自己認識機構が,入力と出力のゲーティング機構を反映する方法で特化していることが判明した。
- 参考スコア（独自算出の注目度）: 19.574270595733502
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Models based on the Transformer neural network architecture have seen success
on a wide variety of tasks that appear to require complex "cognitive branching"
-- or the ability to maintain pursuit of one goal while accomplishing others.
In cognitive neuroscience, success on such tasks is thought to rely on
sophisticated frontostriatal mechanisms for selective \textit{gating}, which
enable role-addressable updating -- and later readout -- of information to and
from distinct "addresses" of memory, in the form of clusters of neurons.
However, Transformer models have no such mechanisms intentionally built-in. It
is thus an open question how Transformers solve such tasks, and whether the
mechanisms that emerge to help them to do so bear any resemblance to the gating
mechanisms in the human brain. In this work, we analyze the mechanisms that
emerge within a vanilla attention-only Transformer trained on a simple sequence
modeling task inspired by a task explicitly designed to study working memory
gating in computational cognitive neuroscience. We find that, as a result of
training, the self-attention mechanism within the Transformer specializes in a
way that mirrors the input and output gating mechanisms which were explicitly
incorporated into earlier, more biologically-inspired architectures. These
results suggest opportunities for future research on computational similarities
between modern AI architectures and models of the human brain.
- Abstract（参考訳）: Transformerニューラルネットワークアーキテクチャに基づくモデルでは、複雑な"認知ブランチ"を必要とするさまざまなタスク、あるいは目標の追求を他の目標を達成する上で維持する能力において、成功している。
認知神経科学において、このようなタスクの成功は、選択的 \textit{gating} のための洗練された前頭骨機構に依存しており、ニューロンのクラスターの形で、記憶の異なる「アドレス」への情報のロールアドレス付き更新(後に読み出し)を可能にする。
しかし、トランスフォーマーは意図的にそのような機構を組み込んでいない。
そのため、トランスフォーマーがこのような課題をどう解決するか、そしてそれを助けるメカニズムが人間の脳のゲーティング機構とどんな類似性を持つのか、という疑問が開かれています。
本研究では,計算認知神経科学における作業記憶ゲーティングを明示的に研究するために設計されたタスクに触発された単純なシーケンスモデリングタスクで訓練されたバニラ注意のみのトランスフォーマーの内部に現れるメカニズムを分析する。
トレーニングの結果、トランスフォーマー内の自己保持機構は、より生物学的に着想を得た以前のアーキテクチャに明示的に組み込まれた入力と出力のゲーティング機構を反映する方法で特化していることがわかった。
これらの結果は、現代のAIアーキテクチャと人間の脳のモデルとの計算的類似性に関する将来の研究の機会を示唆している。
関連論文リスト
- Modularity in Transformers: Investigating Neuron Separability & Specialization [0.0]
トランスフォーマーモデルは様々なアプリケーションでますます普及していますが、内部動作に対する我々の理解は限定的です。
本稿では、視覚(ViT)モデルと言語(Mistral 7B)モデルの両方に着目し、トランスフォーマーアーキテクチャ内のニューロンのモジュラリティとタスクの特殊化について検討する。
選択的プルーニングとMoEficationクラスタリングの組み合わせを用いて、異なるタスクやデータサブセットにわたるニューロンの重複と特殊化を分析する。
論文 参考訳（メタデータ） (2024-08-30T14:35:01Z) - Synergistic pathways of modulation enable robust task packing within neural dynamics [0.0]
ニューラルダイナミクスの文脈変調の2つの形態の区別を探索するために、リカレント・ネットワーク・モデルを用いる。
我々はこれらのメカニズムの区別を、それらが引き起こす神経力学のレベルで示す。
これらの特徴は、これらのメカニズムがどのように振る舞うかの相補性と相乗性を示している。
論文 参考訳（メタデータ） (2024-08-02T15:12:01Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian
Learning and Free Energy Minimization [55.11642177631929]
大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。
我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
論文 参考訳（メタデータ） (2023-10-14T23:28:48Z) - Incremental procedural and sensorimotor learning in cognitive humanoid
robots [52.77024349608834]
本研究は,手順を段階的に学習する認知エージェントを提案する。
各サブステージで必要とされる認知機能と, エージェントが未解決の課題に, 新たな機能の追加がどう対処するかを示す。
結果は、このアプローチが複雑なタスクを段階的に解くことができることを示している。
論文 参考訳（メタデータ） (2023-04-30T22:51:31Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - From Biological Synapses to Intelligent Robots [0.0]
ヘビアンシナプス学習は、機械学習とインテリジェンスのための機能的関連モデルとして議論されている。
適応的な学習と制御の可能性を、監督なしで先導する。
ここで収集された洞察は、インテリジェントなロボティクスとセンサーシステムの選択ソリューションとして、Hebbianモデルに向けられている。
論文 参考訳（メタデータ） (2022-02-25T12:39:22Z) - Cognitive architecture aided by working-memory for self-supervised
multi-modal humans recognition [54.749127627191655]
人間パートナーを認識する能力は、パーソナライズされた長期的な人間とロボットの相互作用を構築するための重要な社会的スキルです。
ディープラーニングネットワークは最先端の結果を達成し,そのような課題に対処するための適切なツールであることが実証された。
1つの解決策は、ロボットに自己スーパービジョンで直接の感覚データから学習させることである。
論文 参考訳（メタデータ） (2021-03-16T13:50:24Z) - Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。
TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
論文 参考訳（メタデータ） (2021-02-27T21:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。