論文の概要: Transformer Mechanisms Mimic Frontostriatal Gating Operations When
Trained on Human Working Memory Tasks
- arxiv url: http://arxiv.org/abs/2402.08211v1
- Date: Tue, 13 Feb 2024 04:28:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 16:30:32.406908
- Title: Transformer Mechanisms Mimic Frontostriatal Gating Operations When
Trained on Human Working Memory Tasks
- Title(参考訳): ヒトの作業記憶タスクで訓練した前頭前頭前歯部ゲーティング動作のトランスフォーマー機構
- Authors: Aaron Traylor, Jack Merullo, Michael J. Frank, Ellie Pavlick
- Abstract要約: 簡単なシーケンスモデリングタスクで訓練されたバニラアテンションのみのトランスフォーマー内で発生するメカニズムを解析する。
トレーニングの結果,Transformer内の自己認識機構が,入力と出力のゲーティング機構を反映する方法で特化していることが判明した。
- 参考スコア(独自算出の注目度): 19.574270595733502
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Models based on the Transformer neural network architecture have seen success
on a wide variety of tasks that appear to require complex "cognitive branching"
-- or the ability to maintain pursuit of one goal while accomplishing others.
In cognitive neuroscience, success on such tasks is thought to rely on
sophisticated frontostriatal mechanisms for selective \textit{gating}, which
enable role-addressable updating -- and later readout -- of information to and
from distinct "addresses" of memory, in the form of clusters of neurons.
However, Transformer models have no such mechanisms intentionally built-in. It
is thus an open question how Transformers solve such tasks, and whether the
mechanisms that emerge to help them to do so bear any resemblance to the gating
mechanisms in the human brain. In this work, we analyze the mechanisms that
emerge within a vanilla attention-only Transformer trained on a simple sequence
modeling task inspired by a task explicitly designed to study working memory
gating in computational cognitive neuroscience. We find that, as a result of
training, the self-attention mechanism within the Transformer specializes in a
way that mirrors the input and output gating mechanisms which were explicitly
incorporated into earlier, more biologically-inspired architectures. These
results suggest opportunities for future research on computational similarities
between modern AI architectures and models of the human brain.
- Abstract(参考訳): Transformerニューラルネットワークアーキテクチャに基づくモデルでは、複雑な"認知ブランチ"を必要とするさまざまなタスク、あるいは目標の追求を他の目標を達成する上で維持する能力において、成功している。
認知神経科学において、このようなタスクの成功は、選択的 \textit{gating} のための洗練された前頭骨機構に依存しており、ニューロンのクラスターの形で、記憶の異なる「アドレス」への情報のロールアドレス付き更新(後に読み出し)を可能にする。
しかし、トランスフォーマーは意図的にそのような機構を組み込んでいない。
そのため、トランスフォーマーがこのような課題をどう解決するか、そしてそれを助けるメカニズムが人間の脳のゲーティング機構とどんな類似性を持つのか、という疑問が開かれています。
本研究では,計算認知神経科学における作業記憶ゲーティングを明示的に研究するために設計されたタスクに触発された単純なシーケンスモデリングタスクで訓練されたバニラ注意のみのトランスフォーマーの内部に現れるメカニズムを分析する。
トレーニングの結果、トランスフォーマー内の自己保持機構は、より生物学的に着想を得た以前のアーキテクチャに明示的に組み込まれた入力と出力のゲーティング機構を反映する方法で特化していることがわかった。
これらの結果は、現代のAIアーキテクチャと人間の脳のモデルとの計算的類似性に関する将来の研究の機会を示唆している。
関連論文リスト
- Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian
Learning and Free Energy Minimization [55.11642177631929]
大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。
我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
論文 参考訳(メタデータ) (2023-10-14T23:28:48Z) - Incremental procedural and sensorimotor learning in cognitive humanoid
robots [52.77024349608834]
本研究は,手順を段階的に学習する認知エージェントを提案する。
各サブステージで必要とされる認知機能と, エージェントが未解決の課題に, 新たな機能の追加がどう対処するかを示す。
結果は、このアプローチが複雑なタスクを段階的に解くことができることを示している。
論文 参考訳(メタデータ) (2023-04-30T22:51:31Z) - Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline
Reinforcement Learning [114.36124979578896]
オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。
我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
論文 参考訳(メタデータ) (2022-05-05T05:44:26Z) - From Biological Synapses to Intelligent Robots [0.0]
ヘビアンシナプス学習は、機械学習とインテリジェンスのための機能的関連モデルとして議論されている。
適応的な学習と制御の可能性を、監督なしで先導する。
ここで収集された洞察は、インテリジェントなロボティクスとセンサーシステムの選択ソリューションとして、Hebbianモデルに向けられている。
論文 参考訳(メタデータ) (2022-02-25T12:39:22Z) - Bottom-up and top-down approaches for the design of neuromorphic
processing systems: Tradeoffs and synergies between natural and artificial
intelligence [3.874729481138221]
ムーアの法則は指数計算能力の期待を加速させており、システム全体の性能を改善するための新たな方法を求める最終段階に近づいている。
これらの方法の1つは、生物学的ニューラルネットワークシステムの柔軟性と計算効率を達成することを目的とした、脳にインスパイアされた代替コンピューティングアーキテクチャの探索である。
我々は、このパラダイムシフトが実現される際の粒度の異なるレベルについて、その分野の包括的概要を提供する。
論文 参考訳(メタデータ) (2021-06-02T16:51:45Z) - Cognitive architecture aided by working-memory for self-supervised
multi-modal humans recognition [54.749127627191655]
人間パートナーを認識する能力は、パーソナライズされた長期的な人間とロボットの相互作用を構築するための重要な社会的スキルです。
ディープラーニングネットワークは最先端の結果を達成し,そのような課題に対処するための適切なツールであることが実証された。
1つの解決策は、ロボットに自己スーパービジョンで直接の感覚データから学習させることである。
論文 参考訳(メタデータ) (2021-03-16T13:50:24Z) - Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。
TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
論文 参考訳(メタデータ) (2021-02-27T21:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。