論文の概要: Pyramidal Columns Acting as Attention Heads
- arxiv url: http://arxiv.org/abs/2611.16057v1
- Date: Wed, 11 Nov 2026 22:13:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.280687
- Title: Pyramidal Columns Acting as Attention Heads
- Title(参考訳): 留置頭として機能するピラミッド柱
- Abstract要約: 後頭側頭葉言語領域におけるピラミッド列の適切な構成は、注意頭部のニューロモルフィックな機械的実現を構成する可能性がある。
この仮説は、トランスフォーマー注意の標準的な数学的インスタンス化を再現するために生物学的システムを必要としない。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Can the functional architecture of a Transformer attention head be given a biological construction? More specifically, could a suitable group of pyramidal columns in posterior temporal language regions (PTLRs) constitute the biological construction of a neuromorphic mechanical realization of an attention head, under a mathematical instantiation that need not coincide with its standard Transformer instantiation? This paper investigates this hypothesis by examining possible correspondences between the functional organization of attention heads and neurophysiological mechanisms operating within and across pyramidal columns involved in human language processing. Our analysis builds on a mechanical-structural description of Transformer attention heads as systems of simple neural networks linked through output-input and output-weight interconnections. We examine the functional organization of an attention head and the input-dependent transformations it produces, and ask how the corresponding processing relations could be constructed in biological neural tissue. We then identify candidate neural mechanisms of signal transmission and modulation within and across pyramidal columns that may jointly support such a construction. On this basis, we propose that a suitably organized group of pyramidal columns in PTLRs could constitute a biological construction of a neuromorphic mechanical realization of an attention head. Whether the required functional organization actually exists in PTLRs remains an open empirical question. The hypothesis does not require the biological system to reproduce the standard mathematical instantiation of Transformer attention: the same functional architecture may be mechanically realized and mathematically instantiated in a different way, consistent with its biological construction.
- Abstract(参考訳): トランスフォーマーアテンションヘッドの機能的構造は生物学的構造を付与できるか?
より具体的には、後側頭葉言語領域(PTLR)における適切なピラミッド列群は、標準的なトランスフォーマーのインスタンス化と一致しない数学的インスタンス化の下で、注意ヘッドのニューロモルフィックな機械的実現の生物学的構築を構成することができるか?
本稿では,人間の言語処理に関わるピラミッド列の内外における注意頭の機能的構造と神経生理学的メカニズムとの対応性を検討することによって,この仮説を考察する。
我々の分析は、出力インプットと出力重み付き相互接続によってリンクされた単純なニューラルネットワークのシステムとして、トランスフォーマーアテンションヘッドの機械的・構造的記述に基づいている。
注目頭部の機能的構造とそれが生み出す入力依存変換について検討し, 生体神経組織において, 対応する処理関係をどのように構築できるかを問う。
次に、このような構造を共同で支持する可能性のあるピラミッド柱内および横断的な信号伝達と変調の候補神経機構を同定する。
そこで本研究では,PTLRにおけるピラミッド列群が,アテンションヘッドのニューロモルフィックな機械的実現の生物学的構成を構成することが示唆された。
PTLRに要求される機能的組織が実際に存在するかどうかは、まだ明らかな実証的な疑問である。
この仮説は、トランスフォーマーの注意の標準的な数学的インスタンス化を再現するために生物学的システムを必要としない:同じ機能的アーキテクチャは、その生物学的構造と異なる方法で機械的に実現され、数学的にインスタンス化される。
関連論文リスト
- Sensing to Intelligence: Principles for Neuromorphic Circuits and Systems [2.6212127510234797]
我々は、ニューロモルフィック工学は生物学的成分に類似せず、特定の装置、信号表現、または基質によっても定義されるべきでないと論じている。
そのポテンシャルは、生物学的システムの計算原理を特定し、それらを人工機械の組織と力学に翻訳することにある。
ニューロモルフィックエンジニアリングがより広範な展開に向かって進むにつれ、この視点は、マシンが神経系とどの程度近いかという中心的な疑問から、どのような計算が可能かへとシフトする。
論文 参考訳(メタデータ) (2026-09-19T07:15:52Z) - TopoOR: A Unified Topological Scene Representation for the Operating Room [54.50897207203292]
手術シーングラフは外科手術室(OR)の複雑さを実体の構造とその関連性に抽象化する。
マルチモーダルな手術室を高次構造としてモデル化する新しいパラダイムであるTopoORを紹介する。
また,多様体の構造やモジュラリティに特有な特徴を明示的に保存する高次アテンション機構を提案する。
論文 参考訳(メタデータ) (2026-03-10T10:19:42Z) - Hierarchical Latent Structures in Data Generation Process Unify Mechanistic Phenomena across Scale [50.33952894976367]
我々は文脈自由文法を用いて、ウェブスケールテキストコーパスのための忠実で効率的なプロキシである合成コーパスを生成する。
設計したデータ生成プロセスにおいて,誘導ヘッド,関数ベクトル,ハイドラ効果という3つの力学現象の出現について検討する。
これらの現象の出現を説明する上で,データ生成プロセスの階層構造がX因子となることが示唆された。
論文 参考訳(メタデータ) (2026-02-04T14:49:13Z) - A Unified Geometric Field Theory Framework for Transformers: From Manifold Embeddings to Kernel Modulation [5.985222592888107]
Transformerアーキテクチャは、自然言語処理、コンピュータビジョン、科学計算において、自己認識機構を通じて大きな成功を収めている。
本稿では, 位置符号化, カーネル積分演算子, 注目機構を統合した構造理論的枠組みを提案する。
論文 参考訳(メタデータ) (2025-11-11T13:41:01Z) - Selective Induction Heads: How Transformers Select Causal Structures In Context [50.09964990342878]
因果構造を扱うトランスフォーマーの能力を示す新しいフレームワークを提案する。
我々のフレームワークは、遷移確率を固定しつつ、ラグの異なるマルコフ鎖をインターリーブすることで因果構造を変化させる。
この設定は、コンテクスト内で正しい因果構造を選択できる新しい回路である選択誘導ヘッド(Selective induction Heads)を形成する。
論文 参考訳(メタデータ) (2025-09-09T23:13:41Z) - A Transformer Based Generative Chemical Language AI Model for Structural Elucidation of Organic Compounds [1.5628118690186594]
本稿では,概念変換器を用いた生成化学言語人工知能(AI)モデルを提案する。
我々のモデルはエンコーダ・デコーダアーキテクチャと自己保持機構を用いて、最も可能性の高い化学構造を直接生成する。
現代のCPUでは、29個の原子を持つ分子をわずか数秒で構造解明し、83%の精度でトップ15を達成している。
論文 参考訳(メタデータ) (2024-10-13T15:41:20Z) - Transformer Mechanisms Mimic Frontostriatal Gating Operations When
Trained on Human Working Memory Tasks [19.574270595733502]
簡単なシーケンスモデリングタスクで訓練されたバニラアテンションのみのトランスフォーマー内で発生するメカニズムを解析する。
トレーニングの結果,Transformer内の自己認識機構が,入力と出力のゲーティング機構を反映する方法で特化していることが判明した。
論文 参考訳(メタデータ) (2024-02-13T04:28:43Z) - Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。
TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
論文 参考訳(メタデータ) (2021-02-27T21:48:46Z) - BERTology Meets Biology: Interpreting Attention in Protein Language
Models [124.8966298974842]
注目レンズを用いたタンパク質トランスフォーマーモデルの解析方法を示す。
注意はタンパク質の折りたたみ構造を捉え、基礎となる配列では遠く離れているが、三次元構造では空間的に近接しているアミノ酸を接続する。
また、注意とタンパク質構造との相互作用を三次元的に可視化する。
論文 参考訳(メタデータ) (2020-06-26T21:50:17Z) - DeepRetinotopy: Predicting the Functional Organization of Human Visual
Cortex from Structural MRI Data using Geometric Deep Learning [125.99533416395765]
我々は,脳機能と解剖学の複雑な関係を構造的および機能的MRIデータから学習するために,大脳皮質の構造を活用できるディープラーニングモデルを開発した。
我々のモデルは解剖学的特性だけで人間の視覚野の機能的構造を予測することができ、また個人間でのニュアンスの変化を予測することができた。
論文 参考訳(メタデータ) (2020-05-26T04:54:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。