論文の概要: Binding Phoneme Identity to Position in Neural Models and the Human Brain

• arxiv url: http://arxiv.org/abs/2610.15843v1
• Date: Sun, 11 Oct 2026 18:53:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 15:38:02.908471
• Title: Binding Phoneme Identity to Position in Neural Models and the Human Brain
• Title（参考訳）: ニューラルモデルと人間の脳における位置に対する音素アイデンティティの結合
• Abstract要約: 神経集団状態の方向がトークンのアイデンティティをコードし、大きさが位置をコードしていることを示す。 短い文章を聴いた20人の聴覚野の頭蓋内記録について検討した。 結果は、ニューラルネットワークが音素のアイデンティティを位置とどのように結合するかを幾何学的に説明し、ニューラルモデル仮説がどのようにテスト可能な予測をもたらすかを示す。
• 参考スコア（独自算出の注目度）: 4.002715519133693
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A fundamental challenge in cognitive science and neural computation is the binding problem. Compositional generalization can be achieved by factorizing representations into roles, the structural slots of a representation (e.g., serial position or syntactic function), and fillers, the contents occupying them (e.g., a phoneme or a word), which can be recombined freely to represent novel combinations. How neural systems implement role--filler binding, however, remains unknown. One of its simplest cases is phoneme sequencing, where phoneme identity (filler) must be bound to position (role) so that /gum/ and /mug/ are represented differently. A proposal from NLP, the `onion hypothesis' (Csordas et al., 2024), holds that the direction of the neural population state encodes token identity, while its magnitude encodes position. It was formulated for random token sequences; we extend it to natural language and test it in neural models and the human brain. We first evaluated it in an encoder-decoder trained to repeat English words, using representational geometry analyses and causal interventions. Magnitude alone proves incomplete: position is encoded by magnitude together with a systematic rotation of the state direction, a scheme we formalize as the `spiral hypothesis'. We then analyzed intracranial recordings from the auditory cortex of 20 participants listening to short sentences. Across superior temporal gyrus electrodes, the change in population response between consecutive phonemes decreases in magnitude as position advances, and its direction is aligned within consonants and within vowels but near orthogonal across the two classes, supporting the magnitude coding shared by both accounts. These results provide a geometric account of how neural systems bind phoneme identity to position, and show how neural-model hypotheses can yield testable predictions about human neural computation.
• Abstract（参考訳）: 認知科学と神経計算の基本的な課題は結合問題である。 構成的一般化は、表現を役割、表現の構造的スロット(例えば、シリアル位置、構文関数)、フィラー、それらを占有する内容(例えば、音素または単語)に分解して実現でき、新しい組み合わせを自由に表現することができる。 しかし、ニューラルネットワークがどのようにロールフィラー結合を実装しているのかは不明だ。 最も単純な例の1つは音素シークエンシングであり、音素のアイデンティティ(フィラー)は /gum/ と /mug/ が異なる表現をするために位置(ロール)に結び付けられなければならない。 NLPからの提案である「オニオン仮説」(Csordas et al , 2024)では、神経集団状態の方向がトークンのアイデンティティをコードし、大きさは位置をコードしている。 ランダムなトークンシーケンスを定式化し、自然言語に拡張し、ニューラルモデルと人間の脳でテストします。 まず、表現幾何学解析と因果介入を用いて、英語の単語を繰り返すように訓練されたエンコーダデコーダを用いて評価した。 マグニチュードのみが不完全を証明している: 位置は、状態方向の体系的な回転と共に等級的に符号化され、我々は「スピラル仮説」として定式化する。 その後,短い文章を聴いた20人の聴覚野の頭蓋内記録を分析した。 上側頭回電極全体では、音素間の集団応答の変化は、位置の進行に伴って大きく減少し、その方向は子音と母音の間で整列するが、2つのクラス間で直交し、双方のアカウントで共有される大きさの符号化をサポートする。 これらの結果は、ニューラルシステムが音素のアイデンティティを位置とどのように結合するかの幾何学的な説明を提供し、ニューラルモデル仮説が人間のニューラル計算に関する検証可能な予測をいかに生み出すかを示す。

関連論文リスト

• Language Model Circuits Are Sparse in the Neuron Basis [50.460651620833055]
  その結果, textbfMLP ニューロンは SAE と同様の機能的基盤であることがわかった。 この作業は、追加のトレーニングコストなしで言語モデルの自動解釈可能性を向上させる。
  論文  参考訳（メタデータ） (2026-01-30T05:41:19Z)
• A Convolutional Framework for Mapping Imagined Auditory MEG into Listened Brain Responses [0.0]
  脳磁図(MEG)データセットを,音楽的・詩的な刺激を想像し,聴くように訓練したミュージシャンから収集した。 脳の反応と知覚の両方が、一貫した、条件特異的な情報を含んでいることを示す。
  論文  参考訳（メタデータ） (2025-12-03T05:23:10Z)
• Superposition disentanglement of neural representations reveals hidden alignment [6.015414975356222]
  神経科学とAIにおいて、表現アライメントメトリクスは、異なるディープニューラルネットワーク(DNN)または脳が類似した情報を表現する範囲を測定する。 我々は、厳密な置換度が重ね合わせに依存するかの理論を開発する。 この結果から,ニューラルネットワーク間の真の表現的アライメントを明らかにするためには,重畳不整合(superposition disentanglement)が必要であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-03T17:12:40Z)
• Cracking the neural code for word recognition in convolutional neural networks [1.0991358618541507]
  学習スクリプトにおける単語認識のために,単位の小さなサブセットがどのように特殊化されるかを示す。 これらのユニットは、単語の左または右の空白空間からの距離や特定の文字の識別に敏感であることを示す。 提案したニューラルネットワークは,文字の同一性や位置に関する情報を抽出し,不変な単語認識を可能にするメカニズム的な知見を提供する。
  論文  参考訳（メタデータ） (2024-03-10T10:12:32Z)
• BrainBERT: Self-supervised representation learning for intracranial recordings [18.52962864519609]
  我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。 NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。 将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
  論文  参考訳（メタデータ） (2023-02-28T07:40:37Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。