論文の概要: Topoformer: brain-like topographic organization in Transformer language models through spatial querying and reweighting

• arxiv url: http://arxiv.org/abs/2510.18745v1
• Date: Tue, 21 Oct 2025 15:54:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.83607
• Title: Topoformer: brain-like topographic organization in Transformer language models through spatial querying and reweighting
• Title（参考訳）: トポフォーマー:空間的クエリと再重み付けによるトランスフォーマー言語モデルにおける脳様地形構造
• Authors: Taha Binhuraib, Greta Tuckute, Nicholas Blauch,
• Abstract要約: そこで我々は,トランスフォーマーを「トポフォーマー」に転換する新たな自己注意方式を提案する。 NLPベンチマークの非トポロジ制御モデルと同等に動作するが、解釈可能なトポロジ組織を生成する。
• 参考スコア（独自算出の注目度）: 0.8411385346896413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatial functional organization is a hallmark of biological brains: neurons are arranged topographically according to their response properties, at multiple scales. In contrast, representations within most machine learning models lack spatial biases, instead manifesting as disorganized vector spaces that are difficult to visualize and interpret. Here, we propose a novel form of self-attention that turns Transformers into "Topoformers" with topographic organization. We introduce spatial querying - where keys and queries are arranged on 2D grids, and local pools of queries are associated with a given key - and spatial reweighting, where we convert the standard fully connected layer of self-attention into a locally connected layer. We first demonstrate the feasibility of our approach by training a 1-layer Topoformer on a sentiment classification task. Training with spatial querying encourages topographic organization in the queries and keys, and spatial reweighting separately encourages topographic organization in the values and self-attention outputs. We then apply the Topoformer motifs at scale, training a BERT architecture with a masked language modeling objective. We find that the topographic variant performs on par with a non-topographic control model on NLP benchmarks, yet produces interpretable topographic organization as evaluated via eight linguistic test suites. Finally, analyzing an fMRI dataset of human brain responses to a large set of naturalistic sentences, we demonstrate alignment between low-dimensional topographic variability in the Topoformer model and human brain language network. Scaling up Topoformers further holds promise for greater interpretability in NLP research, and for more accurate models of the organization of linguistic information in the human brain.
• Abstract（参考訳）: ニューロンは、その応答特性に応じて、複数のスケールで地形的に配置される。 対照的に、ほとんどの機械学習モデルにおける表現には空間バイアスがなく、代わりに、可視化と解釈が難しい非組織化されたベクトル空間として表される。 そこで本稿では,トランスフォーマーを「トポフォーマー」に転換する新たな自己注意方式を提案する。 本研究では,鍵とクエリを2次元グリッド上に配置し,クエリの局所プールを所定のキーに関連付ける空間的クエリ処理と空間的リハイト処理を導入する。 まず、感情分類タスクにおいて、1層トポフォーマをトレーニングすることで、アプローチの有効性を実証する。 空間的クエリーによるトレーニングは、クエリーとキーにおけるトポロジ組織を奨励し、空間的リウェイトは、価値と自己注意出力におけるトポロジ組織を個別に促進する。 次に、Topoformerモチーフを大規模に適用し、マスク付き言語モデリングの目的でBERTアーキテクチャをトレーニングする。 NLPベンチマークの非トポロジ制御モデルと同等に動作するが、8つの言語テストスイートを用いて解析可能なトポロジ構造を生成する。 最後に,人間の脳反応のfMRIデータセットを解析し,トポフォーマモデルにおける低次元地形変動と人間の脳言語ネットワークとの整合性を示す。 トポフォーマーのスケールアップは、NLP研究における解釈可能性の向上と、人間の脳における言語情報の組織化のより正確なモデルへの期待をさらに高める。

関連論文リスト

• The Visual Iconicity Challenge: Evaluating Vision-Language Models on Sign Language Form-Meaning Mapping [1.5767445615203355]
  ビジュアル・イコニシティ・チャレンジ(Visual Iconicity Challenge)は、視覚言語モデルを評価するための心理言語学的尺度である。 オランダの手話におけるゼロおよび少数ショット設定において,13の最先端のVLMを評価した。 より強い音韻形式予測モデルでは、人間の象徴性判断と相関する。
  論文  参考訳（メタデータ） (2025-10-09T17:21:59Z)
• SPHERE: Unveiling Spatial Blind Spots in Vision-Language Models Through Hierarchical Evaluation [7.659514491338669]
  現在の視覚言語モデルは、基本的な空間的手がかりを把握できるが、人間のような理解や現実世界の応用に必要な多次元空間的推論に苦慮している。 我々は,新しい人間注釈付きデータセットをサポートする階層的評価フレームワークであるSPHEREを開発した。 最先端モデルのベンチマーク評価では、特に距離と近接性についての推論において、重大な欠陥が示される。
  論文  参考訳（メタデータ） (2024-12-17T09:10:55Z)
• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部の動作や推論メカニズムを理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがCFG定義階層を正確に学習し、推論し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies [72.56158036639707]
  形態的に豊かな言語は機械翻訳に困難をもたらす。 多数の異なる屈折する単語曲面は、より大きな語彙を必要とする。 いくつかの頻度の低い用語は、通常、トレーニングコーパスには現れない。 言語的合意は、出力文中の屈折語形間の文法的カテゴリを正しく一致させる必要がある。
  論文  参考訳（メタデータ） (2022-03-25T10:13:20Z)
• Self-Supervised Graph Representation Learning for Neuronal Morphologies [75.38832711445421]
  ラベルのないデータセットから3次元神経形態の低次元表現を学習するためのデータ駆動型アプローチであるGraphDINOを提案する。 2つの異なる種と複数の脳領域において、この方法では、専門家による手動の特徴に基づく分類と同程度に形態学的細胞型クラスタリングが得られることを示す。 提案手法は,大規模データセットにおける新しい形態的特徴や細胞型の発見を可能にする可能性がある。
  論文  参考訳（メタデータ） (2021-12-23T12:17:47Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。