論文の概要: Some Tokens Behave like Magnets: Revealing Linguistic Organization in the Layers of Language Models
- arxiv url: http://arxiv.org/abs/2609.05743v1
- Date: Fri, 04 Sep 2026 21:42:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 12:43:13.964874
- Title: Some Tokens Behave like Magnets: Revealing Linguistic Organization in the Layers of Language Models
- Title（参考訳）: マグネット好きの剣:言語モデルの層における言語的構造を解明する
- Abstract要約: 大規模言語モデル(LLM)内のトークンベクトルの特別なグループを特定し、それらを引き付けるか、取り除くことで、周囲のトークンを整理する。
言語カテゴリーでは,関数語が初期層における磁石の反発として一貫して機能する,統計的に重要なパターンが見つかる。
この現象は、言語モデルが階層にまたがる言語計算をどのように幾何学的に整理するかを理解するための、最初のプローブなしの道を開くことで、さらなる調査が保証されると考えている。
- 参考スコア（独自算出の注目度）: 12.009644249720653
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We identify a special group of token vectors inside large language models (LLMs), which we term magnetic vectors, that organize the surrounding tokens by either attracting or repelling them. Particularly, tokens pointing the same way as an attracting magnet are elongated; tokens pointing the same way as a repelling magnet are compressed. Just as physical magnets pull or push away the iron filings around them, these vectors organize their surroundings through two opposing polarities. Moreover, we identify a statistically significant pattern in linguistic category where function words consistently act as repelling magnets in early layers, and we also find magnets consistently reorganize their polarities in unique ways deeper in the model. In a further case study we find this observation may unveil a deliberate, layer-wise organization in how LLMs process language. This pattern is consistent across different LLM architectures, sizes, and layer configurations. It is also causally relevant. When the LLM is fine-tuned for a downstream task, the task-functional tokens emerge as magnets. E.g., in question answering, the answer-span tokens become uniquely repelling magnets in the final layer, geometrically carving the answer out of the surrounding context. Furthermore, removing early-layer repelling magnets devastates syntactic tasks (POS tagging accuracy drops from 91% to below 10%) while sparing semantic ones, and removing late-layer attracting magnets does the reverse. We believe this phenomenon warrants further investigation, as it opens the first probe-free path to understanding how language models geometrically organize linguistic computation across their layers.
- Abstract（参考訳）: 大型言語モデル(LLM)内のトークンベクトルの特別なグループを同定し、磁気ベクトルと呼び、それらを引き付けるか、取り除くことで周囲のトークンを整理する。
特に誘引磁石と同じ方向を示すトークンを伸長し、反発磁石と同じ方向を示すトークンを圧縮する。
物理的な磁石が周囲の鉄を引っ張ったり押したりするのと同じように、これらのベクトルは2つの反対極性を通して周囲を整理する。
さらに,関数語が初期層における反磁性として常に振る舞う言語カテゴリーにおいて,統計学的に有意なパターンを同定した。
さらなるケーススタディでは、この観察によって、LLMが言語をどのように処理するかにおいて、意図的に階層的な組織が明らかになる可能性がある。
このパターンは、異なるLLMアーキテクチャ、サイズ、レイヤ構成に一貫性がある。
因果関係もある。
LLMが下流タスクのために微調整されると、タスク機能トークンが磁石として現れる。
例えば、質問に答えると、解答スパントークンは最終層の磁石を一意に反発させ、その答えを周囲の文脈から幾何学的に彫り出す。
さらに, 初期層緩和マグネットの除去は, セマンティックマグネットを分散させながら, シナティックタスク(POSタグ精度が91%から10%以下に低下する)を著しく低下させ, 遅延層誘引マグネットの除去は逆となる。
この現象は、言語モデルが階層にまたがる言語計算をどのように幾何学的に整理するかを理解するための、最初のプローブなしの道を開くことで、さらなる調査が保証されると考えている。
関連論文リスト
- The Fundamental Lemma of Altermagnetism: Emergence of Alterferrimagnetism [0.33088334148160725]
本稿では,磁気材料中の反磁性相の存在に必要となる正確な条件を導出する,磁気学の基礎 Lemma of Altermagnetism (FLAM) を提案する。
交互強磁性は、複数の磁気種が完全に補償された磁性体を形成することを許される伝統的なコリニア交互磁性の一般化であることを示す。
論文 参考訳（メタデータ） (2025-12-29T16:39:39Z) - Observation of Magnetic Devil's Staircase-Like Behavior in Quasiperiodic Qubit Lattices [55.2480439325792]
悪魔の階段(DS)現象は、外界への磁化のフラクタル反応である。
我々は、単純で効果的なIsing-modelフレームワークにおいて、外部磁場の増加によって引き起こされる急激な磁気遷移を多数発見する。
本研究は,DSの挙動が周期的システムに限定されているという一般的な見方に挑戦する。
論文 参考訳（メタデータ） (2025-07-24T21:39:06Z) - Lost in Multilinguality: Dissecting Cross-lingual Factual Inconsistency in Transformer Language Models [49.16690802656554]
複数の言語で意味論的に等価なプロンプトに対して一貫した応答を提供するのに、多言語の事実モデルでは苦労していることがわかった。
最終層での計算をバイパスし,予測精度と言語間の整合性を向上する線形ショートカット手法を提案する。
論文 参考訳（メタデータ） (2025-04-05T19:43:10Z) - Demystifying Singular Defects in Large Language Models [61.98878352956125]
大規模言語モデル(LLM)では、ハイノームトークンの根本原因は未解明のままである。
理論的な洞察と経験的検証の両方を、近年のモデルで提供します。
量子化方式の改良とLCMシグネチャの設計の2つの実用的応用について述べる。
論文 参考訳（メタデータ） (2025-02-10T20:09:16Z) - Token Erasure as a Footprint of Implicit Vocabulary Items in LLMs [20.1025293763531]
Llama-2-7b のトークン化子は、"northeast" という単語をトークン ['_n', 'ort', 'he', 'astern'] に分割する。
本研究では,名前付きエンティティとマルチトークン語の最後のトークン表現が,先行および現在のトークンに関する情報が早期の層で急速に忘れられるような,顕著な「消去」効果を示すことを示す。
論文 参考訳（メタデータ） (2024-06-28T17:54:47Z) - Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
大規模言語モデル(LLM)の時代における意味表現の役割について検討する。
本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。
AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
論文 参考訳（メタデータ） (2024-05-02T17:32:59Z) - Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。
実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。
これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
論文 参考訳（メタデータ） (2024-03-03T13:14:47Z) - Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。
ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。
その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
論文 参考訳（メタデータ） (2023-06-01T17:44:35Z) - Complex Spin Hamiltonian Represented by Artificial Neural Network [0.0]
スピンハミルトン法は磁気の挙動をシミュレートし理解するために広く採用されている。
そこで我々は,ニューラルネットワーク(ANN)と局所スピンディスクリプタを応用して,機械学習(ML)による効率的なスピンポテンシャルの開発を行った。
我々は人工的に構築したモデルを再現し,またバルクFe3GeTe2の遍歴磁性を十分に記述した。
論文 参考訳（メタデータ） (2021-10-02T04:38:28Z) - Multiclass Permanent Magnets Superstructure for Indoor Localization
using Artificial Intelligence [1.3048920509133808]
スマートフォンは,ユーザの屋内位置推定や位置推定に人気がある。
既存のソリューションは主にWi-Fi、RFID、磁気センシング技術を用いて、混雑した会場での動きを追跡する。
本稿では,そのアルゴリズムを拡張したマルチスーパーストラクチャローカライゼーション手法を提案する。
論文 参考訳（メタデータ） (2021-07-14T09:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。