論文の概要: One mechanism for many mental spaces: a shared router over a value slot in language models

• arxiv url: http://arxiv.org/abs/2607.10248v1
• Date: Sat, 11 Jul 2026 10:30:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.350345
• Title: One mechanism for many mental spaces: a shared router over a value slot in language models
• Title（参考訳）: 多くのメンタルスペースの1つのメカニズム:言語モデルにおける値スロット上の共有ルータ
• Authors: Oliver Steele, Jiangtao Wen, Yuxing Han,
• Abstract要約: 言語は、実際のもの以外の言論コンテキストを構築します。 形式的意味論はこれらの文脈を区別する。 いずれのトランスフォーマー言語モデルが実装するかを問うとともに、Fauconnierの統一のメカニスティックバージョンを見つける。
• 参考スコア（独自算出の注目度）: 6.0397270384735355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language builds discourse contexts other than the actual: a painting, a belief, a memory, a hypothetical. Each is a mental space in which the same entity can take a different value, as when a flower is red in reality but purple in a portrait. Formal semantics keeps these contexts apart because their logics differ (modal, temporal, doxastic, depictive); Fauconnier's mental-space theory treats them as one space-building operation. We ask which of these a transformer language model implements, and find a mechanistic version of Fauconnier's unification. The model uses one router/slot format across the inventory: a reusable value slot stores attributed content, and a causally manipulable router (the space index) selects which space is read. A subspace trained with Distributed Alignment Search to control one space type, counterfactual, belief, fictional, or temporal, also controls the others, well above a random floor, on three model families; belief, which formal semantics marks as a distinct case, is not specially separated. The router is low-rank, composes additively with entity identity, and acts through a few late-layer heads. Two further results show the mechanism drives inference and composes: a subspace trained on a rule-derived conclusion flips what the model infers while dissociating from what it reports, and composing space-builders mints a fresh router over the shared slot. This paper establishes the cross-type generality. A companion paper develops belief in depth, because of its special status in philosophy, psychology, and linguistics (epistemology, theory of mind, and propositional attitude reports).
• Abstract（参考訳）: 言語は、絵、信念、記憶、仮説など、現実以外の言説の文脈を構築する。 それぞれが、花が実際には赤だが肖像画では紫色であるように、同じ実体が異なる価値を得られる精神空間である。 形式的意味論は、これらの文脈を、それらの論理が異なる(モーダル、テンポラル、ドクサスティック、描写)ために区別し、ファウコンニエの精神空間理論はそれらを一つの空間構築の操作として扱う。 いずれのトランスフォーマー言語モデルが実装するかを問うとともに、Fauconnierの統一のメカニスティックバージョンを見つける。 再利用可能な値スロットは属性付きコンテンツを格納し、因果操作可能なルータ(スペースインデックス)はどのスペースが読み込まれるかを選択する。 分散アライメントサーチで訓練された部分空間は、1つの空間タイプ、反事実、信念、フィクション、時間的空間を制御し、3つのモデルファミリー上のランダムフロアのすぐ上にある他の空間も制御する。 ルータは低ランクで、エンティティIDを付加的に構成し、いくつかのレイトレイヤーヘッドを介して作用する。 ルールから導かれた結論に基づいて訓練されたサブスペースは、モデルが報告したものから解離しながら推論したものを反転させ、スペースビルダーを構成することで、共有スロット上の新しいルータをマイニングする。 本稿では,クロスタイプ一般性を確立する。 ある論文は、哲学、心理学、言語学(認識学、心の理論、命題的態度報告)において特別な地位にあるため、深みへの信念を発達させる。

関連論文リスト

• A Mechanistic Understanding of Pronoun Fidelity in LLMs [21.554337243825884]
  グループ実体結合(G)、回帰バイアス(R)、ステレオタイプバイアス(S)の3つのメカニズムが複数のSOTA言語モデルに因果的に実装されているかを検討する。 モデル動作を完全に説明できるメカニズムは存在しないが、3つの組み合わせは一貫して99.5%1-9である。 要約すると、代名詞の忠実さは同時に活性な因果部分空間間の競合から生じる。
  論文  参考訳（メタデータ） (2026-06-15T08:45:53Z)
• Interpretation as Linear Transformation: A Cognitive-Geometric Model of Belief and Meaning [0.0]
  純粋に代数的な制約から,信念の歪曲,モチベーションの漂流,反実的評価,相互理解の限界が生じることを示す。 この認知幾何学的視点は、人間と人工両方のシステムにおける影響の境界を明確にしていると私は主張する。
  論文  参考訳（メタデータ） (2025-12-10T17:13:01Z)
• Emergence of Linear Truth Encodings in Language Models [64.86571541830598]
  大規模言語モデルは偽文と真を区別する線形部分空間を示すが、それらの出現のメカニズムは不明確である。 このような真理部分空間をエンドツーエンドに再現する,透明な一層トランスフォーマー玩具モデルを導入する。 本研究では,真理エンコーディングが実現可能な単純な設定について検討し,将来のトークンにおけるLM損失を減らすために,この区別を学習するようモデルに促す。
  論文  参考訳（メタデータ） (2025-10-17T16:30:07Z)
• A Geometric Notion of Causal Probing [85.49839090913515]
  線形部分空間仮説は、言語モデルの表現空間において、動詞数のような概念に関するすべての情報が線形部分空間に符号化されていることを述べる。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 2つの言語モデルにまたがる少なくとも1つの概念に対して、この概念のサブスペースは、生成された単語の概念値を精度良く操作することができる。
  論文  参考訳（メタデータ） (2023-07-27T17:57:57Z)
• Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
  本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-03T11:22:48Z)
• Talking Space: inference from spatial linguistic meanings [0.0]
  本稿は、我々が生活している自然と身近な空間の交わりについて述べる。 本稿では,空間構造と言語構造を一致した構成方法で相互作用させるメカニズムを提案する。
  論文  参考訳（メタデータ） (2021-09-14T09:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。