論文の概要: Abstract representational geometry supports inference in large language models

• arxiv url: http://arxiv.org/abs/2606.23345v1
• Date: Mon, 22 Jun 2026 13:50:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:28:54.212022
• Title: Abstract representational geometry supports inference in large language models
• Title（参考訳）: 抽象表現幾何学は、大言語モデルにおける推論を支援する
• Authors: Yunan Zeng, Yuwang Wang,
• Abstract要約: 大きな言語モデルの内部メカニズムはほとんど不透明であり、それらが同等の抽象表現を形成するか、あるいは同等の推論タスクを実行する際にタスク固有の統計規則に依存するかは不明である。 本報告では, LLMはヒトより頻度が低いが, その内部状態は海馬に類似した抽象的幾何学的構造を示す。
• 参考スコア（独自算出の注目度）: 9.40587716832914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A defining feature of human intelligence is the ability to adapt to changing environments by inferring latent task structure from sparse observations. Neuroscientific research indicates that this capability relies on the hippocampus constructing abstract representations, expressed as low-dimensional, approximately orthogonal manifolds in neural state space. However, the internal mechanisms of large language models (LLMs) remain largely opaque, making it unclear whether they form comparable abstract representations or instead rely on task-specific statistical regularities when performing comparable reasoning tasks. Here we adapt a contextual reversal-learning paradigm to a text-based setting and compare humans and LLMs at both the Behavioural and representational levels. We report that although LLMs exhibit generalizable reasoning less frequently than humans, when such inference occurs, their internal states exhibit abstract geometric structures that resemble those reported in the hippocampus. Notably, this representational geometry is not uniformly distributed but is organized hierarchically across model depth: whereas lower layers show early, stable encoding of stimulus identity, higher layers form a hippocampal-like functional band enriched for abstract context geometry associated with inference. Furthermore, complementary intervention experiments mechanistically implicate geometry in reasoning: task-sequence language modelling induces geometric disentanglement, whereas geometric regularization of higher layers increases the emergence of generalizable inference. Together, these findings establish abstract representational geometry as a mechanistic principle supporting inference in large language models.
• Abstract（参考訳）: ヒューマンインテリジェンスの明確な特徴は、スパース観測から潜在タスク構造を推定することにより、変化する環境に適応できる能力である。 神経科学的研究は、この能力が神経状態空間における低次元のほぼ直交多様体として表される抽象表現を構成する海馬に依存していることを示している。 しかし、大きな言語モデル(LLM)の内部メカニズムはほとんど不透明であり、それらが同等の抽象表現を形成するか、それよりも、同等の推論タスクを実行する際にタスク固有の統計正則に依存するかは不明である。 ここでは、文脈逆学習のパラダイムをテキストベースの設定に適用し、人間とLLMを行動レベルと表現レベルの両方で比較する。 本報告では, LLMはヒトより頻度が低いが, その内部状態は海馬に類似した抽象的幾何学的構造を示す。 特に、この表現幾何学は一様分布ではなく、モデル深度にわたって階層的に構成される:下層は刺激アイデンティティの早期かつ安定した符号化を示すのに対して、上層は推論に関連した抽象的文脈幾何学に富む海馬のような機能的バンドを形成する。 タスク列言語モデリングは幾何学的不整合を誘導するが、高層の幾何学的正則化は一般化可能な推論の出現を増大させる。 これらの知見は,大規模言語モデルにおける推論を支援する機械的原理として,抽象的表現幾何学を確立した。

関連論文リスト

• An expressivity analysis of hierarchical modelling in deep transformers via bounded-depth grammars [54.11540943172608]
  ディープニューラルネットワークは、その表現力は、テクスブ階層的表現を形成する能力から導かれると広く信じられている。 言語モデリングでは、textbftransformerが支配的なアーキテクチャとして登場し、初期のレイヤはローカルの構文パターンをキャプチャし、後のレイヤはより複雑な節レベルの依存関係をコードしている。 これらのアーキテクチャは、抽象文法状態が残留ストリーム内の低次元の線形分離可能部分空間に符号化される構造的能力を持っていると論じる。
  論文  参考訳（メタデータ） (2026-06-16T05:02:13Z)
• A Navigable Manifold of Hypothesized Consciousness-Spectrum States in Language Model Representations [0.0]
  変換器埋め込み空間におけるこのスペクトルに沿ったパターンの幾何学的構造とダイナミクスについて検討する。 埋め込みは、このスペクトルに整合したグローバルな構造を示すことを示す。 その結果、埋め込み空間は、仮定された意識スペクトル分類法と整合した構造的かつナビゲート可能な幾何学をコードしていることが示唆された。
  論文  参考訳（メタデータ） (2026-06-04T04:33:17Z)
• Reasoning emerges from constrained inference manifolds in large language models [98.6966322378456]
  我々は推論中の内部表現の進化を調べることによって、本質的な力学過程としての推論を研究する。 このような幾何学的圧縮は広く普及しているが、安定的あるいは信頼性のある推論には不十分である。
  論文  参考訳（メタデータ） (2026-05-02T10:41:20Z)
• SpatialImaginer: Towards Adaptive Visual Imagination for Spatial Reasoning [67.67774742200626]
  空間知能は、視覚的な観察から幾何学的および物理的構造を推論する能力を指すもので、大きな言語モデルにとって重要な課題である。 テキスト推論と視覚的想像力を組み合わせた統合型マルチモーダル生成フレームワークを提案する。 本フレームワークでは,高レベルなセマンティックプランニングのためのテキストチェーンと,幾何感応的な状態変換と整合性保存のための視覚的想像力を用いて,分割・対数戦略を採用している。
  論文  参考訳（メタデータ） (2026-04-19T11:21:59Z)
• Latent Structure of Affective Representations in Large Language Models [6.345340156849189]
  大規模言語モデル(LLM)における感情表現の潜時構造を幾何学的データ解析ツールを用いて検討する。 まず, LLMは, 感情的感情のコヒーレントな潜在表現を学習し, 感情的感情を心理学的モデルから学習することを示す。 第二に、これらの表現は、しかしながら線形に十分に近似できる非線形幾何学的構造を示す。 第三に、学習した潜在表現空間を利用して感情処理タスクの不確かさを定量化できることを実証する。
  論文  参考訳（メタデータ） (2026-04-08T02:13:48Z)
• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• Visual Language Hypothesis [14.062822951292402]
  構造的・トポロジカルな視点から視覚表現学習を研究する。 商の近似もモデルアーキテクチャに構造的要求を与えることを示す。
  論文  参考訳（メタデータ） (2025-12-29T09:43:10Z)
• Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
  本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。 系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。 この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
  論文  参考訳（メタデータ） (2024-03-25T03:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。