論文の概要: Abstract representational geometry supports inference in large language models
- arxiv url: http://arxiv.org/abs/2606.23345v1
- Date: Mon, 22 Jun 2026 13:50:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:28:54.212022
- Title: Abstract representational geometry supports inference in large language models
- Title（参考訳）: 抽象表現幾何学は、大言語モデルにおける推論を支援する
- Abstract要約: 大きな言語モデルの内部メカニズムはほとんど不透明であり、それらが同等の抽象表現を形成するか、あるいは同等の推論タスクを実行する際にタスク固有の統計規則に依存するかは不明である。
本報告では, LLMはヒトより頻度が低いが, その内部状態は海馬に類似した抽象的幾何学的構造を示す。
- 参考スコア（独自算出の注目度）: 9.40587716832914
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A defining feature of human intelligence is the ability to adapt to changing environments by inferring latent task structure from sparse observations. Neuroscientific research indicates that this capability relies on the hippocampus constructing abstract representations, expressed as low-dimensional, approximately orthogonal manifolds in neural state space. However, the internal mechanisms of large language models (LLMs) remain largely opaque, making it unclear whether they form comparable abstract representations or instead rely on task-specific statistical regularities when performing comparable reasoning tasks. Here we adapt a contextual reversal-learning paradigm to a text-based setting and compare humans and LLMs at both the Behavioural and representational levels. We report that although LLMs exhibit generalizable reasoning less frequently than humans, when such inference occurs, their internal states exhibit abstract geometric structures that resemble those reported in the hippocampus. Notably, this representational geometry is not uniformly distributed but is organized hierarchically across model depth: whereas lower layers show early, stable encoding of stimulus identity, higher layers form a hippocampal-like functional band enriched for abstract context geometry associated with inference. Furthermore, complementary intervention experiments mechanistically implicate geometry in reasoning: task-sequence language modelling induces geometric disentanglement, whereas geometric regularization of higher layers increases the emergence of generalizable inference. Together, these findings establish abstract representational geometry as a mechanistic principle supporting inference in large language models.
- Abstract（参考訳）: ヒューマンインテリジェンスの明確な特徴は、スパース観測から潜在タスク構造を推定することにより、変化する環境に適応できる能力である。
神経科学的研究は、この能力が神経状態空間における低次元のほぼ直交多様体として表される抽象表現を構成する海馬に依存していることを示している。
しかし、大きな言語モデル(LLM)の内部メカニズムはほとんど不透明であり、それらが同等の抽象表現を形成するか、それよりも、同等の推論タスクを実行する際にタスク固有の統計正則に依存するかは不明である。
ここでは、文脈逆学習のパラダイムをテキストベースの設定に適用し、人間とLLMを行動レベルと表現レベルの両方で比較する。
本報告では, LLMはヒトより頻度が低いが, その内部状態は海馬に類似した抽象的幾何学的構造を示す。
特に、この表現幾何学は一様分布ではなく、モデル深度にわたって階層的に構成される:下層は刺激アイデンティティの早期かつ安定した符号化を示すのに対して、上層は推論に関連した抽象的文脈幾何学に富む海馬のような機能的バンドを形成する。
タスク列言語モデリングは幾何学的不整合を誘導するが、高層の幾何学的正則化は一般化可能な推論の出現を増大させる。
これらの知見は,大規模言語モデルにおける推論を支援する機械的原理として,抽象的表現幾何学を確立した。
関連論文リスト
- An expressivity analysis of hierarchical modelling in deep transformers via bounded-depth grammars [54.11540943172608]
ディープニューラルネットワークは、その表現力は、テクスブ階層的表現を形成する能力から導かれると広く信じられている。
言語モデリングでは、textbftransformerが支配的なアーキテクチャとして登場し、初期のレイヤはローカルの構文パターンをキャプチャし、後のレイヤはより複雑な節レベルの依存関係をコードしている。
これらのアーキテクチャは、抽象文法状態が残留ストリーム内の低次元の線形分離可能部分空間に符号化される構造的能力を持っていると論じる。
論文 参考訳（メタデータ） (2026-06-16T05:02:13Z) - A Navigable Manifold of Hypothesized Consciousness-Spectrum States in Language Model Representations [0.0]
変換器埋め込み空間におけるこのスペクトルに沿ったパターンの幾何学的構造とダイナミクスについて検討する。
埋め込みは、このスペクトルに整合したグローバルな構造を示すことを示す。
その結果、埋め込み空間は、仮定された意識スペクトル分類法と整合した構造的かつナビゲート可能な幾何学をコードしていることが示唆された。
論文 参考訳（メタデータ） (2026-06-04T04:33:17Z) - Reasoning emerges from constrained inference manifolds in large language models [98.6966322378456]
我々は推論中の内部表現の進化を調べることによって、本質的な力学過程としての推論を研究する。
このような幾何学的圧縮は広く普及しているが、安定的あるいは信頼性のある推論には不十分である。
論文 参考訳（メタデータ） (2026-05-02T10:41:20Z) - SpatialImaginer: Towards Adaptive Visual Imagination for Spatial Reasoning [67.67774742200626]
空間知能は、視覚的な観察から幾何学的および物理的構造を推論する能力を指すもので、大きな言語モデルにとって重要な課題である。
テキスト推論と視覚的想像力を組み合わせた統合型マルチモーダル生成フレームワークを提案する。
本フレームワークでは,高レベルなセマンティックプランニングのためのテキストチェーンと,幾何感応的な状態変換と整合性保存のための視覚的想像力を用いて,分割・対数戦略を採用している。
論文 参考訳（メタデータ） (2026-04-19T11:21:59Z) - Latent Structure of Affective Representations in Large Language Models [6.345340156849189]
大規模言語モデル(LLM)における感情表現の潜時構造を幾何学的データ解析ツールを用いて検討する。
まず, LLMは, 感情的感情のコヒーレントな潜在表現を学習し, 感情的感情を心理学的モデルから学習することを示す。
第二に、これらの表現は、しかしながら線形に十分に近似できる非線形幾何学的構造を示す。
第三に、学習した潜在表現空間を利用して感情処理タスクの不確かさを定量化できることを実証する。
論文 参考訳（メタデータ） (2026-04-08T02:13:48Z) - Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。
テキスト内概念推論におけるLLMの内部処理について検討する。
論文 参考訳（メタデータ） (2026-02-08T03:14:39Z) - Visual Language Hypothesis [14.062822951292402]
構造的・トポロジカルな視点から視覚表現学習を研究する。
商の近似もモデルアーキテクチャに構造的要求を与えることを示す。
論文 参考訳（メタデータ） (2025-12-29T09:43:10Z) - REMA: A Unified Reasoning Manifold Framework for Interpreting Large Language Model [29.40036398095681]
推論多様体(Reasoning Manifold)は、すべての正しく推論された世代に対応する内部表現によって形成される潜在低次元幾何学構造である。
誤りと正しい推論サンプルに対応する内部モデル表現の空間的関係を定量的に比較することにより,障害の起源を説明するフレームワークであるREMAを構築した。
多様な言語およびマルチモーダルモデルおよびタスクに関する実験は、推論多様体の低次元の性質と誤った推論表現と正しい推論表現の間の高い分離性を示す。
論文 参考訳（メタデータ） (2025-09-26T16:02:27Z) - Unraveling the geometry of visual relational reasoning [11.82509693248749]
人間は「一貫性」を形や色で認識するなど抽象的な関係を簡単に一般化する一方、ニューラルネットワークは柔軟性のある推論を制限するのに苦労する。
本稿では,抽象的関係推論を体系的に評価する新しいベンチマークであるSimplifiedRPMを紹介する。
また、関係性の難易度を定量化するための人間実験を行い、モデルと人間の直接比較を可能にした。
我々の結果は、AIにおけるより人間的な視覚的推論の道を開くことで、関係推論のための幾何学的基盤を確立します。
論文 参考訳（メタデータ） (2025-02-24T18:07:54Z) - Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。
系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。
この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
論文 参考訳（メタデータ） (2024-03-25T03:18:39Z) - APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。
適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。
言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
論文 参考訳（メタデータ） (2020-04-30T19:05:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。