Fugu-MT 論文翻訳(概要): The Lattice Representation Hypothesis of Large Language Models

論文の概要: The Lattice Representation Hypothesis of Large Language Models

arxiv url: http://arxiv.org/abs/2603.01227v1
Date: Sun, 01 Mar 2026 18:42:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-03 19:50:56.578165
Title: The Lattice Representation Hypothesis of Large Language Models
Title（参考訳）: 大規模言語モデルの格子表現仮説
Authors: Bo Xiong,
Abstract要約: 分離しきい値を持つ線形属性方向は、半空間交叉を通じて概念格子を誘導することを示す。この幾何学は、幾何学的交叉 (intersection) と結合 (union) 演算による記号的推論を可能にする。
参考スコア（独自算出の注目度）: 18.00499182102749
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose the Lattice Representation Hypothesis of large language models: a symbolic backbone that grounds conceptual hierarchies and logical operations in embedding geometry. Our framework unifies the Linear Representation Hypothesis with Formal Concept Analysis (FCA), showing that linear attribute directions with separating thresholds induce a concept lattice via half-space intersections. This geometry enables symbolic reasoning through geometric meet (intersection) and join (union) operations, and admits a canonical form when attribute directions are linearly independent. Experiments on WordNet sub-hierarchies provide empirical evidence that LLM embeddings encode concept lattices and their logical structure, revealing a principled bridge between continuous geometry and symbolic abstraction.
Abstract（参考訳）: 埋め込み幾何学における概念的階層性と論理的操作を基盤とした記号的バックボーンである,大規模言語モデルの格子表現仮説を提案する。本フレームワークは, 線形表現仮説と形式的概念解析 (FCA) を統一し, 半空間交叉による概念格子の導出を示す。この幾何学は、幾何学的交叉 (intersection) と結合 (union) 演算による記号的推論を可能にし、属性方向が線型独立であるときに正準形式を認める。 WordNetのサブ階層に関する実験は、LLMが概念格子とそれらの論理構造をエンコードしているという実証的な証拠を提供し、連続幾何学と記号抽象の原則的な橋渡しを明らかにした。

関連論文リスト

The Representational Geometry of Number [1.5994376682356057]
数値表現はタスク間の安定な関係構造を保っていることを示す。タスク固有の表現は、分離可能な線形方向に沿ってエンコードされた等級のような低レベルな特徴を持つ、異なる部分空間に埋め込まれている。このことは、タスク固有の変換が概念表現の共通基盤関係構造に適用されたときに、理解が生じることを示唆している。
論文参考訳（メタデータ） (2026-02-06T16:35:22Z)
Native Logical and Hierarchical Representations with Subspace Embeddings [25.274936769664098]
線形部分空間として概念を埋め込むという新しいパラダイムを導入する。交叉(接点)や線形和(接点)のような集合論的な操作を自然にサポートする提案手法は,WordNet上での再構築とリンク予測の最先端化を実現する。
論文参考訳（メタデータ） (2025-08-21T18:29:17Z)
TokenBlowUp: Resolving Representational Singularities in LLM Token Spaces via Monoidal Transformations [0.9179857807576733]
最近の研究は、大規模言語モデルのトークン埋め込み空間に対する基礎多様体仮説に挑戦する説得力のある証拠を提供している。我々はこの問題をスキーム理論の言語で定式化し、スキーム理論のブローアップを各特異点に適用することにより厳密な解法を提案する。我々は、この新しい空間の幾何学的正則化を保証する公式な定理を証明し、元の病理が解決されたことを示す。
論文参考訳（メタデータ） (2025-07-26T02:39:54Z)
Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
論文参考訳（メタデータ） (2025-06-26T22:40:30Z)
The Origins of Representation Manifolds in Large Language Models [52.68554895844062]
表現空間におけるコサイン類似性は、最短のオンマンフォールド経路を通して特徴の内在幾何学を符号化することができることを示す。理論の臨界仮定と予測は、大きな言語モデルのテキスト埋め込みとトークンアクティベーションに基づいて検証される。
論文参考訳（メタデータ） (2025-05-23T13:31:22Z)
The Geometry of Categorical and Hierarchical Concepts in Large Language Models [15.126806053878855]
線形表現仮説の形式化をベクトルとして(例:is_animal)特徴を表現するために拡張する方法を示す。形式化を用いて、概念の階層構造とそれらの表現の幾何学との関係を証明する。我々はこれらの理論結果をGemmaとLLaMA-3大言語モデルで検証し、WordNetのデータを用いて900以上の階層的な概念の表現を推定する。
論文参考訳（メタデータ） (2024-06-03T16:34:01Z)
Learning Visual-Semantic Subspace Representations [49.17165360280794]
我々は,自己教師型学習に有効な情報理論の原理を基礎として,核ノルムに基づく損失関数を導入する。この損失の理論的特徴として、クラス性の促進に加えて、部分空間格子内のデータのスペクトル幾何学を符号化していることを示す。
論文参考訳（メタデータ） (2024-05-25T12:51:38Z)
On the Origins of Linear Representations in Large Language Models [51.88404605700344]
我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
論文参考訳（メタデータ） (2024-03-06T17:17:36Z)
An Encoding of Abstract Dialectical Frameworks into Higher-Order Logic [57.24311218570012]
このアプローチは抽象弁証法フレームワークのコンピュータ支援分析を可能にする。応用例としては、メタ理論的性質の形式的解析と検証がある。
論文参考訳（メタデータ） (2023-12-08T09:32:26Z)
A Formalisation of Abstract Argumentation in Higher-Order Logic [77.34726150561087]
本稿では,古典的高階論理へのエンコーディングに基づく抽象的議論フレームワークの表現手法を提案する。対話型および自動推論ツールを用いた抽象的議論フレームワークのコンピュータ支援評価のための一様フレームワークを提供する。
論文参考訳（メタデータ） (2021-10-18T10:45:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。