論文の概要: Laguerre Geometry for Interpreting Large Language Models
- arxiv url: http://arxiv.org/abs/2607.10578v1
- Date: Sun, 12 Jul 2026 05:28:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.471993
- Title: Laguerre Geometry for Interpreting Large Language Models
- Title（参考訳）: 大規模言語モデルの解釈のためのラゲア幾何学
- Abstract要約: 概念幾何学はLaguerre Geometryを通して正確に評価できることを示す。
また,2次元ビジュアライザであるLaguerre Autoencoderを開発した。
- 参考スコア（独自算出の注目度）: 2.255961793913651
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing hypotheses represent a concept in an LLM as a single point, a linear direction, or a Gaussian cluster, yet it remains unclear how and why such structures emerge. Here, we show that concept geometry can be precisely characterized via Laguerre Geometry, in which a concept is defined as a region--a Laguerre-Voronoi cell or a union of cells--allowing us to strictly define, measure, and separate concepts. Building on this formulation, we show that finer-grained concept structures, such as inclusion and hierarchy, are naturally revealed by the Laguerre weights. We then push this geometry inside the transformer. Decomposing each layer into piecewise-linear operators, we show that a token's hidden trajectory is governed by two coupled mechanisms: a static tree of self-contained piecewise-linear flow, and a dynamic transport that hops the trajectory across trees when cross-token attention fires. This decomposition yields Geometric Lens, a training-free, hyperparameter-free method for reading out the exact concept a hidden vector encodes at any layer. We also develop Laguerre Autoencoder, a 2D visualizer that renders both the decision geometry and a model's full reasoning trajectory in one view. Finally, we move beyond explanatory geometry toward actionable interpretability, showing that Geometric Lens recovers the correct factual token when a model is prompted with in-context interference. The code is available on GitHub.
- Abstract（参考訳）: 既存の仮説は、LLMにおける概念を単一点、線型方向、ガウスクラスターとして表すが、なぜそのような構造が現れるのか、なぜかは定かではない。
ここでは、概念幾何学をラゲール幾何学(Laguerre Geometry)によって正確に特徴づけることを示し、そこでは、概念を領域(Laguerre-Voronoi cell)またはセルの結合(union of cells)として定義し、厳密に定義し、測定し、分離することを可能にする。
この定式化に基づいて、包含や階層といったよりきめ細かい概念構造がラゲール重みによって自然に明らかにされることを示す。
そして、この幾何学をトランスの中に押し込みます。
各層を片方向の線形作用素に分解すると、トークンの隠れ軌跡は、自己完結した片方向の線形流れの静的木と、横断的注意点火時に木を横切る動的輸送という2つの結合されたメカニズムによって制御されることを示す。
この分解によってGeometric Lensは、どんな層でも隠れたベクトルエンコードされた正確な概念を読み取るための、トレーニング不要でハイパーパラメータフリーな方法である。
また,2次元ビジュアライザであるLaguerre Autoencoderを開発した。
最後に、説明幾何を超えて動作可能な解釈可能性に移行し、テクスチャ内干渉によってモデルが誘導されるとき、Geometric Lensが正しい事実トークンを復元することを示す。
コードはGitHubで入手できる。
関連論文リスト
- Panoramic Scene Analysis: A Survey from Distortion-Aware Engineering to Sphere-Native Foundation Modeling [1.8625021794520016]
パノラマ画像は単一のフレームで完全な視覚球をキャプチャし、従来のカメラでは達成できない空間的コンテキストを提供する。
2次元球面を平面に忠実にマッピングすることはできず、すべての平面表現は標準視覚アーキテクチャの前提となる仮定に反する歪みを導入する。
本研究は,プロジェクションに基づく適応から歪み認識工学,スフィアネイティブモデリング,基礎モデルの幾何認識トークン化に至るまで,方法論的軌道に沿ったパノラマシーン解析の進化を辿るものである。
論文 参考訳（メタデータ） (2026-06-26T05:54:38Z) - The Shape of Addition: Geometric Structures of Arithmetic in Large Language Models [11.106770083374288]
大規模言語モデルは、基本的な算術においてパラドックスの幻覚を示し、内部計算と離散出力の解離を意味する。
本稿では,この形状を説明するために雑音量子化モデルを提案し,量子化しきい値を越えて潜伏電位を連続的に押し出す内部雑音による幾何学的スリップとして算術誤差をフレーミングする。
提案手法は, 推論中の量子化故障を効果的に検出し, 補正する幾何整合性検査法を用いて, これらの知見を検証する。
論文 参考訳（メタデータ） (2026-05-29T10:55:50Z) - HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation [83.31948299340782]
HERMES++は、単一のフレームワーク内で3Dシーン理解と将来の幾何学的予測を統合する統合駆動世界モデルである。
Hermes++は、将来のクラウド予測と3Dシーン理解タスクの両方において、優れたパフォーマンスと優れたスペシャリストのアプローチを実現している。
論文 参考訳（メタデータ） (2026-04-30T17:59:58Z) - Geoparsing: Diagram Parsing for Plane and Solid Geometry with a Unified Formal Language [60.70116693224378]
我々は平面と固体の幾何学を統合した統一形式言語を設計し、幾何学構造と意味関係を包括的に網羅する。
GDP-29Kは,実世界の様々な情報源から収集した20k平面と9k固体形状のサンプルからなる大規模データセットである。
論文 参考訳（メタデータ） (2026-04-13T15:09:56Z) - A Hyperbolic Perspective on Hierarchical Structure in Object-Centric Scene Representations [58.143688187023734]
双曲空間のローレンツ双曲体にユークリッドスロット埋め込みを投影する簡単なパイプラインを提案する。
スロットアテンションマスクから直接5段階の視覚階層を構築する。
双曲的プロジェクションは、一貫したシーンレベルをオブジェクトレベル組織に公開する。
論文 参考訳（メタデータ） (2026-03-14T16:53:59Z) - Social-JEPA: Emergent Geometric Isomorphism [11.526381612918549]
世界モデルは、リッチな感覚ストリームを圧縮して、将来の観測を期待するコンパクトな潜在コードにします。
我々は、パラメータ共有や調整を行わずに、同じ環境の異なる視点からそのようなモデルを取得する。
訓練後、それらの内部表現は顕著な創発性を示し、2つの潜在空間は近似線型等距離によって関連付けられる。
論文 参考訳（メタデータ） (2026-02-28T07:54:43Z) - The Information Geometry of Softmax: Probing and Steering [18.006877307358348]
表現空間の自然な幾何学は、モデルが表現を使って振る舞いを生成する方法を反映すべきである。
我々の焦点は、意味的エンコーディングと線形表現仮説における情報幾何学の役割である。
図示的応用として,表現を頑健に操り,特定の概念を示す手法である「デュアルステアリング」を開発する。
論文 参考訳（メタデータ） (2026-02-17T01:33:28Z) - A Geometric Unification of Concept Learning with Concept Cones [58.70836885177496]
解釈可能性の2つの伝統は、並べて進化してきたが、互いに話すことはめったにない:概念ボトルネックモデル(CBM)とスパースオートエンコーダ(SAE)。
両パラダイムが同じ幾何学的構造をインスタンス化することを示す。
CBMは人間の定義した参照ジオメトリを提供するが、SAEは学習した円錐がCBMをどの程度よく近似するか、あるいは包含しているかによって評価することができる。
論文 参考訳（メタデータ） (2025-12-08T09:51:46Z) - Seeing through Imagination: Learning Scene Geometry via Implicit Spatial World Modeling [68.14113731953971]
本稿では,人間のような想像力をシミュレートするインプリシット・スパットIaLwOrldモデリングパラダイムMILOを紹介する。
提案手法は,複数のベースラインとベンチマークにまたがる空間推論能力を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2025-12-01T16:01:41Z) - ShaRF: Shape-conditioned Radiance Fields from a Single View [54.39347002226309]
本稿では,単一の画像のみのオブジェクトの神経シーン表現を推定する手法を提案する。
この手法の核心は,対象物の幾何学的足場の推定である。
合成画像と実画像の両方において,提案手法の有効性を示す実験を行った。
論文 参考訳（メタデータ） (2021-02-17T16:40:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。