論文の概要: Visualizing LLM Latent Space Geometry Through Dimensionality Reduction

• arxiv url: http://arxiv.org/abs/2511.21594v1
• Date: Wed, 26 Nov 2025 17:11:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:59.216012
• Title: Visualizing LLM Latent Space Geometry Through Dimensionality Reduction
• Title（参考訳）: 次元化によるLLM潜時空間形状の可視化
• Authors: Alex Ning, Vainateya Rangaraju,
• Abstract要約: 我々は,トランスフォーマーに基づく言語モデルにおける潜在状態空間を次元的還元により抽出し,プロセスし,可視化する。 我々はGPT-2およびLLaMaモデルの実験を行い、潜在空間における興味深い幾何学的パターンを明らかにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) achieve state-of-the-art results across many natural language tasks, but their internal mechanisms remain difficult to interpret. In this work, we extract, process, and visualize latent state geometries in Transformer-based language models through dimensionality reduction. We capture layerwise activations at multiple points within Transformer blocks and enable systematic analysis through Principal Component Analysis (PCA) and Uniform Manifold Approximation (UMAP). We demonstrate experiments on GPT-2 and LLaMa models, where we uncover interesting geometric patterns in latent space. Notably, we identify a clear separation between attention and MLP component outputs across intermediate layers, a pattern not documented in prior work to our knowledge. We also characterize the high norm of latent states at the initial sequence position and visualize the layerwise evolution of latent states. Additionally, we demonstrate the high-dimensional helical structure of GPT-2's positional embeddings, the sequence-wise geometric patterns in LLaMa, and experiment with repeating token sequences. We aim to support systematic analysis of Transformer internals with the goal of enabling further reproducible interpretability research. We make our code available at https://github.com/Vainateya/Feature_Geometry_Visualization.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多くの自然言語タスクにまたがって最先端の結果を得るが、その内部メカニズムは解釈が難しいままである。 本研究では,トランスフォーマーに基づく言語モデルにおける潜在状態のジオメトリを次元還元により抽出し,処理し,可視化する。 トランスフォーマーブロック内の複数の点における階層的アクティベーションをキャプチャし、主成分分析(PCA)と統一多様体近似(UMAP)を通して系統解析を可能にする。 我々はGPT-2およびLLaMaモデルの実験を行い、潜在空間における興味深い幾何学的パターンを明らかにする。 特に注意点とMLP成分の出力を中間層に分けて明確に分離する。 また、初期シーケンス位置における潜伏状態の高ノルムを特徴付け、潜伏状態の階層的進化を可視化する。 さらに、GPT-2の位置埋め込みの高次元ヘリカル構造、LLaMaにおけるシーケンスワイド幾何パターン、および繰り返しトークンシーケンスの実験を行った。 本研究は,トランスフォーマー内部の系統的解析を支援することを目的として,さらなる再現可能な解釈可能性研究を可能にすることを目的とする。 コードはhttps://github.com/Vainateya/Feature_Geometry_Visualizationで公開しています。

関連論文リスト

• Geometry of Decision Making in Language Models [19.74354232642455]
  大規模言語モデル(LLM)は様々なタスクにまたがる強力な一般化を示すが、それらの予測の背後にある内部決定プロセスは不透明である。 テクスト内在性次元(ID)のレンズを用いたLLMにおける隠れ表現の幾何学について検討する。 我々は28個のオープンウェイトトランスモデルを用いて大規模研究を行い、複数の推定器を用いて層間IDを推定する。
  論文  参考訳（メタデータ） (2025-11-25T13:52:46Z)
• Emergence of a High-Dimensional Abstraction Phase in Language Transformers [47.60397331657208]
  言語モデル (LM) は、言語コンテキストから出力トークンへのマッピングである。 我々は5つの事前学習されたトランスフォーマーベースLMと3つの入力データセットに対して、その解析、観察、高レベルの幾何学的アプローチをとる。 本結果は,多くの共通LMアーキテクチャにおいて,中心的な高次元位相がコア言語処理の基盤となることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T11:49:07Z)
• N2F2: Hierarchical Scene Understanding with Nested Neural Feature Fields [112.02885337510716]
  Nested Neural Feature Fields (N2F2)は、階層的な監視を用いて単一機能フィールドを学習する新しいアプローチである。 画像空間の任意のスケールで意味的に意味のある画素群を提供するために、2次元クラス非依存セグメンテーションモデルを利用する。 オープンな3次元セグメンテーションやローカライゼーションといったタスクにおいて,最先端のフィールド蒸留法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-03-16T18:50:44Z)
• The geometry of hidden representations of large transformer models [43.16765170255552]
  大規模トランスは、さまざまなデータタイプをまたいだ自己教師型データ分析に使用される強力なアーキテクチャである。 データセットのセマンティック構造は、ある表現と次の表現の間の変換のシーケンスから現れることを示す。 本研究は,データセットのセマンティクス情報が第1ピークの終わりによりよく表現されることを示し,この現象を多種多様なデータセットで訓練された多くのモデルで観測できることを示した。
  論文  参考訳（メタデータ） (2023-02-01T07:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。