論文の概要: Visualizing LLM Latent Space Geometry Through Dimensionality Reduction
- arxiv url: http://arxiv.org/abs/2511.21594v1
- Date: Wed, 26 Nov 2025 17:11:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-27 18:37:59.216012
- Title: Visualizing LLM Latent Space Geometry Through Dimensionality Reduction
- Title（参考訳）: 次元化によるLLM潜時空間形状の可視化
- Authors: Alex Ning, Vainateya Rangaraju,
- Abstract要約: 我々は,トランスフォーマーに基づく言語モデルにおける潜在状態空間を次元的還元により抽出し,プロセスし,可視化する。
我々はGPT-2およびLLaMaモデルの実験を行い、潜在空間における興味深い幾何学的パターンを明らかにする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) achieve state-of-the-art results across many natural language tasks, but their internal mechanisms remain difficult to interpret. In this work, we extract, process, and visualize latent state geometries in Transformer-based language models through dimensionality reduction. We capture layerwise activations at multiple points within Transformer blocks and enable systematic analysis through Principal Component Analysis (PCA) and Uniform Manifold Approximation (UMAP). We demonstrate experiments on GPT-2 and LLaMa models, where we uncover interesting geometric patterns in latent space. Notably, we identify a clear separation between attention and MLP component outputs across intermediate layers, a pattern not documented in prior work to our knowledge. We also characterize the high norm of latent states at the initial sequence position and visualize the layerwise evolution of latent states. Additionally, we demonstrate the high-dimensional helical structure of GPT-2's positional embeddings, the sequence-wise geometric patterns in LLaMa, and experiment with repeating token sequences. We aim to support systematic analysis of Transformer internals with the goal of enabling further reproducible interpretability research. We make our code available at https://github.com/Vainateya/Feature_Geometry_Visualization.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、多くの自然言語タスクにまたがって最先端の結果を得るが、その内部メカニズムは解釈が難しいままである。
本研究では,トランスフォーマーに基づく言語モデルにおける潜在状態のジオメトリを次元還元により抽出し,処理し,可視化する。
トランスフォーマーブロック内の複数の点における階層的アクティベーションをキャプチャし、主成分分析(PCA)と統一多様体近似(UMAP)を通して系統解析を可能にする。
我々はGPT-2およびLLaMaモデルの実験を行い、潜在空間における興味深い幾何学的パターンを明らかにする。
特に注意点とMLP成分の出力を中間層に分けて明確に分離する。
また、初期シーケンス位置における潜伏状態の高ノルムを特徴付け、潜伏状態の階層的進化を可視化する。
さらに、GPT-2の位置埋め込みの高次元ヘリカル構造、LLaMaにおけるシーケンスワイド幾何パターン、および繰り返しトークンシーケンスの実験を行った。
本研究は,トランスフォーマー内部の系統的解析を支援することを目的として,さらなる再現可能な解釈可能性研究を可能にすることを目的とする。
コードはhttps://github.com/Vainateya/Feature_Geometry_Visualizationで公開しています。
関連論文リスト
- TangramPuzzle: Evaluating Multimodal Large Language Models with Compositional Spatial Reasoning [104.66714520975837]
古典的タングラムゲームのレンズを通して構成空間推論を評価するために,幾何グラウンドのベンチマークを導入する。
本稿では,タングラム集合を正確に機械で検証可能な座標仕様でグルーピングする記号幾何学的枠組みであるタングラム構成式(TCE)を提案する。
MLLMは、幾何学的制約を無視しながら、ターゲットのシルエットとのマッチングを優先する傾向がある。
論文 参考訳（メタデータ） (2026-01-23T07:35:05Z) - Inverting Self-Organizing Maps: A Unified Activation-Based Framework [39.146761527401424]
我々は,SOMの活性化パターンを逆転させて,微妙な幾何学的条件下での正確な入力を復元できることを示す。
我々は,MUSIC (Manifold-Aware Unified SOM Inversion and Control) 更新ルールを導入する。
合成ガウス混合系, MNIST と Faces in the Wild を用いたアプローチを検証した。
論文 参考訳（メタデータ） (2026-01-20T11:02:54Z) - Geometry of Decision Making in Language Models [19.74354232642455]
大規模言語モデル(LLM)は様々なタスクにまたがる強力な一般化を示すが、それらの予測の背後にある内部決定プロセスは不透明である。
テクスト内在性次元(ID)のレンズを用いたLLMにおける隠れ表現の幾何学について検討する。
我々は28個のオープンウェイトトランスモデルを用いて大規模研究を行い、複数の推定器を用いて層間IDを推定する。
論文 参考訳（メタデータ） (2025-11-25T13:52:46Z) - How Multimodal LLMs Solve Image Tasks: A Lens on Visual Grounding, Task Reasoning, and Answer Decoding [39.342366994703376]
MLLMが階層間の視覚的およびテキスト的入力をどのように処理するかを分析するための探索フレームワークを導入する。
ステージ単位の構造は、視覚的トークン化、命令チューニングデータ、事前学習コーパスの様々なバリエーションで安定しているが、各ステージシフトごとに特定の層が割り当てられることが示される。
論文 参考訳（メタデータ） (2025-08-27T21:22:01Z) - Multimodal Language Models See Better When They Look Shallower [54.5303326937134]
マルチモーダル大言語モデル(MLLM)は、通常、事前訓練された視覚変換器(ViT)の最終層から視覚的特徴を抽出する。
MLLMの視覚層選択に関する最初の総合的研究を行い,VT層間の表現類似性を解析した。
我々は、深い層がOCRのようなセマンティックリッチなタスクに優れているのに対して、浅い層と中層の層は、きめ細かい視覚的なタスクでそれらを著しく上回っていることに気付きました。
論文 参考訳（メタデータ） (2025-04-30T09:07:10Z) - Aligning Large Language Models and Geometric Deep Models for Protein Representation [57.59506688299817]
遅延表現アライメントは、異なるモダリティからの埋め込みを共有空間にマッピングするために使用され、しばしば大きな言語モデル(LLM)の埋め込み空間と一致している。
プリミティブなタンパク質中心の大規模言語モデル (MLLM) が登場したが、それらは表現の至る所で最適なアライメントの実践に関する根本的な理解が欠如しているアプローチに大きく依存している。
本研究では,タンパク質領域におけるLLMと幾何学的深部モデル(GDM)のマルチモーダル表現のアライメントについて検討する。
本研究は, モデルおよびタンパク質の観点からのアライメント要因について検討し, 現行アライメント手法の課題を特定し, アライメントプロセスを改善するための戦略を提案する。
論文 参考訳（メタデータ） (2024-11-08T04:15:08Z) - Emergence of a High-Dimensional Abstraction Phase in Language Transformers [47.60397331657208]
言語モデル (LM) は、言語コンテキストから出力トークンへのマッピングである。
我々は5つの事前学習されたトランスフォーマーベースLMと3つの入力データセットに対して、その解析、観察、高レベルの幾何学的アプローチをとる。
本結果は,多くの共通LMアーキテクチャにおいて,中心的な高次元位相がコア言語処理の基盤となることを示唆している。
論文 参考訳（メタデータ） (2024-05-24T11:49:07Z) - N2F2: Hierarchical Scene Understanding with Nested Neural Feature Fields [112.02885337510716]
Nested Neural Feature Fields (N2F2)は、階層的な監視を用いて単一機能フィールドを学習する新しいアプローチである。
画像空間の任意のスケールで意味的に意味のある画素群を提供するために、2次元クラス非依存セグメンテーションモデルを利用する。
オープンな3次元セグメンテーションやローカライゼーションといったタスクにおいて,最先端のフィールド蒸留法よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-03-16T18:50:44Z) - The geometry of hidden representations of large transformer models [43.16765170255552]
大規模トランスは、さまざまなデータタイプをまたいだ自己教師型データ分析に使用される強力なアーキテクチャである。
データセットのセマンティック構造は、ある表現と次の表現の間の変換のシーケンスから現れることを示す。
本研究は,データセットのセマンティクス情報が第1ピークの終わりによりよく表現されることを示し,この現象を多種多様なデータセットで訓練された多くのモデルで観測できることを示した。
論文 参考訳（メタデータ） (2023-02-01T07:50:26Z) - Self-supervised Geometric Perception [96.89966337518854]
自己教師付き幾何知覚(self-supervised geometric perception)は、基底幾何モデルラベルなしで対応マッチングのための特徴記述子を学ぶためのフレームワークである。
また,SGPは,地上トラスラベルを用いて訓練した教師付きオークルよりも同等か優れる最先端性能を達成できることを示す。
論文 参考訳（メタデータ） (2021-03-04T15:34:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。