論文の概要: Trajectory Geometry of Transformer Representations Across Layers

• arxiv url: http://arxiv.org/abs/2606.09287v2
• Date: Wed, 10 Jun 2026 07:15:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 14:23:44.361644
• Title: Trajectory Geometry of Transformer Representations Across Layers
• Title（参考訳）: 層間における変圧器表現の軌道幾何学
• Authors: Vishal Pandey, Gopal Singh, Yacine Mahdid,
• Abstract要約: 我々は、トランスフォワードパスを高次元表現多様体を通して離散的な集団軌道として再キャストする。 周辺空間で直接計算された5つの測度を用いて軌道幾何学を特徴付ける。
• 参考スコア（独自算出の注目度）: 0.5599792629509229
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how transformer representations evolve across layers, not merely what they encode, remains an open problem in mechanistic interpretability. We recast the transformer forward pass as a discrete population trajectory through a high-dimensional representation manifold, drawing on geometric tools from computational neuroscience. Rather than probing for pre-specified features, we characterize trajectory geometry using five metrics computed directly in the ambient space: trajectory length, curvature, a semantic convergence index, layerwise cosine similarity, and representational stability. Across three model families (GPT-2, TinyLlama, Qwen2.5) and five controlled prompt families, we report four findings. First, semantically related prompts converge significantly in middle-to-late layers (peak CI 0.41--0.58, p<0.001, Mann-Whitney U), consistent with attractor-like dynamics. Second, reasoning tasks produce trajectories of greater curvature than lexical variations (0.71--0.83 rad vs. 0.27--0.31 rad), suggesting curvature encodes computational complexity. Third, ambiguous tokens exhibit trajectory bifurcation with up to 5.6x representational separation by the final layer, absent in unambiguous controls. Fourth, layerwise cosine similarity reveals a universal three-phase structure: encoding, elaboration, and output preparation, consistent across all three architectures. All four effects vanish under shuffled-layer and random-embedding controls. We release a fully open-source, model-agnostic pipeline and argue that trajectory geometry constitutes a principled, probe-free lens for mechanistic interpretability.
• Abstract（参考訳）: トランスフォーマー表現が層を越えてどのように進化するかを理解することは、単に符号化したものではなく、機械的解釈可能性においてオープンな問題のままである。 我々は、トランスフォワードパスを高次元表現多様体を通して離散的な集団軌道として再キャストし、計算神経科学の幾何学的ツールを用いて描画する。 事前に特定された特徴を探索する代わりに, 軌道長, 曲率, 意味収束指数, 層状コサイン類似度, 表現安定性という, 周囲空間で直接計算された5つの指標を用いて軌道幾何学を特徴付ける。 3つのモデルファミリー (GPT-2, TinyLlama, Qwen2.5) と5つのコントロールされたプロンプトファミリー, 4つの所見を報告した。 第一に、意味的に関連するプロンプトは中間から後期の層(CI 0.41--0.58、p<0.001、Mann-Whitney U)に顕著に収束する。 第二に、推論タスクは語彙変化(0.71--0.83 rad vs. 0.27--0.31 rad)よりも曲率の大きい軌道を生成し、曲率が計算複雑性を符号化することを示唆している。 第3に、曖昧なトークンは、最終層による最大5.6倍の表現的分離を持つ軌跡分岐を示し、曖昧な制御に欠ける。 第4に、階層的なコサイン類似性は、エンコーディング、エラボレート、出力準備という、すべての3つのアーキテクチャで一貫した普遍的な3相構造を明らかにする。 これら4つの効果は、シャッフル層とランダム埋め込み制御の下で消滅する。 我々は、完全にオープンソースでモデルに依存しないパイプラインをリリースし、軌跡幾何学が機械的解釈性のための原理化されたプローブフリーレンズを構成することを主張する。

関連論文リスト

• Factor Graph-Based Shape Estimation for Continuum Robots via Magnus Expansion [19.359841144204115]
  本文は,低次元幾何可変ひずみ(GVS)のパラメータ化係数を因子グラフフレームワーク内で推定することにより,両パラダイムの強度を組み合わせる。 ひずみ場のマグナス展開から導かれる新しい運動因子は、GVSひずみ係数とバックボーンポーズ変数をリンクする事前制約として閉形式ロッド幾何を符号化する。 結果の定式化は、連続体、確率的処理、因子グラフ推論の計算効率を保ちながら、モデルベース制御に直接対応可能なコンパクトな状態ベクトルを生成する。
  論文  参考訳（メタデータ） (2026-04-17T01:52:07Z)
• TORA: Topological Representation Alignment for 3D Shape Assembly [48.12655111974345]
  3次元形状集合のためのフローマッチング法は、部品を組み立てられた構成に向かって輸送する点方向の速度場を学習するが、どの部分間の相互作用が運動を駆動すべきかについて明確なガイダンスは得られない。 ToRAは,凍結した3Dエンコーダから,トレーニング中のフローマッチングバックボーンにリレーショナル構造を蒸留するトポロジファースト表現アライメントフレームワークである。 幾何学的、意味論的、オブジェクト間アセンブリにまたがる5つのベンチマークの実験は、最先端のパフォーマンスを示し、特に目に見えない現実世界や合成データセットへのゼロショット転送が顕著である。
  論文  参考訳（メタデータ） (2026-04-05T10:47:52Z)
• Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement [0.0]
  視覚言語モデルは、それらのテキスト経路が表現できないような幾何学を符号化する。 ロラ微調整(r=16, 2,000枚)は、このギャップを6.5度に縮める。 これらの知見は、単一の凍結したバックボーンがマルチタスク幾何学的センサーとして機能することを可能にした。
  論文  参考訳（メタデータ） (2026-03-06T16:48:27Z)
• Structural Action Transformer for 3D Dexterous Manipulation [80.07649565189035]
  クロス・エボディメント・スキル・トランスファーは、ハイDoFロボットハンドの課題である。 既存の手法は、しばしば2次元の観測と時間中心の行動表現に依存し、3次元の空間的関係を捉えるのに苦労する。 本稿では、構造中心の視点を導入することで、このパラダイムに挑戦する新しい3Dデクスタラスな操作ポリシーを提案する。
  論文  参考訳（メタデータ） (2026-03-04T11:38:12Z)
• Analytic Bijections for Smooth and Interpretable Normalizing Flows [0.0]
  ラジアルフローは、例外的な訓練安定性を示し、幾何学的に解釈可能な変換を生成し、ラジアル構造を持つターゲット上では、1,000時間以下で結合フローに匹敵する品質を達成できる。 我々は,1次元および2次元のベンチマークを総合的に評価し,4ドルの格子場理論の実験を通じて高次元物理学問題への適用性を実証する。
  論文  参考訳（メタデータ） (2026-01-15T16:09:02Z)
• Automated Circuit Interpretation via Probe Prompting [0.0]
  本稿では、帰属グラフをコンパクトで解釈可能な部分グラフに変換する自動パイプラインであるプローブプロンプトを提案する。 5つのプロンプトにまたがって、プローブプロンプトされたサブグラフは、複雑さを圧縮しながら高い説明的カバレッジを保っている。 幾何学的クラスタリングベースラインと比較すると、概念整列群はより高い行動コヒーレンスを示す。
  論文  参考訳（メタデータ） (2025-11-10T11:53:36Z)
• Leveraging Manifold Embeddings for Enhanced Graph Transformer Representations and Learning [6.436397118145477]
  グラフ変換器は1つのユークリッド空間にすべてのノードを埋め込む。 我々は各ノードを様々な種類の多様体にルートする混合実験層を前置する。 これらの射影は、潜在空間に固有の説明を与える。
  論文  参考訳（メタデータ） (2025-07-09T23:33:36Z)
• Curve Your Attention: Mixed-Curvature Transformers for Graph Representation Learning [77.1421343649344]
  本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。 また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
  論文  参考訳（メタデータ） (2023-09-08T02:44:37Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。