論文の概要: Transformer Geometry Observatory TGO-II: Representational Similarity Observatory
- arxiv url: http://arxiv.org/abs/2607.02386v1
- Date: Thu, 02 Jul 2026 16:22:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.918077
- Title: Transformer Geometry Observatory TGO-II: Representational Similarity Observatory
- Title（参考訳）: Transformer Geometry Observatory TGO-II: Representational similarity Observatory
- Abstract要約: ビジョントランスフォーマーはコンピュータビジョンと言語アプリケーションで大きな成功を収めた。
本稿ではトランスフォーマー幾何観測フレームワークであるTransformer Geometry Observatory-II(TGO-II)について述べる。
- 参考スコア（独自算出の注目度）: 2.4900509453584156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Vision Transformers have achieved remarkable success across computer vision and language applications, the geometric evolution of their internal representations throughout training remains insufficiently understood. Existing analyses primarily focus on attention mechanisms and downstream performance, leaving the evolution of representation geometry largely unexplored. In this work, we present Transformer Geometry Observatory-II (TGO-II), a representation geometry analysis framework designed to investigate how Transformer representations evolve during supervised training. TGO-II analyzes Vision Transformer (ViT-Small/16) representations using Centered Kernel Alignment (CKA), Singular Vector Canonical Correlation Analysis (SVCCA), Two-Nearest Neighbor Intrinsic Dimensionality (TwoNN-ID), and token covariance analysis. Our experiments reveal three key observations. First, both CKA and SVCCA progressively decrease throughout training, indicating increasing representational specialization across Transformer layers. Second, intrinsic dimensionality consistently increases before stabilizing, suggesting progressive expansion of the representation manifold into a larger set of locally accessible degrees of freedom. Third, token covariance and coupling analyses demonstrate that strong token interaction structure persists throughout training, challenging the hypothesis that increasing representational complexity arises primarily from progressive token independence. These findings suggest that representation complexity and layer specialization emerge simultaneously during training. Manifold expansion appears to occur without token decoupling. Together, these observations motivate a new hypothesis in which Vision Transformers increase representational complexity through progressively richer transformations while preserving strong token interaction structure during learning.
- Abstract（参考訳）: ビジョントランスフォーマーはコンピュータビジョンや言語アプリケーションで顕著な成功を収めてきたが、トレーニングを通して内部表現の幾何学的進化は未だに十分に理解されていない。
既存の分析は主に注意機構と下流のパフォーマンスに焦点を当てており、表現幾何学の進化はほとんど解明されていない。
本研究では,Transformer Geometry Observatory-II(TGO-II)を提案する。
TGO-IIは、CKA(Centered Kernel Alignment)、SVCCA(Singular Vector Canonical correlation Analysis)、TwoNN-ID(TwoNN-ID)、トークン共分散分析を用いて、視覚変換器(ViT-Small/16)表現を解析する。
私たちの実験では3つの重要な観察結果が明らかになった。
第一に、CKAとSVCCAはトレーニング全体を通して徐々に減少し、トランスフォーマー層間の表現的特殊化が増加することを示唆している。
第二に、本質的な次元性は安定化する前に常に増加し、表現多様体が局所的にアクセス可能な自由度のより大きな集合へと進行的に拡張することを示唆する。
第三に、トークンの共分散と結合分析は、強いトークン相互作用構造がトレーニングを通して持続することを示し、表現の複雑さの増加は、主にプログレッシブトークン独立から生じるという仮説に挑戦する。
これらの結果から,表現の複雑さとレイヤーの特殊化が訓練中に同時に出現することが示唆された。
マニフォールド展開はトークンデカップリングなしで起こるように見える。
これらの観察は、学習中に強力なトークン相互作用構造を保ちながら、徐々にリッチな変換を通じて視覚変換者が表現の複雑さを増大させる新たな仮説を動機付けている。
関連論文リスト
- Transformer Geometry Observatory TGO-IV: Developmental Topology Observatory [2.4900509453584156]
Transformer Geometry Observatory-TGO-IVは、Transformer表現の進化を分析するためのトポロジカルフレームワークを導入している。
TGO-IVは局所幾何学的性質のみを研究するのではなく、トークンレベルの表現点雲からビエトリス-リップス単純錯体を構成する。
提案フレームワークは, 永続図, バーコード図, ベティ曲線, 永続景観, ボトルネック距離, ワッサーシュタイン距離などの相補的なトポロジカル・オブザーバトリーから構成される。
論文 参考訳（メタデータ） (2026-08-07T13:11:22Z) - Transformer Geometry Observatory TGO-III: Semantic Geometry Observatory [2.4900509453584156]
本研究は, TGO-III: Semantic Geometry Observatory を通じて, ViT-Small/16の層間で表現が進化するにつれて, 意味幾何学とクラス分離性について検討する。
セマンティックな組織の形成、機能進化、およびクラスワイドな表現幾何学をトレーニングを通して分析するために設計されたフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T08:21:16Z) - Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。
ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。
HERLは最先端のアプローチよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2026-04-18T10:50:46Z) - How do Transformers Learn Implicit Reasoning? [67.02072851088637]
制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。
原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
論文 参考訳（メタデータ） (2025-05-29T17:02:49Z) - Bridging Critical Gaps in Convergent Learning: How Representational Alignment Evolves Across Layers, Training, and Distribution Shifts [1.9458156037869137]
収束学習は、神経システムが同様の内部表現に到達する度合いである。
数十の視覚モデルと数千の層対比較にまたがる収束学習の大規模監査を行う。
発見は、表現の収束に対する理解において重要なギャップを埋め、神経科学とAIに影響を及ぼす。
論文 参考訳（メタデータ） (2025-02-26T00:04:24Z) - A Unified Perspective on the Dynamics of Deep Transformers [24.094975798576783]
深部変圧器によるデータ異方性の進化について検討する。
我々は、非正規化離散ケースにおいて、以前の結果と平行なクラスタリング現象を強調した。
論文 参考訳（メタデータ） (2025-01-30T13:04:54Z) - Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。
本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。
実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
論文 参考訳（メタデータ） (2024-10-22T21:30:01Z) - Tracing Representation Progression: Analyzing and Enhancing Layer-Wise Similarity [20.17288970927518]
本研究では,各変圧器の隠蔽層間の表現の類似性について検討する。
層間の表現が正の相関を示し、層が近づくと類似度が増加する。
浅い層の有効性を向上させるためのアライメント・トレーニング手法を提案する。
論文 参考訳（メタデータ） (2024-06-20T16:41:09Z) - S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-22T11:40:49Z) - In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。
不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文 参考訳（メタデータ） (2023-10-08T17:55:33Z) - The geometry of hidden representations of large transformer models [43.16765170255552]
大規模トランスは、さまざまなデータタイプをまたいだ自己教師型データ分析に使用される強力なアーキテクチャである。
データセットのセマンティック構造は、ある表現と次の表現の間の変換のシーケンスから現れることを示す。
本研究は,データセットのセマンティクス情報が第1ピークの終わりによりよく表現されることを示し,この現象を多種多様なデータセットで訓練された多くのモデルで観測できることを示した。
論文 参考訳（メタデータ） (2023-02-01T07:50:26Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。