論文の概要: Transformer Geometry Observatory TGO-III: Semantic Geometry Observatory

• arxiv url: http://arxiv.org/abs/2608.01876v1
• Date: Mon, 03 Aug 2026 08:21:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.40608
• Title: Transformer Geometry Observatory TGO-III: Semantic Geometry Observatory
• Title（参考訳）: Transformer Geometry Observatory TGO-III: Semantic Geometry Observatory
• Abstract要約: 本研究は, TGO-III: Semantic Geometry Observatory を通じて, ViT-Small/16の層間で表現が進化するにつれて, 意味幾何学とクラス分離性について検討する。 セマンティックな組織の形成、機能進化、およびクラスワイドな表現幾何学をトレーニングを通して分析するために設計されたフレームワークである。
• 参考スコア（独自算出の注目度）: 2.4900509453584156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the widespread adoption of Vision Transformers in modern AI, the need to analyze their inherent representational behavior has become increasingly important. While most existing studies emphasize token geometries and training dynamics, the evolution of representational covariance structures and class-level geometric organization remains comparatively underexplored. In this work, we investigate semantic geometry and class separability as representations evolve across the layers of ViT-Small/16 through TGO-III: Semantic Geometry Observatory. It is a framework designed to analyze the emergence of semantic organization, feature evolution, and class-wise representation geometry throughout training. The framework employs multiple complementary observatories, including Linear Probe Accuracy, Fisher Ratio, Class Centroid Distances, Local Intrinsic Dimension, and Local PCA Rank, to quantify the progressive evolution of discriminative representations. Our analysis reveals that class representations become progressively more linearly separable, Fisher discriminability increases, class centroids move farther apart, and local representation manifolds exhibit structured class-dependent geometric complexity. These observations provide empirical evidence supporting the Semantic Expansion Hypothesis, suggesting that the manifold expansion observed in previous observatories is accompanied by the progressive organization of representations into increasingly discriminative semantic structures. Collectively, TGO-III extends the Transformer Geometry Observatory framework by establishing a direct connection between manifold geometry, covariance evolution, and semantic organization during Transformer training.
• Abstract（参考訳）: 現代のAIにおけるビジョントランスフォーマーの普及により、それら固有の表現行動を分析する必要性がますます重要になっている。 既存のほとんどの研究はトークン幾何学と訓練力学を強調しているが、表現的共分散構造とクラスレベルの幾何学的構造の進化は比較的過小評価されている。 本研究では,TGO-III: Semantic Geometry Observatory を通じて,VT-Small/16の層間で表現が進化するにつれて,意味幾何学とクラス分離性について検討する。 セマンティックな組織の形成、機能進化、およびクラスワイドな表現幾何学をトレーニングを通して分析するために設計されたフレームワークである。 このフレームワークは、線形プローブ精度、フィッシャー比、クラスセントロイド距離、局所固有次元、局所PCAランクなど、複数の補完的な観測装置を用いて、識別表現の進化的進化を定量化している。 解析の結果、クラス表現は徐々に線形に分離しやすくなり、フィッシャー識別性は増大し、クラスセントロイドはより遠くへ移動し、局所表現多様体は構造的クラス依存の幾何学的複雑性を示すことが明らかとなった。 これらの観察は、セマンティック膨張仮説を支持する実証的な証拠を提供し、以前の観測所で観測された多様体の膨張は、表現の進歩的な組織化がますます差別的な意味構造へと伴うことを示唆している。 TGO-IIIは、トランスフォーマートレーニング中に、多様体幾何学、共分散進化、意味的組織との直接的な接続を確立することで、トランスフォーマー幾何学観測フレームワークを拡張した。

関連論文リスト

• Transformer Geometry Observatory TGO-IV: Developmental Topology Observatory [2.4900509453584156]
  Transformer Geometry Observatory-TGO-IVは、Transformer表現の進化を分析するためのトポロジカルフレームワークを導入している。 TGO-IVは局所幾何学的性質のみを研究するのではなく、トークンレベルの表現点雲からビエトリス-リップス単純錯体を構成する。 提案フレームワークは, 永続図, バーコード図, ベティ曲線, 永続景観, ボトルネック距離, ワッサーシュタイン距離などの相補的なトポロジカル・オブザーバトリーから構成される。
  論文  参考訳（メタデータ） (2026-08-07T13:11:22Z)
• Continual Learning in Transition [77.0733079568852]
  古典的な連続学習は主に、モデルがパラメータ中心のメカニズムを通じて知識を更新および保持することに焦点を当てている。 新たなパラダイムは、従来のモデル適応の観点を超えて、CLのスコープを再構築しています。 連続学習の3次元的進化を考察する。
  論文  参考訳（メタデータ） (2026-08-06T16:07:26Z)
• Transformer Geometry Observatory TGO-II: Representational Similarity Observatory [2.4900509453584156]
  ビジョントランスフォーマーはコンピュータビジョンと言語アプリケーションで大きな成功を収めた。 本稿ではトランスフォーマー幾何観測フレームワークであるTransformer Geometry Observatory-II(TGO-II)について述べる。
  論文  参考訳（メタデータ） (2026-07-02T16:22:53Z)
• A Navigable Manifold of Hypothesized Consciousness-Spectrum States in Language Model Representations [0.0]
  変換器埋め込み空間におけるこのスペクトルに沿ったパターンの幾何学的構造とダイナミクスについて検討する。 埋め込みは、このスペクトルに整合したグローバルな構造を示すことを示す。 その結果、埋め込み空間は、仮定された意識スペクトル分類法と整合した構造的かつナビゲート可能な幾何学をコードしていることが示唆された。
  論文  参考訳（メタデータ） (2026-06-04T04:33:17Z)
• Geometry of Human Perceptual Domains Emerges Transiently in LLM Representations [1.503974529275767]
  本研究では,オープンウェイトトランスアーキテクチャの残流における知覚的モダリティに対応する固有幾何学構造の出現について検討する。 複数の知覚領域にまたがる階層的幾何学構造の出現を観察する。 これにより、人間のような知覚幾何学が大きな言語モデルでどのように、どこで起こるか、という新たな洞察が得られる。
  論文  参考訳（メタデータ） (2026-05-27T05:04:29Z)
• LAST: Bridging Vision-Language and Action Manifolds via Gromov-Wasserstein Alignment [71.3712075841632]
  LASTはアクション空間を再構築し、ビジョン・ランゲージ・アクション・モダリティとの局所的な距離互換性を確立する。 LASTは収束性と一般化性に優れたVLAモデルを可能にする。
  論文  参考訳（メタデータ） (2026-05-27T03:48:10Z)
• Beyond Point-Wise Matching: Structural Representation Alignment for Accelerating Diffusion Transformers [93.3976834364707]
  本稿では,特徴写像のリレーショナル幾何における整合性を実現する構造的RePresentation AlignmentフレームワークであるsREPAを提案する。 モデルが事前訓練された特徴から全体的空間配置と構造的相関を内包するように促すことにより、sREPAはより高速でより安定した収束を達成する。
  論文  参考訳（メタデータ） (2026-05-16T12:01:04Z)
• SEMASIA: A Large-Scale Dataset of Semantically Structured Latent Representations [12.185380843937196]
  約1,700個の事前学習された視覚モデルから抽出した潜在表現の大規模コレクションであるSEMASIAを紹介する。 個々の潜在空間の概念的構造を解析し、一貫したプロトタイプのようなクラスタリングを示す。 プレトレーニングデータの複雑性,特殊化,伝達学習,拡張,モデルスケールが,埋め込みの幾何学的および探索的特性とどのように関係しているかを,大規模回帰分析により解析する。
  論文  参考訳（メタデータ） (2026-05-10T11:42:36Z)
• Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
  本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。 ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。 HERLは最先端のアプローチよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-18T10:50:46Z)
• TopoOR: A Unified Topological Scene Representation for the Operating Room [54.50897207203292]
  手術シーングラフは外科手術室(OR)の複雑さを実体の構造とその関連性に抽象化する。 マルチモーダルな手術室を高次構造としてモデル化する新しいパラダイムであるTopoORを紹介する。 また,多様体の構造やモジュラリティに特有な特徴を明示的に保存する高次アテンション機構を提案する。
  論文  参考訳（メタデータ） (2026-03-10T10:19:42Z)
• GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs [59.61242815508687]
  テキスト分散グラフ(TAG)上のグラフニューラルネットワーク(GNN)は、事前訓練された言語モデル(PLM)を使用してノードテキストを符号化し、これらの埋め込みを線形近傍アグリゲーションを通じて伝播する。 本研究は,意味的ドリフトの度合いを計測する局所PCAベースの計量を導入し,異なる凝集機構が多様体構造にどのように影響するかを解析するための最初の定量的枠組みを提供する。
  論文  参考訳（メタデータ） (2025-11-12T06:48:43Z)
• Current Symmetry Group Equivariant Convolution Frameworks for Representation Learning [5.802794302956837]
  ユークリッドの深層学習はしばしば、表現空間が不規則で複雑な位相で湾曲した実世界の信号に対処するのに不十分である。 我々は、対称性群同変深層学習モデルの重要性と、グラフや3次元形状、非ユークリッド空間における畳み込みのような操作の実現に焦点を当てる。
  論文  参考訳（メタデータ） (2024-09-11T15:07:18Z)
• The geometry of hidden representations of large transformer models [43.16765170255552]
  大規模トランスは、さまざまなデータタイプをまたいだ自己教師型データ分析に使用される強力なアーキテクチャである。 データセットのセマンティック構造は、ある表現と次の表現の間の変換のシーケンスから現れることを示す。 本研究は,データセットのセマンティクス情報が第1ピークの終わりによりよく表現されることを示し,この現象を多種多様なデータセットで訓練された多くのモデルで観測できることを示した。
  論文  参考訳（メタデータ） (2023-02-01T07:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。