論文の概要: Transformer Geometry Observatory TGO-IV: Developmental Topology Observatory

• arxiv url: http://arxiv.org/abs/2608.09997v1
• Date: Fri, 07 Aug 2026 13:11:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.747884
• Title: Transformer Geometry Observatory TGO-IV: Developmental Topology Observatory
• Title（参考訳）: 変圧器測地観測所TGO-IV:発達トポロジー観測所
• Abstract要約: Transformer Geometry Observatory-TGO-IVは、Transformer表現の進化を分析するためのトポロジカルフレームワークを導入している。 TGO-IVは局所幾何学的性質のみを研究するのではなく、トークンレベルの表現点雲からビエトリス-リップス単純錯体を構成する。 提案フレームワークは, 永続図, バーコード図, ベティ曲線, 永続景観, ボトルネック距離, ワッサーシュタイン距離などの相補的なトポロジカル・オブザーバトリーから構成される。
• 参考スコア（独自算出の注目度）: 2.4900509453584156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have had a profound impact on the world of language processing and computer vision. As efforts to answer the million-dollar question of ``How does a Transformer learn?" have been increasing, existing interpretability studies primarily analyze representations at isolated layers or the network as a whole, while the developmental evolution of individual representations and its manifolds across transformer layers remains underexplored. With this work, we aim at providing a comprehensive analysis of the evolution of representations as the representation point cloud transforms across the layers; thereby attempting to isolate layers or establish a trend which comes closer to justifying how and when raw input representations evolve into task-relevant feature representations. Thus, Transformer Geometry Observatory-TGO-IV introduces a topological framework for analysing the evolution of Transformer representations through the lens of Persistent Homology. Rather than studying local geometric properties alone, TGO-IV constructs Vietoris--Rips simplicial complexes from token-level representation point clouds and investigates the evolution of their persistent topological signatures across Transformer layers. The proposed framework comprises complementary topological observatories including Persistence Diagrams, Barcode Diagrams, Betti Curves, Persistence Landscapes, Bottleneck Distance, and Wasserstein Distance, enabling a comprehensive analysis of how the global topology of representation point clouds develops throughout the forward pass.
• Abstract（参考訳）: トランスフォーマーは言語処理とコンピュータビジョンの世界に大きな影響を与えた。 トランスフォーマーはどのように学習するのか」という100万ドルの疑問に答えるために、既存の解釈可能性研究は、分離された層やネットワーク全体の表現を主に分析する一方で、個々の表現とトランスフォーマー層をまたいだ多様体の発達的進化は、まだ未解明のままである。 本研究の目的は,表現ポイントクラウドが層をまたいで変換されるときの表現の進化を包括的に分析することであり,それによって階層を分離したり,生の入力表現がタスク関連の特徴表現へとどのように発展していくのかを正当化する傾向を確立しようとすることである。 このように、Transformer Geometry Observatory-TGO-IVは、永続ホモロジーのレンズを通してTransformer表現の進化を分析するトポロジカル・フレームワークを導入している。 局所幾何学的性質のみを研究するのではなく、TGO-IV はトークンレベルの表現点雲からビエトリス-リップス simplicial Complex を構築し、トランスフォーマー層にまたがるそれらの持続的位相的シグネチャの進化を研究する。 提案したフレームワークは、パーシステンス図、バーコード図、ベティ曲線、パーシステンス景観、ボトルネック距離、ワッサーシュタイン距離を含む補完的なトポロジ観測所で構成されており、表現点雲のグローバルトポロジが前方通過を通してどのように発達するかを包括的に分析することができる。

関連論文リスト

• Global Divergence, Local Convergence: Representation Geometry in SSMs and Transformers [4.71326501896672]
  Mambaのような最近の状態空間モデル(SSM)は、トランスフォーマーに匹敵する言語モデリング性能を達成する。 これらの構造的差異は、内部表現の幾何学的および機能的性質にどのように影響を与えるのか? 本稿では,変換器,SSM,ハイブリッドアーキテクチャにおける表現のマルチスケール解析を通じて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-09-08T12:57:30Z)
• Transformer Geometry Observatory TGO-III: Semantic Geometry Observatory [2.4900509453584156]
  本研究は, TGO-III: Semantic Geometry Observatory を通じて, ViT-Small/16の層間で表現が進化するにつれて, 意味幾何学とクラス分離性について検討する。 セマンティックな組織の形成、機能進化、およびクラスワイドな表現幾何学をトレーニングを通して分析するために設計されたフレームワークである。
  論文  参考訳（メタデータ） (2026-08-03T08:21:16Z)
• ARDepth: Auto-regressive Monocular Depth Estimation with Progressive Visual Conditioning [66.42476564611607]
  拡散モデルは、反復的妄想を通して、世界規模で滑らかな場として深度を復元できると仮定する。 本稿では,構造的自己回帰生成として深度推定を定式化するARDepthを提案する。 提案手法は高い性能を達成し,スケールにわたって構造的に一貫した深度予測を実現する。
  論文  参考訳（メタデータ） (2026-07-14T07:06:46Z)
• Transformer Geometry Observatory TGO-II: Representational Similarity Observatory [2.4900509453584156]
  ビジョントランスフォーマーはコンピュータビジョンと言語アプリケーションで大きな成功を収めた。 本稿ではトランスフォーマー幾何観測フレームワークであるTransformer Geometry Observatory-II(TGO-II)について述べる。
  論文  参考訳（メタデータ） (2026-07-02T16:22:53Z)
• Towards Fast GNN Surrogates for CO2 Migration in Complex Geological Formations [58.079925240809644]
  本研究では, 地質ストレージにおけるCO$$$ibility plume マイグレーション予測に適したエンドツーエンドグラフニューラルネットワークサロゲートを提案する。 この方法は、CO$$ストレージシナリオを評価するために設計されたよく知られた業界テストケースであるSPE11Aベンチマークで評価される。 提案モデルでは, ガス飽和度と液相密度の競合予測を行い, 累積誤差は拡大予測地平線上では緩やかに保たれている。
  論文  参考訳（メタデータ） (2026-06-15T18:19:17Z)
• Spatial Representation Learning Beyond Pixels: Unifying Raster Data and Vector Semantics for Human-Centric Geospatial Foundation Models [12.200359585933766]
  自己教師型学習の最近の進歩は地球観測基礎モデル(EOFMs)を提起した 本稿では,ベクトルベース推論と認識を統合した統合埋め込み空間における共同空間表現学習(SRL)へのパラダイムシフトを提案する。 このような統合は、地球をより正確で、解釈可能で、根底から理解できる次世代の地理空間AIシステムの開発に不可欠である、と我々は主張する。
  論文  参考訳（メタデータ） (2026-06-01T15:21:58Z)
• GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs [59.61242815508687]
  テキスト分散グラフ(TAG)上のグラフニューラルネットワーク(GNN)は、事前訓練された言語モデル(PLM)を使用してノードテキストを符号化し、これらの埋め込みを線形近傍アグリゲーションを通じて伝播する。 本研究は,意味的ドリフトの度合いを計測する局所PCAベースの計量を導入し,異なる凝集機構が多様体構造にどのように影響するかを解析するための最初の定量的枠組みを提供する。
  論文  参考訳（メタデータ） (2025-11-12T06:48:43Z)
• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• The geometry of hidden representations of large transformer models [43.16765170255552]
  大規模トランスは、さまざまなデータタイプをまたいだ自己教師型データ分析に使用される強力なアーキテクチャである。 データセットのセマンティック構造は、ある表現と次の表現の間の変換のシーケンスから現れることを示す。 本研究は,データセットのセマンティクス情報が第1ピークの終わりによりよく表現されることを示し,この現象を多種多様なデータセットで訓練された多くのモデルで観測できることを示した。
  論文  参考訳（メタデータ） (2023-02-01T07:50:26Z)
• Vision Transformers: From Semantic Segmentation to Dense Prediction [139.15562023284187]
  視覚的予測のための視覚変換器(ViT)のグローバルな文脈学習の可能性について検討する。 我々のモチベーションは、グローバルコンテキストを全受容界層で学習することで、ViTがより強力な長距離依存性情報を取得することである。 階層型ローカル・グローバル・トランスフォーマー (HLG) のファミリを定式化し, 窓内部の局所的な注意と, ピラミッド建築における窓全体のグローバルアテンションを特徴とする。
  論文  参考訳（メタデータ） (2022-07-19T15:49:35Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Self-Supervised Graph Representation Learning via Topology Transformations [61.870882736758624]
  本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。 実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-25T06:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。