論文の概要: Topological Signatures of Grokking

• arxiv url: http://arxiv.org/abs/2605.06352v1
• Date: Thu, 07 May 2026 14:33:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.906921
• Title: Topological Signatures of Grokking
• Title（参考訳）: グローキングのトポロジカルシグナチャ
• Authors: Yifan Tang, Qiquan Wang, Inés García-Redondo, Anthea Monod,
• Abstract要約: トポロジーのレンズを通してグラッキング現象を研究する。 永続ホモロジーは、表現学習の統一的幾何学的および位相的特徴を与える。 この結果から、持続的ホモロジーは、トレーニング中にニューラルネットワークが潜在構造をどのように分析するかを、原則的かつ解釈可能なフレームワークとして提供することが示唆された。
• 参考スコア（独自算出の注目度）: 5.246889031503699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the grokking phenomenon through the lens of topology. Using persistent homology on point clouds derived from the embedding matrices of a range of models trained on modular arithmetic with varying primes, we identify a clear and consistent topological signature of grokking: a sharp increase in both the maximum and total persistence of first homology ($H_1$). Persistence diagrams reveal the emergence of a dominant long-lived topological feature together with increasingly structured secondary features, reflecting the underlying cyclic structure of the task. Compared to existing spectral and geometric diagnostics -- specifically, Fourier analysis and local intrinsic dimension -- persistent homology provides a unified geometric and topological characterization of representation learning, capturing both local and global multi-scale structure. Ablations across data regimes and control settings show that these topological transitions are tied to generalization rather than memorization. Our results suggest that persistent homology offers a principled and interpretable framework for analyzing how neural networks internalize latent structure during training.
• Abstract（参考訳）: トポロジーのレンズを通してグラッキング現象を研究する。 様々な素数を持つモジュラー算術で訓練されたモデルの埋め込み行列から導かれる点雲上の永続的ホモロジーを用いて、グルーキングの明確かつ一貫した位相的シグネチャを同定する: 第一ホモロジーの最大および全持続性(H_1$)の急激な増加(英語版)。 永続図は、タスクの根底にある循環構造を反映して、より構造化された二次特徴とともに、支配的な長寿命トポロジ的特徴の出現を示す。 既存のスペクトルおよび幾何学的診断(特にフーリエ解析と局所固有次元)と比較して、永続ホモロジーは表現学習の幾何学的および位相的特徴を統一し、局所的および大域的多スケール構造を捉える。 データレシフィケーションと制御設定間のアブレーションは、これらのトポロジカルな遷移が記憶よりも一般化に結びついていることを示している。 この結果から,ニューラルネットワークが学習中に潜伏構造を内在化する過程を解析するために,永続的ホモロジーが原則的かつ解釈可能なフレームワークを提供する可能性が示唆された。

関連論文リスト

• Topological Detection of Hopf Bifurcations via Persistent Homology: A Functional Criterion from Time Series [0.0]
  位相データ解析の枠組みにTakensを組み込んだ位相空間再構成に適用した持続的ホモロジーに基づいて,時系列から直接ホップ分岐を検出するためのフレームワークを提案する。 その結果、トポロジカル位相遷移としての動的遷移の解釈を支援し、非線形時系列の定量的解析のためのモデルフリーツールとしてのトポロジカルデータ解析の可能性を示した。
  論文  参考訳（メタデータ） (2026-03-28T20:25:38Z)
• Persistent Topological Structures and Cohomological Flows as a Mathematical Framework for Brain-Inspired Representation Learning [0.0]
  本稿では,脳に触発された表現学習のための数学的に厳密な枠組みを提案する。 代数トポロジーと微分幾何学を統合し、勾配に基づく学習を一般化するコホモロジー作用素を構成する。 実験結果から, このモデルでは, グラフニューラルおよび多様体に基づくディープアーキテクチャと比較して, 優れた多様体の整合性と耐雑音性が得られることが示された。
  論文  参考訳（メタデータ） (2025-12-09T04:48:50Z)
• GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs [59.61242815508687]
  テキスト分散グラフ(TAG)上のグラフニューラルネットワーク(GNN)は、事前訓練された言語モデル(PLM)を使用してノードテキストを符号化し、これらの埋め込みを線形近傍アグリゲーションを通じて伝播する。 本研究は,意味的ドリフトの度合いを計測する局所PCAベースの計量を導入し,異なる凝集機構が多様体構造にどのように影響するかを解析するための最初の定量的枠組みを提供する。
  論文  参考訳（メタデータ） (2025-11-12T06:48:43Z)
• Conformable Convolution for Topologically Aware Learning of Complex Anatomical Structures [38.20599800950335]
  トポロジ的一貫性を明示するために設計された新しい畳み込み層であるConformable Convolutionを紹介する。 Topological Posterior Generator (TPG)モジュールは、重要なトポロジ的特徴を特定し、畳み込み層をガイドする。 本稿では,構造物の相互接続性維持が重要となるセグメンテーション作業におけるフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2024-12-29T22:41:33Z)
• PhyloGen: Language Model-Enhanced Phylogenetic Inference via Graph Structure Generation [50.80441546742053]
  系統樹は種間の進化的関係を解明する。 伝統的なマルコフ連鎖モンテカルロ法は、緩やかな収束と計算上の負担に直面している。 我々は、事前学習されたゲノム言語モデルを活用する新しい方法であるPhyloGenを提案する。
  論文  参考訳（メタデータ） (2024-12-25T08:33:05Z)
• Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• $k$-Means Clustering for Persistent Homology [0.0]
  永続図空間上の$k$-meansクラスタリングアルゴリズムの収束性を証明する。 また、Karush--Kuhn--Tucker フレームワークにおける最適化問題の解の理論的性質も確立する。
  論文  参考訳（メタデータ） (2022-10-18T17:18:51Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• Bayesian Topological Learning for Classifying the Structure of Biological Networks [1.644043499620662]
  Actin cytoskeleton Networkは、ネットワークの穴の数、大きさ、形状の自然変化によって局所的なトポロジカルなシグネチャを生成する。 永続ホモロジー(Persistent homology)は、データのトポロジ的性質を探索し、永続化ダイアグラムとして要約する手法である。 本研究では,アクチンフィラメントネットワークの分類にベイズ係数アルゴリズムを適用し,いくつかの最先端の分類手法と比較した。
  論文  参考訳（メタデータ） (2020-09-24T22:43:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。