論文の概要: On the geometry and topology of representations: the manifolds of modular addition

• arxiv url: http://arxiv.org/abs/2512.25060v1
• Date: Wed, 31 Dec 2025 18:53:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.747291
• Title: On the geometry and topology of representations: the manifolds of modular addition
• Title（参考訳）: 表現の幾何学と位相について:モジュラー加法の多様体
• Authors: Gabriela Moisescu-Pareja, Gavin McCracken, Harley Wiltzer, Vincent Létourneau, Colin Daniels, Doina Precup, Jonathan Love,
• Abstract要約: 均一なアテンションとトレーニング可能なアテンションアーキテクチャの両方が、モジュール追加のための同じアルゴリズムを実装していることを示す。 我々の方法論は個々のニューロンと重みの解釈を超えています。 我々は、学習したモジュール加算回路間の類似性を実証するために、数百の回路にわたる学習された表現を統計的に分析することができる。
• 参考スコア（独自算出の注目度）: 26.524487327445154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Clock and Pizza interpretations, associated with architectures differing in either uniform or learnable attention, were introduced to argue that different architectural designs can yield distinct circuits for modular addition. In this work, we show that this is not the case, and that both uniform attention and trainable attention architectures implement the same algorithm via topologically and geometrically equivalent representations. Our methodology goes beyond the interpretation of individual neurons and weights. Instead, we identify all of the neurons corresponding to each learned representation and then study the collective group of neurons as one entity. This method reveals that each learned representation is a manifold that we can study utilizing tools from topology. Based on this insight, we can statistically analyze the learned representations across hundreds of circuits to demonstrate the similarity between learned modular addition circuits that arise naturally from common deep learning paradigms.
• Abstract（参考訳）: ClockとPizzaの解釈は、均一または学習可能な注意のいずれにも異なるアーキテクチャに関連付けられ、異なるアーキテクチャ設計がモジュールの追加のために異なる回路を生成できると主張するために導入された。 本研究では,一様注意と訓練可能な注意アーキテクチャの両方が,位相的および幾何学的に等価な表現を通じて同じアルゴリズムを実装していることを示す。 我々の方法論は個々のニューロンと重みの解釈を超えています。 代わりに、学習した各表現に対応する全てのニューロンを特定し、そのニューロンの集合群を1つの実体として研究する。 この方法では、各学習された表現が、トポロジーからツールを利用することができる多様体であることを明らかにする。 この知見に基づいて、学習した数百の回路の表現を統計的に分析し、学習したモジュール加算回路間の類似性を、共通のディープラーニングパラダイムから自然に生み出すことを示す。

関連論文リスト

• Persistent Topological Structures and Cohomological Flows as a Mathematical Framework for Brain-Inspired Representation Learning [0.0]
  本稿では,脳に触発された表現学習のための数学的に厳密な枠組みを提案する。 代数トポロジーと微分幾何学を統合し、勾配に基づく学習を一般化するコホモロジー作用素を構成する。 実験結果から, このモデルでは, グラフニューラルおよび多様体に基づくディープアーキテクチャと比較して, 優れた多様体の整合性と耐雑音性が得られることが示された。
  論文  参考訳（メタデータ） (2025-12-09T04:48:50Z)
• Connecting Neural Models Latent Geometries with Relative Geodesic Representations [21.71782603770616]
  遅延構造を異なる潜在空間間で共有する場合、表現間の相対距離を歪みまで保存できることが示される。 異なるニューラルモデルは、ほぼ同じ基礎多様体をパラメータ化し、プルバック計量に基づく表現を導入すると仮定する。 本手法は,オートエンコーダと視覚基盤識別モデルを対象として,モデルの縫合と検索のタスクについて検証する。
  論文  参考訳（メタデータ） (2025-06-02T12:34:55Z)
• Information Structure in Mappings: An Approach to Learning, Representation, and Generalisation [3.8073142980733]
  この論文では、空間間の写像における体系的構造を特定するための定量的手法を紹介している。 マッピングに存在する構造的プリミティブと、それぞれの情報理論を識別します。 また、ベクトル空間のエントロピーを推定する新しい高性能なアプローチを導入し、この分析を100万から1200億のパラメータのモデルに適用する。
  論文  参考訳（メタデータ） (2025-05-29T19:27:50Z)
• When Representations Align: Universality in Representation Learning Dynamics [8.188549368578704]
  我々は、入力から隠れ表現への符号化マップと、表現から出力への復号マップが任意の滑らかな関数であるという仮定の下で、表現学習の効果的な理論を導出する。 実験により,活性化関数とアーキテクチャの異なる深層ネットワークにおける表現学習力学の側面を効果的に記述することを示した。
  論文  参考訳（メタデータ） (2024-02-14T12:48:17Z)
• Bayesian Unsupervised Disentanglement of Anatomy and Geometry for Deep Groupwise Image Registration [59.062085785106234]
  本稿では,マルチモーダル群画像登録のための一般ベイズ学習フレームワークを提案する。 本稿では,潜在変数の推論手順を実現するために,新しい階層的変分自動符号化アーキテクチャを提案する。 心臓、脳、腹部の医療画像から4つの異なるデータセットを含む,提案された枠組みを検証する実験を行った。
  論文  参考訳（メタデータ） (2024-01-04T08:46:39Z)
• Enhancing Representations through Heterogeneous Self-Supervised Learning [63.453024759497545]
  本稿では,HSSL(Heterogeneous Self-Supervised Learning)を提案する。 HSSLは、構造的変化を伴わない表現学習方式で、ベースモデルに新しい特徴を付与する。 HSSLは、様々な自己教師型メソッドと互換性があり、様々な下流タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-08T10:44:05Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。