論文の概要: Topological Invariance and Breakdown in Learning

• arxiv url: http://arxiv.org/abs/2510.02670v1
• Date: Fri, 03 Oct 2025 02:03:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.237797
• Title: Topological Invariance and Breakdown in Learning
• Title（参考訳）: 学習におけるトポロジ的不変性と破壊
• Authors: Yongyi Yang, Tomaso Poggio, Isaac Chuang, Liu Ziyin,
• Abstract要約: 我々は、置換同変学習規則の幅広いクラスにおいて、トレーニングプロセスがニューロン間のバイリプシッツマッピングを誘導することを証明する。 トポロジカルクリティカルポイント$eta*$以下の学習率で、トレーニングは神経細胞のすべてのトポロジカル構造を保存するために制約される。 eta*$を超えると、学習プロセスはトポロジカルな単純化を可能にし、ニューロン多様体は徐々に粗くなる。
• 参考スコア（独自算出の注目度）: 11.698788994819749
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We prove that for a broad class of permutation-equivariant learning rules (including SGD, Adam, and others), the training process induces a bi-Lipschitz mapping between neurons and strongly constrains the topology of the neuron distribution during training. This result reveals a qualitative difference between small and large learning rates $\eta$. With a learning rate below a topological critical point $\eta^*$, the training is constrained to preserve all topological structure of the neurons. In contrast, above $\eta^*$, the learning process allows for topological simplification, making the neuron manifold progressively coarser and thereby reducing the model's expressivity. Viewed in combination with the recent discovery of the edge of stability phenomenon, the learning dynamics of neuron networks under gradient descent can be divided into two phases: first they undergo smooth optimization under topological constraints, and then enter a second phase where they learn through drastic topological simplifications. A key feature of our theory is that it is independent of specific architectures or loss functions, enabling the universal application of topological methods to the study of deep learning.
• Abstract（参考訳）: 我々は、置換同変学習規則(SGD、Adamなど)の幅広いクラスにおいて、トレーニングプロセスは、ニューロン間のバイリプシッツマッピングを誘導し、トレーニング中のニューロン分布のトポロジーを強く制約することを示した。 この結果から、小規模と大規模の学習率の質的な違いが明らかになる。 トポロジカル臨界点$\eta^*$以下の学習率で、トレーニングは神経細胞のすべてのトポロジカル構造を保存するために制約される。 対照的に、$\eta^*$以上の学習過程はトポロジカルな単純化を可能にし、ニューロン多様体は徐々に粗くなり、それによってモデルの表現性が低下する。 最近の安定性現象のエッジの発見と組み合わせて、勾配降下下のニューロンネットワークの学習力学は2つのフェーズに分けることができる: まず、トポロジカルな制約の下で滑らかな最適化を行い、次に、劇的なトポロジカルな単純化を通じて学習する第2フェーズに入る。 我々の理論の重要な特徴は、それは特定のアーキテクチャや損失関数とは独立であり、トポロジカル手法のディープラーニング研究への普遍的な適用を可能にすることである。

関連論文リスト

• Topological derivative approach for deep neural network architecture adaptation [0.6144680854063939]
  この研究は、深度に沿ってニューラルネットワークアーキテクチャを段階的に適応させる新しいアルゴリズムを提案する。 本稿では, 形状関数の最適条件が, 深部神経アーキテクチャ適応の固有値問題につながることを示す。 提案手法は,新しい層を挿入する必要がある深さに最も敏感な位置を決定する。
  論文  参考訳（メタデータ） (2025-02-08T23:01:07Z)
• Topological Expressivity of ReLU Neural Networks [0.0]
  本稿では,2値分類問題の設定におけるReLUニューラルネットワークの表現性について,トポロジ的観点から検討する。 その結果、深部ReLUニューラルネットワークは、トポロジカル単純化の観点から、浅部よりも指数関数的に強力であることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T10:28:00Z)
• Connecting NTK and NNGP: A Unified Theoretical Framework for Wide Neural Network Learning Dynamics [6.349503549199403]
  我々は、ディープ・ワイド・ニューラルネットワークの学習プロセスのための包括的なフレームワークを提供する。 拡散相を特徴づけることで、私たちの研究は脳内の表現的ドリフトに光を当てます。
  論文  参考訳（メタデータ） (2023-09-08T18:00:01Z)
• A Neural Collapse Perspective on Feature Evolution in Graph Neural Networks [44.31777384413466]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの分類タスクでますます人気が高まっている。 本稿では,ノードワイズ分類に着目し,ニューラル崩壊現象のレンズによる特徴進化を考察する。 我々は、「最適」な数学的モデルでさえ、グラフが正確な崩壊を伴う最小値を持つためには厳密な構造条件に従う必要があることを示した。
  論文  参考訳（メタデータ） (2023-07-04T23:03:21Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Going beyond p-convolutions to learn grayscale morphological operators [64.38361575778237]
  p-畳み込み層と同じ原理に基づく2つの新しい形態層を提示する。 本研究では, p-畳み込み層と同じ原理に基づく2つの新しい形態層を示す。
  論文  参考訳（メタデータ） (2021-02-19T17:22:16Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。