論文の概要: Emergence of Fibrations, Compression, and Symmetry Breaking in Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2609.01768v1
• Date: Tue, 01 Sep 2026 18:39:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:17.86133
• Title: Emergence of Fibrations, Compression, and Symmetry Breaking in Artificial Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるフィブレーション・圧縮・対称性破断の発生
• Abstract要約: 深層ニューラルネットワークにおける学習は、フィブレーションや被覆として知られる局所対称性を生成する。 これらの対称性をエクスプロイトすることで、劇的なモデル圧縮が可能になり、性能を犠牲にすることなく、ネットワークを元のサイズの17%に削減できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Artificial neural networks are often regarded as powerful yet opaque black boxes. Here, we demonstrate that learning in deep neural networks generates local symmetries known in graph theory as fibrations and coverings. We prove that covering symmetries are stable attractors of stochastic gradient descent. Consistent with this theory, we report the emergence of covering symmetries across major network architectures, including multilayer, convolutional, recurrent, and transformer networks. Exploiting these symmetries enables drastic model compression - reducing networks to 17% of their original size without sacrificing performance. Furthermore, controlled breaking of covering symmetry overcomes the loss of plasticity, achieving state-of-the-art performance in continual learning. The theoretical results provide a new foundation for AI systems based on symmetries that convert black boxes into interpretable colored graphs and enable more efficient inference and lifelong learning.
• Abstract（参考訳）: ニューラルネットワークはしばしば、強力だが不透明なブラックボックスと見なされる。 ここでは、深層ニューラルネットワークにおける学習が、グラフ理論でフィブレーションや被覆として知られる局所対称性を生成することを実証する。 我々は,被覆対称性が確率勾配勾配の安定な引力であることを証明した。 この理論とは対照的に,マルチレイヤ,畳み込み,再帰,変圧器ネットワークなど,主要なネットワークアーキテクチャにまたがる対称性の出現を報告する。 これらの対称性をエクスプロイトすることで、劇的なモデル圧縮が可能になり、性能を犠牲にすることなく、ネットワークを元のサイズの17%に削減できる。 さらに、制御された被覆対称性の破れは、塑性の喪失を克服し、連続学習における最先端の性能を達成する。 理論的結果は、ブラックボックスを解釈可能な色付きグラフに変換し、より効率的な推論と生涯学習を可能にする対称性に基づく、AIシステムの新たな基盤を提供する。

関連論文リスト

• Conservation Laws from Data Symmetry in Neural Networks [1.7842332554022695]
  ニューラルネットワークの勾配流訓練において、トレーニングデータの対称性が保存量につながるかどうかを考察する。 一方、平均二乗誤差(MSE)損失に対しては、データ拡張が余分に保存された量をもたらす状況がある。
  論文  参考訳（メタデータ） (2026-06-09T14:23:34Z)
• Weight transport through spike timing for robust local gradients [0.5236468296934584]
  機能的ニューラルネットワークの可塑性は、しばしばコストの勾配降下として表される。 これにより、局所的な計算との整合が難しい対称性の制約が課される。 本稿では、スパイクタイミング統計を用いて、効果的な相互接続間の非対称性を抽出し、補正するスパイクベースのアライメント学習を提案する。
  論文  参考訳（メタデータ） (2025-03-04T14:05:39Z)
• Learning Broken Symmetries with Approximate Invariance [1.0485739694839669]
  多くの場合、正確な基礎となる対称性は理想化されたデータセットにのみ存在し、実際のデータに分解される。 データ拡張や同変ネットワークのような標準的なアプローチは、完全な、壊れた対称性の性質を表現できない。 本稿では,制約のないネットワークの一般性と性能と,制約のないネットワークの高速学習のバランスをとる学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-12-25T04:29:04Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Symmetry Induces Structure and Constraint of Learning [0.0]
  機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。 ディープラーニングにおけるミラー対称性の一般的な例としては、再スケーリング、回転、置換対称性がある。 ニューラルネットワークにおける可塑性の喪失や様々な崩壊現象などの興味深い現象を理論的枠組みで説明できることを示す。
  論文  参考訳（メタデータ） (2023-09-29T02:21:31Z)
• On the Importance of Asymmetry for Siamese Representation Learning [53.86929387179092]
  シームズネットワークは、2つの並列エンコーダと概念的に対称である。 ネットワーク内の2つのエンコーダを明確に区別することで,非対称性の重要性について検討する。 非対称設計による改善は、より長いトレーニングスケジュール、複数の他のフレームワーク、より新しいバックボーンに一般化されている。
  論文  参考訳（メタデータ） (2022-04-01T17:57:24Z)
• Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
  近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。 最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。 本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-16T14:17:37Z)
• Sampling asymmetric open quantum systems for artificial neural networks [77.34726150561087]
  非対称な開系に対する高速収束時間と高いスケーラビリティを実現し,非対称性を考慮したハイブリッドサンプリング戦略を提案する。 我々は、ニューラルネットワークの普遍的適用性を強調し、ニューラルネットワークの普遍的適用性を概説する。
  論文  参考訳（メタデータ） (2020-12-20T18:25:29Z)
• Understanding Graph Neural Networks with Generalized Geometric Scattering Transforms [67.88675386638043]
  散乱変換は、畳み込みニューラルネットワークのモデルとして機能する多層ウェーブレットベースのディープラーニングアーキテクチャである。 非対称ウェーブレットの非常に一般的なクラスに基づくグラフに対して、窓付きおよび非窓付き幾何散乱変換を導入する。 これらの非対称グラフ散乱変換は、対称グラフ散乱変換と多くの理論的保証を持つことを示す。
  論文  参考訳（メタデータ） (2019-11-14T17:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。