論文の概要: Spontaneous symmetry breaking and Goldstone modes for deep information propagation

• arxiv url: http://arxiv.org/abs/2605.14685v1
• Date: Thu, 14 May 2026 10:59:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.783082
• Title: Spontaneous symmetry breaking and Goldstone modes for deep information propagation
• Title（参考訳）: 深部情報伝搬のための自然対称性の破れとゴールドストーンモード
• Authors: Nabil Iqbal, T. Anderson Keller, Yue Song, Takeru Miyato, Max Welling,
• Abstract要約: 物理系では、連続対称性が自然に壊れるたびに、この系はゴールドストーンモードと呼ばれる励起を持つ。 本研究では,内部層が連続対称性の下で不変であるディープニューラルネットワークについて検討する。 解析的および実験的に、これらの自由度が、深さと繰り返しの繰り返しをまたいでコヒーレントな信号伝達を可能にすることを実証する。
• 参考スコア（独自算出の注目度）: 43.66941556185932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In physical systems, whenever a continuous symmetry is spontaneously broken, the system possesses excitations called Goldstone modes, which allow coherent information propagation over long distances and times. In this work, we study deep neural networks whose internal layers are equivariant under a continuous symmetry and may therefore support analogous Goldstone-like degrees of freedom. We demonstrate, both analytically and empirically, that these degrees of freedom enable coherent signal propagation across depth and recurrent iterations, providing a mechanism for stable information flow without relying on architectural stabilizers such as residual connections or normalization. In feedforward networks, this results in improved trainability and representational diversity across layers. In recurrent settings, we demonstrate the same mechanism is valuable for long-term memory by propagating information over recurrent iterations, thereby improving performance of RNNs and GRUs on long-sequence modeling tasks.
• Abstract（参考訳）: 物理系では、連続対称性が自発的に壊れるたびに、この系はゴールドストーンモードと呼ばれる励起を持ち、長距離や時間にわたってコヒーレントな情報伝達を可能にする。 本研究では,内部層が連続対称性の下で不変であるディープニューラルネットワークについて検討する。 解析的にも実証的にも、これらの自由度は深度や繰り返し繰り返しのコヒーレントな信号伝達を可能にし、残差接続や正規化といったアーキテクチャ上の安定化に頼らずに安定した情報の流れのメカニズムを提供する。 フィードフォワードネットワークでは、これによりトレーニング容易性と層間の表現多様性が改善される。 リカレント・セッティングにおいて,リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・

関連論文リスト

• Impact of leaky dynamics on predictive path integration accuracy in recurrent neural networks [2.8860609916462647]
  リカレントニューラルネットワーク(RNN)におけるリーク項による適応時間スケールの導入 以上の結果から, 漏洩したRNNは, 明確に定義された, 極めて規則的な六方晶発火パターンの出現を著しく促進することがわかった。 同一の雑音条件下では、漏れやすいRNNはより安定した力学とより定義されたグリッド構造を示す。
  論文  参考訳（メタデータ） (2026-04-17T06:10:47Z)
• Deep Delta Learning [91.75868893250662]
  本稿では,標準残差接続を一般化した新しいアーキテクチャであるDeep Delta Learning(DDL)を紹介する。 我々はこの演算子のスペクトル解析を行い、ゲート$(mathbfX)$がアイデンティティマッピング、投影、幾何反射のダイナミックな相互作用を可能にすることを示した。 この統合により、ネットワークは階層的な遷移作用素のスペクトルを明示的に制御することができ、複雑な非単調力学のモデリングを可能にする。
  論文  参考訳（メタデータ） (2026-01-01T18:11:38Z)
• Dynamical Learning in Deep Asymmetric Recurrent Neural Networks [1.3421746809394772]
  非対称なディープリカレントニューラルネットワークは、指数関数的に大きく、密度の高い内部表現の多様体を生み出すことを示す。 本稿では,再帰的ダイナミクスからインプット・アウトプット・アソシエーションが自然に出現する分散学習手法を提案する。
  論文  参考訳（メタデータ） (2025-09-05T12:05:09Z)
• Time-Scale Coupling Between States and Parameters in Recurrent Neural Networks [3.924071936547547]
  ゲーテッドニューラルネットワーク(RNN)は、適応的な学習速度の振る舞いを暗黙的に誘発する。 効果は状態空間の時間スケールとパラメータ空間のダイナミクスの結合から生じる。 経験的シミュレーションはこれらの主張を裏付ける。
  論文  参考訳（メタデータ） (2025-08-16T18:19:34Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Deep Learning for Stability Analysis of a Freely Vibrating Sphere at Moderate Reynolds Number [0.0]
  本稿では,非定常な3次元流体構造相互作用系の安定性予測のための深層学習に基づくリダクションオーダーモデル(DL-ROM)を提案する。 提案したDL-ROMは非線形状態空間モデルの形式を持ち、長い短期記憶を持つリカレントニューラルネットワーク(LSTM)を用いる。 LSTMネットワークを固有系実現アルゴリズム (ERA) と統合することにより、低次安定性解析のためのデータ駆動状態空間モデルを構築する。
  論文  参考訳（メタデータ） (2021-12-18T06:41:02Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)
• Feedback-induced instabilities and dynamics in the Jaynes-Cummings model [62.997667081978825]
  時間遅延コヒーレントフィードバックを受けるJaynes-Cummingsモデルのコヒーレンスと定常状態特性について検討する。 導入されたフィードバックは、システムの動的応答と定常量子特性を質的に修正する。
  論文  参考訳（メタデータ） (2020-06-20T10:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。