論文の概要: Broken scale symmetries in undercomplete linear autoencoders

• arxiv url: http://arxiv.org/abs/2610.03640v1
• Date: Fri, 02 Oct 2026 17:29:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.517215
• Title: Broken scale symmetries in undercomplete linear autoencoders
• Title（参考訳）: 不完全線形自己エンコーダにおけるブロークスケール対称性
• Abstract要約: ニューラルネットワークロスランドスケープには多くの対称性があり、勾配流によって保存されるが、有限段階勾配降下(SGD)によって破壊される。 ここでは、不完全線形自己エンコーダの解幾何がスケールドリフトに好適な符号を選択することを示す。 この向き付けられたスケールドリフトは遅い時間スケールで発生し、そのダイナミクスは解析的に抽出可能な効果的な記述を持つ。
• 参考スコア（独自算出の注目度）: 8.064168190307209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network loss landscapes have many symmetries, which are preserved by gradient flow but broken by finite-stepsize stochastic gradient descent (SGD). A canonical example of such a symmetry is scale in homogeneous networks: one can scale up the parameters in one layer and down in the next without changing the network output. Previous work has documented cases in which SGD breaks this symmetry in favor of balancing gradient noise or minimizing fluctuations. Here, we show that the solution geometry of undercomplete linear autoencoders instead selects a preferred sign for scale drift: on the PCA solution manifold, SGD favors large decoder weights. This directed scale drift occurs on a slow timescale, and its dynamics admit an analytically-tractable effective description. However, it cannot continue indefinitely: increasing scale eventually drives the dynamics towards a finite-stepsize stability boundary. The resulting solutions are sharper than a balanced baseline in the sense of the maximum eigenvalue of the loss Hessian, but different sharpness measures can move in opposing directions. Thus, undercomplete autoencoders give a concrete illustration of how loss geometry can convert residual gradient noise into directed motion along a manifold of functionally-equivalent solutions.
• Abstract（参考訳）: ニューラルネットワークロスランドスケープには多くの対称性があり、勾配流によって保存されるが、有限段階確率勾配勾配(SGD)によって破壊される。 そのような対称性の標準的な例は、均質なネットワークにおけるスケールであり、ネットワーク出力を変更することなく、一層のパラメータを次々にスケールアップすることができる。 これまでの研究では、SGDがこの対称性を破り、勾配ノイズのバランスをとるか、変動を最小限に抑えるという事例が記録されている。 ここでは、不完全線型自己エンコーダの解幾何学が代わりにスケールドリフトのよい符号を選択することを示し、PCA解多様体では、SGDは大きなデコーダ重みを好む。 この向き付けられたスケールドリフトは遅い時間スケールで発生し、そのダイナミクスは解析的に抽出可能な効果的な記述を持つ。 しかし、それは無限に続くことはできない: スケールの増大は最終的には力学を有限段階の安定性境界へと導く。 結果として得られる解は、損失ヘッセンの最大固有値という意味では平衡基底線よりもシャープであるが、異なるシャープネス測度は反対方向に動くことができる。 したがって、不完全自己エンコーダは、損失幾何学が、関数的に等価な解の多様体に沿って、残留勾配ノイズを指向運動に変換する方法の具体例を与える。

関連論文リスト

• Probing the Error-Mitigation Threshold with Matrix Product States [2.2940141855172036]
  量子誤差の緩和は、正確なノイズ特性に依存する。 実際のノイズと特徴音のミスマッチを増幅し、成功と失敗の間の鋭い閾値を駆動することができる。 本研究では, 固定結合次元行列-生成物-状態法を開発した。
  論文  参考訳（メタデータ） (2026-09-10T00:29:38Z)
• Closed-Form Last Layer Optimization [72.49151473937319]
  正方形損失の下では、線形最終層重みに対する最適解は閉形式で知られている。 これは、バックボーン上の勾配降下ステップと最終層上のクローズドフォーム更新の交互に行われることを示す。
  論文  参考訳（メタデータ） (2025-10-06T09:14:39Z)
• Parameter Symmetry and Noise Equilibrium of Stochastic Gradient Descent [8.347295051171525]
  勾配ノイズは、退化方向に沿ってパラメータ$theta$の体系的な相互作用を、一意に依存しない固定点$theta*$へと生成することを示す。 これらの点をノイズ平衡(it noise equilibria)と呼ぶのは、これらの点において、異なる方向からのノイズ寄与がバランスと整合性を持つためである。 勾配雑音のバランスとアライメントは、ニューラルネットワーク内でのプログレッシブ・シャープニング/フラット化や表現形成といった重要な現象を説明するための新しいメカニズムとして機能することを示す。
  論文  参考訳（メタデータ） (2024-02-11T13:00:04Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Noise Balance and Stationary Distribution of Stochastic Gradient Descent [10.621129623557884]
  損失関数が再スケーリングパラメータ対称性を含む場合, SGD のミニバッチノイズは, 雑音平衡解に対する解を正則化することを示す。 単純な拡散過程とSGD力学の違いは対称性が存在するときに最も重要であるため、この理論は損失関数対称性がSGDの働きの本質的なプローブとなることを示唆している。 この結果を用いて,任意の深さと幅を持つ対角線ネットワークにおける勾配流の定常分布を導出する。
  論文  参考訳（メタデータ） (2023-08-13T03:13:03Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Analytic Signal Phase in $N-D$ by Linear Symmetry Tensor--fingerprint modeling [69.35569554213679]
  解析信号位相とその勾配は2-D$以上の不連続性を持つことを示す。 この欠点は深刻なアーティファクトをもたらす可能性があるが、問題は1-D $シグナルには存在しない。 本稿では,複数のGaborフィルタに頼って線形シンメトリー位相を用いることを提案する。
  論文  参考訳（メタデータ） (2020-05-16T21:17:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。