論文の概要: Scale redundancy and soft gauge fixing in positively homogeneous neural networks

• arxiv url: http://arxiv.org/abs/2602.14729v1
• Date: Mon, 16 Feb 2026 13:21:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.425371
• Title: Scale redundancy and soft gauge fixing in positively homogeneous neural networks
• Title（参考訳）: 正均質ニューラルネットワークにおけるスケール冗長性とソフトゲージ固定
• Authors: Rodrigo Carmo Terin,
• Abstract要約: 正に均質な活性化を持つニューラルネットワークは、正確な連続的な再パラメータ化対称性を示す。 不変方向とスケール不均衡方向を分離するゲージ適応座標を導入する。 電場理論におけるゲージ固定に着想を得て、冗長スケール座標のみに作用するソフト軌道選択関数を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks with positively homogeneous activations exhibit an exact continuous reparametrization symmetry: neuron-wise rescalings generate parameter-space orbits along which the input--output function is invariant. We interpret this symmetry as a gauge redundancy and introduce gauge-adapted coordinates that separate invariant and scale-imbalance directions. Inspired by gauge fixing in field theory, we introduce a soft orbit-selection (norm-balancing) functional acting only on redundant scale coordinates. We show analytically that it induces dissipative relaxation of imbalance modes to preserve the realized function. In controlled experiments, this orbit-selection penalty expands the stable learning-rate regime and suppresses scale drift without changing expressivity. These results establish a structural link between gauge-orbit geometry and optimization conditioning, providing a concrete connection between gauge-theoretic concepts and machine learning.
• Abstract（参考訳）: 正に均一なアクティベーションを持つニューラルネットワークは、正確な連続的な再パラメータ化対称性を示す: ニューロンワイド・リスケーリングは、入力出力関数が不変なパラメータ空間軌道を生成する。 この対称性をゲージ冗長性と解釈し、不変方向とスケール不均衡方向を分離するゲージ適応座標を導入する。 電場理論におけるゲージ固定に着想を得て、冗長スケール座標のみに作用するソフト軌道選択(ノルムバランス)関数を導入する。 本研究では,不均衡モードの散逸緩和を誘導し,実現した関数を保存できることを解析的に示す。 制御された実験では、この軌道選択ペナルティは安定した学習率体制を拡張し、表現性を変化させることなくスケールドリフトを抑制する。 これらの結果は、ゲージ軌道幾何と最適化条件の間の構造的リンクを確立し、ゲージ理論の概念と機械学習との具体的な接続を提供する。

関連論文リスト

• Recurrent Equivariant Constraint Modulation: Learning Per-Layer Symmetry Relaxation from Data [36.287199718605]
  等価ニューラルネットワークは、基礎となるタスク対称性を利用して一般化を改善する。 本稿では,レイヤワイド制約変調機構であるRecurrent Equivariant ConstraintModulation (RECM)を提案する。 RECMは、トレーニング信号と各層の入力ターゲット分布の対称性からのみ適切な緩和レベルを学習する。
  論文  参考訳（メタデータ） (2026-02-02T21:59:35Z)
• VIKING: Deep variational inference with stochastic projections [48.946143517489496]
  変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
  論文  参考訳（メタデータ） (2025-10-27T15:38:35Z)
• A Regularization-Guided Equivariant Approach for Image Restoration [46.44312175792672]
  同変および不変なディープラーニングモデルは、データに固有の対称性を利用するために開発されている。 これらの手法は、しばしば限られた表現精度に悩まされ、実際には成り立たないような厳密な対称性の仮定に依存する。 本稿では,ネットワークの表現精度を保ちながら,データに対する適切な対称性制約を適応的に適用する回転同変正規化戦略を提案する。
  論文  参考訳（メタデータ） (2025-05-26T10:30:26Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
  我々は「緩和された同注入」という新しい概念を導入する。 我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。 対称性の破れの関連性は、様々な応用領域で議論される。
  論文  参考訳（メタデータ） (2023-12-14T15:06:48Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Message-Passing Neural Quantum States for the Homogeneous Electron Gas [41.94295877935867]
  連続空間における強相互作用フェルミオンをシミュレートするメッセージパッシング・ニューラルネットワークに基づく波動関数Ansatzを導入する。 等質電子ガスの基底状態を3次元でシミュレーションすることにより,その精度を実証する。
  論文  参考訳（メタデータ） (2023-05-12T04:12:04Z)
• Model Reduction for Nonlinear Systems by Balanced Truncation of State and Gradient Covariance [0.0]
  モデル還元のための低次元座標系は、系の感度と軌道に沿った状態の分散に関する随伴情報とをバランスさせる。 これらの手法を, 単純かつ困難な3次元システムと, 状態変数105ドルの非線形軸対称噴流シミュレーションで実証した。
  論文  参考訳（メタデータ） (2022-07-28T21:45:08Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。