論文の概要: Sharp Covering-Number Bounds for Feedforward ReLU Networks via Parameter Symmetries
- arxiv url: http://arxiv.org/abs/2611.15300v1
- Date: Wed, 11 Nov 2026 10:34:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.102855
- Title: Sharp Covering-Number Bounds for Feedforward ReLU Networks via Parameter Symmetries
- Title(参考訳): パラメータ対称性によるフィードフォワードReLUネットワークのシャープ被覆・ナンバ境界
- Abstract要約: 我々はReLUおよびLeaky ReLUネットワークのパラメータ空間対称性を特徴付ける。
ネットワーク関数を保存する全ての準解析パラメータマップは、正のチャネルスケーリングとチャネル置換の合成であることを示す。
- 参考スコア(独自算出の注目度): 6.486962335712537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In neural networks, distinct parameter configurations often realize the same input--output mapping, indicating that nominal parameter counts can overstate functional complexity. In this paper, we characterize the parameter-space symmetries of ReLU and Leaky ReLU networks across fully connected, convolutional, and residual architectures. We prove that every quasianalytic parameter map preserving the network function is a composition of positive channel scaling and channel permutation. By quotienting out both symmetries, we derive uniform covering-number upper bounds in which positive scaling reduces the complexity exponent from the total parameter count $S$ to $S-H$ (with $H$ denoting the number of scalable channels) and permutation symmetry divides the bound by the factorial count $G$ of channel permutations. We establish matching lower bounds showing that the exponent $S-H$ is sharp in general and that the divisor $G$ is attained for one-hidden-layer and generically identifiable networks. We further extend these results to general continuous piecewise-linear activated networks. Finally, we apply our covering-number bounds to derive statistical risk guarantees for empirical risk minimization and capacity control beyond i.i.d.\ settings, and show how the underlying symmetries help explain weight rebalancing in function approximation and flat directions in empirical risk optimization.
- Abstract(参考訳): ニューラルネットワークでは、異なるパラメータ構成は、しばしば同じ入力-出力マッピングを実現する。
本稿では,ReLU と Leaky ReLU のパラメータ空間対称性を,完全連結型,畳み込み型,残差型アーキテクチャで特徴付ける。
ネットワーク関数を保存する全ての準解析パラメータマップは、正のチャネルスケーリングとチャネル置換の合成であることを示す。
両対称性を引用することにより、正のスケーリングが全パラメータ数$S$から$S-H$(スケーラブルチャネルの数を表す$H$)への複雑性指数を減少させる一様被覆数上限を導出し、置換対称性はチャネル置換の因子数$G$によって境界を分割する。
我々は、指数 $S-H$ が一般にシャープであること、および因子 $G$ が1つの隠れ層および一般化可能なネットワークに対して達成されることを示す、一致した下界を確立する。
さらに、これらの結果を一般的な連続的一方向線形活性化ネットワークに拡張する。
最後に,経験的リスク最小化と容量制御のための統計的リスク保証を,経験的リスク最適化において関数近似における重み付けと平坦な方向を説明する上で,基礎となる対称性がどのように役立つかを示す。
関連論文リスト
- Most ReLU Networks Admit Identifiable Parameters [14.626408075188005]
深部ReLUネットワークの実現マップについて検討し、関数がパラメータをスケールや置換まで決定する時間に着目した。
我々の主な結果は、入力層と隠された層が少なくとも2つの幅を持つ全てのアーキテクチャに対して、識別可能なパラメータのオープンセットが存在することを示している。
論文 参考訳(メタデータ) (2026-05-05T10:25:28Z) - Symmetry-Aware Graph Metanetwork Autoencoders: Model Merging through Parameter Canonicalization [37.457412158271126]
本論文では,ScaleGMNを不変エンコーダとして利用するオートエンコーダフレームワークを提案する。
提案手法は,インプシットニューラルネットワーク(INR)と畳み込みニューラルネットワーク(CNN)を,置換とスケーリングの両方の対称性の下で整列することを示す。
このアプローチは、類似ネットワークが同一盆地内に自然に収束することを保証し、モデルマージを容易にし、損失の高い領域を避ける。
論文 参考訳(メタデータ) (2025-11-16T13:57:50Z) - Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。
以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。
我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。
この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
論文 参考訳(メタデータ) (2025-06-28T01:46:36Z) - A Rescaling-Invariant Lipschitz Bound Based on Path-Metrics for Modern ReLU Network Parameterizations [13.894485461969772]
重みの $ell1$-path-metric で表される新しいリプシッツの不等式を証明した。
これはどんなReLU-DAGアーキテクチャにも適用され、畳み込み、接続のスキップ、プーリング、フリーズ(リアルタイム)バッチ正規化が組み合わさっている。
ネットワークの自然な対称性を尊重することにより、新しい境界はパラメータ空間境界を厳格にシャープし、2つの前方通過で計算できる。
論文 参考訳(メタデータ) (2024-05-23T19:23:09Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳(メタデータ) (2024-04-18T16:46:08Z) - Geometry-induced Implicit Regularization in Deep ReLU Neural Networks [0.0]
暗黙の正則化現象は、まだよく理解されていないが、最適化中に起こる。
パラメータの異なる出力集合の幾何について検討する。
バッチ関数次元は隠蔽層内の活性化パターンによってほぼ確実に決定されることを示す。
論文 参考訳(メタデータ) (2024-02-13T07:49:57Z) - Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳(メタデータ) (2023-09-29T20:18:52Z) - Hidden symmetries of ReLU networks [17.332539115959708]
一部のネットワークでは、ある層内のニューロンの置換と、ニューロンにおけるパラメータの正のスケーリングが唯一の対称性であり、他のネットワークでは、追加の隠れ対称性が認められる。
本研究では, 層が入力よりも狭いネットワークアーキテクチャでは, 隠れ対称性を持たないパラメータ設定が存在することを証明した。
論文 参考訳(メタデータ) (2023-06-09T18:07:06Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。
正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。
高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文 参考訳(メタデータ) (2020-02-25T23:05:33Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳(メタデータ) (2020-01-27T22:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。