論文の概要: Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse

• arxiv url: http://arxiv.org/abs/2607.03613v1
• Date: Fri, 03 Jul 2026 22:03:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.66667
• Title: Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse
• Title（参考訳）: 多変量ReLUネットワークにおけるSGDの入射バイアス:有効幅崩壊
• Abstract要約: 入力重みとバイアスが有限個の方向に沿って一致していることを示し、有効幅の崩壊を導いた。 我々は、学習方向がトレーニングデータに固有の3次活性化パターンを誘導することを証明することによって、学習表現の非冗長性を確立する。
• 参考スコア（独自算出の注目度）: 16.78534503577613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the implicit bias of noisy stochastic gradient descent in training wide two-layer ReLU networks for multivariate regression. In a mean-field regime, the training dynamics are approximated by a Wasserstein gradient flow that converges to a unique stationary measure. We characterize the structure of this stationary measure and the predictor it represents. We show that, despite the network being infinitely overparameterized, the learned predictor admits an effectively finite representation: the input weights and biases align along finitely many directions, leading to an effective width collapse. In particular, the solution function is continuous piecewise affine, with affine regions determined by the cells of a finite hyperplane arrangement. The number of learned directions, and hence hyperplanes, is bounded above by $2\mathcal{P}-1$, where $\mathcal{P}$ denotes the number of linear dichotomies realizable on the training inputs. We further establish a non-redundancy property of the learned representation by proving that each learned direction induces a unique ternary activation pattern on the training data. Consequently, the complexity of the learned predictor is governed by the combinatorial geometry of the training data.
• Abstract（参考訳）: 多変量回帰のための広帯域2層ReLUネットワークにおける雑音性確率勾配勾配の暗黙バイアスについて検討した。 平均場状態において、トレーニング力学は、一意の定常測度に収束するワッサーシュタイン勾配流によって近似される。 この定常測度の構造とそれが表す予測器を特徴付ける。 ネットワークが無限に過度にパラメータ化されているにもかかわらず、学習された予測器は事実上有限な表現を認め、入力重みとバイアスは有限個の方向に沿って整列し、効果的に幅が崩壊することを示した。 特に、解関数は、有限超平面配置のセルによって決定されるアフィン領域を持つ連続な断片的アフィンである。 学習方向、すなわち超平面の数は、上述の 2\mathcal{P}-1$ で制限され、$\mathcal{P}$ は、トレーニング入力で実現可能な線形二コトミーの数を表す。 さらに、学習方向がトレーニングデータに固有の第三次活性化パターンを誘導することを証明することにより、学習表現の非冗長性を確立する。 その結果、学習した予測子の複雑さは、トレーニングデータの組合せ幾何学によって制御される。

関連論文リスト

• On Interpolation Formulas Describing Neural Network Generalization [8.154667543705687]
  連続時間拡散により決定論的バージョンを拡張する勾配カーネルを導入する。 トレーニングサンプルは、損失依存の重み付けと軌道に沿った勾配アライメントを通じて寄与することを明らかにする。 次に、勾配カーネルによって誘導される積分作用素の零空間に一般化誤差をリンクする。
  論文  参考訳（メタデータ） (2026-03-14T10:03:29Z)
• Feature learning in finite-width Bayesian deep linear networks with multiple outputs and convolutional layers [39.71511919246829]
  深い線形ネットワークは広く研究されているが、複数の出力と畳み込み層を持つ有限幅アーキテクチャの場合はほとんど知られていない。 我々の研究は、この物理学の直観と用語を厳密なベイズ統計に翻訳する辞書を提供する。
  論文  参考訳（メタデータ） (2024-06-05T13:37:42Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Training invariances and the low-rank phenomenon: beyond linear networks [44.02161831977037]
  線形分離可能なデータに対して、ロジスティックあるいは指数損失の深い線形ネットワークを訓練すると、重みは1$の行列に収束する。 非線形ReLU活性化フィードフォワードネットワークに対して、低ランク現象が厳格に証明されたのはこれが初めてである。 我々の証明は、あるパラメータの方向収束の下で重みが一定である多重線型関数と別のReLUネットワークへのネットワークの特定の分解に依存している。
  論文  参考訳（メタデータ） (2022-01-28T07:31:19Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Deep Learning Approximation of Diffeomorphisms via Linear-Control Systems [91.3755431537592]
  我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。 対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
  論文  参考訳（メタデータ） (2021-10-24T08:57:46Z)
• Implicit Bias of Gradient Descent for Mean Squared Error Regression with Two-Layer Wide Neural Networks [1.3706331473063877]
  幅$n$浅いReLUネットワークをトレーニングする解は、トレーニングデータに適合する関数の$n-1/2$以内であることを示す。 また, トレーニング軌道はスムーズなスプラインの軌道によって捕捉され, 正規化強度は低下することを示した。
  論文  参考訳（メタデータ） (2020-06-12T17:46:40Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。