論文の概要: Removing spurious minima for planar features by skip connections

• arxiv url: http://arxiv.org/abs/2610.01728v2
• Date: Sat, 03 Oct 2026 18:52:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 04:43:28.52246
• Title: Removing spurious minima for planar features by skip connections
• Title（参考訳）: スキップ接続による平面的特徴に対するスプリアスミニマの除去
• Abstract要約: 本研究では,教師の学習環境における浅層・偏りのないReLUネットワークのガウス人口損失について検討する。 正の出力重み付けの学生ネットワークは,教師の特徴に代表される部分空間を常に学習することを示す。
• 参考スコア（独自算出の注目度）: 1.5107773865030107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding loss landscapes is central to explaining neural-network training, yet their structure remains only partially understood even in simple models. We study the Gaussian population loss of shallow, bias-free ReLU networks in the teacher--student setting. This provides a simple model for studying essential aspects such as feature learning and overparameterization. For teacher networks with positive output weights and planar features, we show that including a learned linear skip removes all spurious local minima with non-negative student output weights once the student network is at least as wide as the teacher network. In contrast, without the skip, we construct a fixed teacher network with positive output weights and only three hidden neurons in input dimension two whose spurious local minima persist at every student width at least three. Thus, a learned linear skip can remove spurious minima that persist under arbitrary overparameterization. Furthermore, we show that a positive output weight student network always learns the subspace spanned by the teacher features: student features at local minima with non-negative student output weights lie in the span of the teacher features. For ReLU networks in two dimensions, even heavily overparameterized student networks have effective width controlled by the teacher width: every critical point with positive student output weights has at most twice as many distinct student feature directions as teacher neurons. Finally, we transfer the benignity result to empirical minima over parameter balls of any prescribed radius, with the required sampling accuracy depending on that radius.
• Abstract（参考訳）: ロスランドスケープを理解することは、ニューラルネットワークのトレーニングを説明する上で重要であるが、それらの構造は単純なモデルでも部分的には理解されていない。 本研究では,教師の学習環境における浅層・偏りのないReLUネットワークのガウス人口損失について検討する。 これは特徴学習や過パラメータ化といった重要な側面を研究するためのシンプルなモデルを提供する。 正の出力重みと平面的特徴を持つ教師ネットワークにおいて、学習された線形スキップを含むと、学生ネットワークが少なくとも教師ネットワークと同じくらい広ければ、生徒の出力重みが負でない全ての刺激的な局所最小値が除去されることを示す。 対照的に、スキップなしでは、正の出力重みを持つ固定された教師ネットワークを構築し、入力次元2に隠されたニューロンを3つだけ構築し、各学生幅にスパイラルな局所最小値が持続する。 したがって、学習された線形スキップは任意の過パラメータ化の下で持続する刺激的なミニマを取り除くことができる。 さらに,教師の特徴が生み出す部分空間を正の出力重みネットワークが常に学習することを示し,教師の特徴の幅に非負の出力重みを持つ局所的ミニマにおける生徒の特徴を示す。 2次元のReLUネットワークでは、過度にパラメータ化された学生ネットワークでさえ、教師の幅によって効果的な幅が制御されている。 最後に、所定の半径のパラメータ球に対して、その半径に応じて必要なサンプリング精度で、良性の結果を経験的最小値に転送する。

関連論文リスト

• Teacher Geometry Shapes Learnability in Teacher-Student Networks [42.48772422438361]
  我々は、世界最小に収束する成功率として学習可能性を定式化する。 本研究では,2種類の最適局所最小値を含む小型ニューラルネットワークのロスランドスケープについて検討した。 大きなネットワークでは、最大に異なる教師が内部のミニマを、最小に異なる教師がより多くのOOBミニマを誘導する。
  論文  参考訳（メタデータ） (2026-09-09T01:44:23Z)
• Generalization performance of narrow one-hidden layer networks in the teacher-student setting [40.69556943879117]
  我々は、狭いネットワーク、すなわち多数の隠れユニットを持つネットワークに対して、入力次元よりもはるかに小さい一般理論を開発する。 我々の理論は、回帰や分類タスクで訓練されたニューラルネットワークの一般化誤差を正確に予測する。
  論文  参考訳（メタデータ） (2025-07-01T10:18:20Z)
• Optimal generalisation and learning transition in extensive-width shallow neural networks near interpolation [4.976898227858662]
  教師が指導する2層ニューラルネットワークを用いた教師型学習モデルについて考察する。 任意の活性化関数に対するネットワークのベイズ最適一般化誤差を近似する有効な理論を提供する。
  論文  参考訳（メタデータ） (2025-01-30T17:56:52Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Expand-and-Cluster: Parameter Recovery of Neural Networks [9.497862562614666]
  それぞれのニューロンの重みベクトルは,活性化関数に応じて,サインやスケーリングが可能であることを示す。 提案手法は, 一般的に使用されるすべてのアクティベーション関数に対して, 対象ネットワークの重みを同定する。
  論文  参考訳（メタデータ） (2023-04-25T13:14:20Z)
• UNIKD: UNcertainty-filtered Incremental Knowledge Distillation for Neural Implicit Representation [48.49860868061573]
  最近の神経暗黙表現(NIR)は、3次元再構成と新しいビュー合成のタスクにおいて大きな成功を収めている。 それらは、異なるカメラビューからのシーンのイメージを、一度のトレーニングで利用できるようにする必要がある。 これは特に大規模なシーンと限られたデータストレージを持つシナリオでは高価である。 我々は、破滅的な問題を緩和するために、学生-教師の枠組みを設計する。
  論文  参考訳（メタデータ） (2022-12-21T11:43:20Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods [58.44819696433327]
  教師回帰モデルにおける2層ReLUニューラルネットワークのリスクについて検討する。 学生ネットワークは、どの解法よりも確実に優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T02:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。