論文の概要: A Geometric Characterization of the Stationary Plateau for Two-Layer Neural Networks
- arxiv url: http://arxiv.org/abs/2606.04327v1
- Date: Wed, 03 Jun 2026 01:03:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.457462
- Title: A Geometric Characterization of the Stationary Plateau for Two-Layer Neural Networks
- Title（参考訳）: 2層ニューラルネットワークのための静止プラトーの幾何学的評価
- Authors: Tian Ding, Dawei Li, Ruoyu Sun,
- Abstract要約: 2層ニューラルネットワークのロスランドスケープに生じる定常台地の幾何学的構造について検討する。
隠れたニューロンを複製すると、より広いネットワークでアフィン集合の静止点が生成される「ニューロン分割」現象に焦点を当てる。
- 参考スコア（独自算出の注目度）: 10.253005948374925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the geometric structure of stationary plateaus that arise in the loss landscape of two-layer neural networks with smooth activation functions. We focus on the phenomenon of "neuron splitting" where duplicating a hidden neuron yields an affine set of stationary points in a wider network. We provide a comprehensive classification of all stationary points on these plateaus, determining under what conditions they constitute local minima or saddle points. Our characterization hinges on a per-neuron curvature object we term the "inner Hessian" matrix. Our analysis reveals that the definiteness of the inner Hessian and the choice of splitting coefficients jointly dictate the local geometry of the plateau. We show that "splitting" a local minimum can yield either a mixture of local minima and saddles or an all-saddle plateau, with a concrete sure-saddle region identified under mild assumptions. In contrast, splitting a saddle point always produces a plateau of saddle points. Our results unify and extend prior landscape analyses, elucidating when and how model expansion preserves or alters the nature of stationary points. These findings offer new geometric insights into the effects of width expansion and reparameterization in neural networks.
- Abstract（参考訳）: 本研究では,スムーズな活性化機能を有する2層ニューラルネットワークの損失景観に生じる定常台地の幾何学的構造について検討する。
隠れたニューロンを複製すると、より広いネットワークでアフィン集合の静止点が生成される「ニューロン分割」現象に焦点を当てる。
これらの高原における静止点の包括的分類を行い、局所的なミニマ点やサドル点を構成する条件を決定する。
特徴付けは、「インナー・ヘッセン」行列と呼ばれるニューロン単位の曲率オブジェクトにヒンジする。
解析の結果,内部ヘッセンの確定性と分割係数の選択が,プレートの局所的形状を共同で決定することが明らかとなった。
局所的な最小限のスプリッティングは, 局所的なミニマとサドルを混合するか, あるいは全サドル台地と, 軽度の仮定で具体的確実なサドル領域を同定できることを示す。
対照的に、サドル点の分割は常にサドル点の台地を生成する。
本研究は,モデル拡張が静止点の性質をいつ,どのように維持するかを解明し,事前の景観解析を統一し,拡張するものである。
これらの発見は、ニューラルネットワークにおける幅拡大と再パラメータ化の影響に関する新しい幾何学的洞察を提供する。
関連論文リスト
- Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。
低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。
文献に現れる異種の経験的所見を総合的に検討した。
論文 参考訳（メタデータ） (2025-10-20T21:40:36Z) - Mesh Denoising Transformer [104.5404564075393]
Mesh Denoisingは、入力メッシュからノイズを取り除き、特徴構造を保存することを目的としている。
SurfaceFormerはTransformerベースのメッシュDenoisingフレームワークのパイオニアだ。
局所曲面記述子(Local Surface Descriptor)として知られる新しい表現は、局所幾何学的複雑さをキャプチャする。
Denoising Transformerモジュールは、マルチモーダル情報を受信し、効率的なグローバル機能アグリゲーションを実現する。
論文 参考訳（メタデータ） (2024-05-10T15:27:43Z) - Loss Landscape of Shallow ReLU-like Neural Networks: Stationary Points, Saddle Escape, and Network Embedding [1.4513150969598634]
経験的二乗損失を学習したReLU様活性化関数を持つ一層ニューラルネットワークの損失状況について検討した。
トレーニング中の損失減少を著しく抑制するネットワークの定常点を同定する。
論文 参考訳（メタデータ） (2024-02-08T12:30:29Z) - Deep Networks on Toroids: Removing Symmetries Reveals the Structure of
Flat Regions in the Landscape Geometry [3.712728573432119]
我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。
最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。
また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
論文 参考訳（メタデータ） (2022-02-07T09:57:54Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - Landscape analysis for shallow ReLU neural networks: complete
classification of critical points for affine target functions [3.9103337761169947]
対象関数がアフィンである場合の臨界点の完全な分類を提供する。
我々のアプローチは、reluニューラルネットワークで起こりうる様々な種類の隠れたニューロンを注意深く分析することに基づいている。
論文 参考訳（メタデータ） (2021-03-19T17:35:01Z) - Self-Sampling for Neural Point Cloud Consolidation [83.31236364265403]
本稿では,入力点クラウドのみから学習するニューラルポイントクラウドの統合技術を紹介する。
入力ポイントクラウドを、ディープニューラルネットワークのトレーニングに使用するグローバルサブセットで、繰り返し自己サンプルします。
様々な形状から点集合を集約する能力を示すとともに,出力器やノイズを除去する能力を示す。
論文 参考訳（メタデータ） (2020-08-14T17:16:02Z) - Neural Subdivision [58.97214948753937]
本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。
すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。
単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
論文 参考訳（メタデータ） (2020-05-04T20:03:21Z) - A Rotation-Invariant Framework for Deep Point Cloud Analysis [132.91915346157018]
ネットワーク入力時に一般的な3次元カルト座標を置き換えるために,新しい低レベル純粋回転不変表現を導入する。
また,これらの表現を特徴に組み込むネットワークアーキテクチャを提案し,点とその近傍の局所的関係とグローバルな形状構造を符号化する。
本手法は, 形状分類, 部分分割, 形状検索を含む多点雲解析タスクにおいて評価する。
論文 参考訳（メタデータ） (2020-03-16T14:04:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。