論文の概要: The star-shaped space of solutions of the spherical negative perceptron
- arxiv url: http://arxiv.org/abs/2305.10623v2
- Date: Tue, 5 Sep 2023 16:34:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 05:15:10.537144
- Title: The star-shaped space of solutions of the spherical negative perceptron
- Title(参考訳): 球面負のパーセプトロンの解の星形の空間
- Authors: Brandon Livio Annesi, Clarissa Lauditi, Carlo Lucibello, Enrico M.
Malatesta, Gabriele Perugini, Fabrizio Pittorino and Luca Saglietti
- Abstract要約: 低エネルギー構成が複雑な連結構造によく見られることを示す。
我々は、他のほとんどの解と連結された非定型ハイマージンの部分集合を同定する。
- 参考スコア(独自算出の注目度): 4.511197686627054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Empirical studies on the landscape of neural networks have shown that
low-energy configurations are often found in complex connected structures,
where zero-energy paths between pairs of distant solutions can be constructed.
Here we consider the spherical negative perceptron, a prototypical non-convex
neural network model framed as a continuous constraint satisfaction problem. We
introduce a general analytical method for computing energy barriers in the
simplex with vertex configurations sampled from the equilibrium. We find that
in the over-parameterized regime the solution manifold displays simple
connectivity properties. There exists a large geodesically convex component
that is attractive for a wide range of optimization dynamics. Inside this
region we identify a subset of atypical high-margin solutions that are
geodesically connected with most other solutions, giving rise to a star-shaped
geometry. We analytically characterize the organization of the connected space
of solutions and show numerical evidence of a transition, at larger constraint
densities, where the aforementioned simple geodesic connectivity breaks down.
- Abstract(参考訳): ニューラルネットワークのランドスケープに関する実証研究により、低エネルギーの配置は、遠方解のペア間のゼロエネルギー経路を構成できる複雑な連結構造でしばしば見られることが示されている。
ここでは,非凸型ニューラルネットワークモデルである球面負パーセプトロンを連続的制約満足度問題として考察する。
本稿では,平衡からサンプリングされた頂点構成を持つ単純系におけるエネルギー障壁の一般解析法を提案する。
過パラメータ化状態において、解多様体は単純な接続性を示す。
広い範囲の最適化ダイナミクスに魅力的な大きな測地線凸成分が存在する。
この領域内では、他のほとんどの解と測地線で繋がる非定型高マージン解のサブセットが同定され、星形の幾何学が生まれる。
我々は、接続された解空間の組織を解析的に特徴付け、上述した単純な測地接続が断ち切れる大きな制約密度で遷移の数値的な証拠を示す。
関連論文リスト
- High-dimensional manifold of solutions in neural networks: insights from
statistical physics [0.0]
ニューラルネットワークに対する統計力学のアプローチを概観し、連立的な重み付きパーセプトロンアーキテクチャのパラダイム的な例に注目した。
ゼロトレーニングエラー構成が幾何学的にどのように配置されているかを明らかにする最近の研究について論じる。
論文 参考訳(メタデータ) (2023-09-17T11:10:25Z) - Sample Complexity for Quadratic Bandits: Hessian Dependent Bounds and
Optimal Algorithms [64.10576998630981]
最適なヘッセン依存型サンプルの複雑さを, 初めて厳密に評価した。
ヘシアン非依存のアルゴリズムは、すべてのヘシアンインスタンスに対して最適なサンプル複雑さを普遍的に達成する。
本アルゴリズムにより得られたサンプルの最適複雑さは,重み付き雑音分布においても有効である。
論文 参考訳(メタデータ) (2023-06-21T17:03:22Z) - Typical and atypical solutions in non-convex neural networks with
discrete and continuous weights [2.7127628066830414]
ランダムな規則や関連を学習する単純な非拘束型ネットワークモデルとして、二項および連続負マージンパーセプトロンについて検討する。
どちらのモデルも、非常に平坦で幅の広い劣支配的な最小化器を示す。
両モデルにおいて、学習装置としての一般化性能は、広い平坦な最小化器の存在により大幅に向上することを示した。
論文 参考訳(メタデータ) (2023-04-26T23:34:40Z) - Improved Training of Physics-Informed Neural Networks with Model
Ensembles [81.38804205212425]
我々は、PINNを正しい解に収束させるため、解区間を徐々に拡大することを提案する。
すべてのアンサンブルのメンバーは、観測されたデータの近くで同じ解に収束する。
提案手法は, 得られた解の精度を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-04-11T14:05:34Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳(メタデータ) (2022-02-07T17:47:46Z) - Deep Networks on Toroids: Removing Symmetries Reveals the Structure of
Flat Regions in the Landscape Geometry [3.712728573432119]
我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。
最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。
また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
論文 参考訳(メタデータ) (2022-02-07T09:57:54Z) - Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。
単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文 参考訳(メタデータ) (2021-10-28T14:59:41Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳(メタデータ) (2020-11-25T14:00:18Z) - Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。
正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。
高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文 参考訳(メタデータ) (2020-02-25T23:05:33Z) - Properties of the geometry of solutions and capacity of multi-layer neural networks with Rectified Linear Units activations [2.3018169548556977]
本稿では,2層ニューラルネットワークにおける線形整流ユニットが解空間の容量および幾何学的景観に与える影響について検討する。
予想外のことに、隠れた層内のニューロン数が増加するにつれて、ネットワークの容量は有限であることがわかった。
おそらくもっと重要なことは、大きな偏差のアプローチによって、解空間の幾何学的景観が特異な構造を持つことを見つけることができるということである。
論文 参考訳(メタデータ) (2019-07-17T15:23:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。