論文の概要: Exploring the loss landscape of regularized neural networks via convex duality
- arxiv url: http://arxiv.org/abs/2411.07729v1
- Date: Tue, 12 Nov 2024 11:41:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-13 13:20:47.633538
- Title: Exploring the loss landscape of regularized neural networks via convex duality
- Title（参考訳）: 凸双対性による正規化ニューラルネットワークの損失景観の探索
- Authors: Sungyoon Kim, Aaron Mishkin, Mert Pilanci,
- Abstract要約: 本稿では,正規化ニューラルネットワークのロスランドスケープのいくつかの側面について論じる。
まず、その双対を用いて凸問題の解集合を特徴づけ、さらに全ての定常点を特徴づける。
ソリューションセットの特徴付けと接続結果は、異なるアーキテクチャに拡張可能であることを示す。
- 参考スコア（独自算出の注目度）: 42.48510370193192
- License:
- Abstract: We discuss several aspects of the loss landscape of regularized neural networks: the structure of stationary points, connectivity of optimal solutions, path with nonincreasing loss to arbitrary global optimum, and the nonuniqueness of optimal solutions, by casting the problem into an equivalent convex problem and considering its dual. Starting from two-layer neural networks with scalar output, we first characterize the solution set of the convex problem using its dual and further characterize all stationary points. With the characterization, we show that the topology of the global optima goes through a phase transition as the width of the network changes, and construct counterexamples where the problem may have a continuum of optimal solutions. Finally, we show that the solution set characterization and connectivity results can be extended to different architectures, including two-layer vector-valued neural networks and parallel three-layer neural networks.
- Abstract（参考訳）: 本稿では, 定常点の構造, 最適解の接続性, 任意の大域的最適解に対する非増加損失経路, 最適解の不均一性など, 正規化ニューラルネットワークの損失景観の諸側面について考察する。
まず、スカラー出力を持つ2層ニューラルネットワークから、その双対を用いて凸問題の解集合を特徴づけ、さらに全ての定常点を特徴づける。
この特徴から,ネットワークの幅が変化するにつれて,グローバルオプティマのトポロジが相転移し,最適解の連続性を持つ可能性のある反例を構築できることを示す。
最後に,2層ベクトル値ニューラルネットワークや並列3層ニューラルネットワークなど,ソリューションセットの特性評価と接続性の結果が,異なるアーキテクチャに拡張可能であることを示す。
関連論文リスト
- On permutation symmetries in Bayesian neural network posteriors: a
variational perspective [8.310462710943971]
勾配降下の局所解には本質的に損失障壁がないことを示す。
これにより、ベイズニューラルネットワークにおける近似推論に関する疑問が提起される。
線形接続された解を探索するマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-16T08:26:50Z) - Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。
我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
論文 参考訳（メタデータ） (2023-05-31T18:48:16Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - Path Regularization: A Convexity and Sparsity Inducing Regularization
for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。
我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文 参考訳（メタデータ） (2021-10-18T18:00:36Z) - Vector-output ReLU Neural Network Problems are Copositive Programs:
Convex Analysis of Two Layer Networks and Polynomial-time Algorithms [29.975118690758126]
2層ベクトル無限ReLUニューラルネットワークトレーニング問題の半出力グローバル双対について述べる。
特定の問題のクラスに対して正確であることが保証されるソリューションを提供する。
論文 参考訳（メタデータ） (2020-12-24T17:03:30Z) - The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural
Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。
我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文 参考訳（メタデータ） (2020-06-10T15:38:30Z) - PFNN: A Penalty-Free Neural Network Method for Solving a Class of
Second-Order Boundary-Value Problems on Complex Geometries [4.620110353542715]
本稿では,2次境界値問題のクラスを解くために,ペナルティのないニューラルネットワーク手法であるPFNNを提案する。
PFNNは、精度、柔軟性、堅牢性の点で、既存のいくつかのアプローチよりも優れている。
論文 参考訳（メタデータ） (2020-04-14T13:36:14Z) - Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。
正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。
高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文 参考訳（メタデータ） (2020-02-25T23:05:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。