論文の概要: A multiobjective continuation method to compute the regularization path of deep neural networks
- arxiv url: http://arxiv.org/abs/2308.12044v5
- Date: Fri, 29 Mar 2024 14:25:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 20:46:32.722490
- Title: A multiobjective continuation method to compute the regularization path of deep neural networks
- Title（参考訳）: 深部ニューラルネットワークの正規化経路を計算する多目的継続法
- Authors: Augustina C. Amakor, Konstantin Sonntag, Sebastian Peitz,
- Abstract要約: 数値効率を保証し、モデルの解釈性を改善し、堅牢性を向上させるため、ディープニューラルネットワーク(DNN)では、スパシティは高い特徴である。
本稿では,数百万のパラメータを持つ高次元勾配に対して,上述の目的に対するスパースフロント全体を極めて効率的な方法で実現するアルゴリズムを提案する。
正規化パスの知識がネットワークパラメトリゼーションを十分に一般化することを示す。
- 参考スコア（独自算出の注目度）: 1.3654846342364308
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Sparsity is a highly desired feature in deep neural networks (DNNs) since it ensures numerical efficiency, improves the interpretability of models (due to the smaller number of relevant features), and robustness. For linear models, it is well known that there exists a \emph{regularization path} connecting the sparsest solution in terms of the $\ell^1$ norm, i.e., zero weights and the non-regularized solution. Very recently, there was a first attempt to extend the concept of regularization paths to DNNs by means of treating the empirical loss and sparsity ($\ell^1$ norm) as two conflicting criteria and solving the resulting multiobjective optimization problem for low-dimensional DNN. However, due to the non-smoothness of the $\ell^1$ norm and the high number of parameters, this approach is not very efficient from a computational perspective for high-dimensional DNNs. To overcome this limitation, we present an algorithm that allows for the approximation of the entire Pareto front for the above-mentioned objectives in a very efficient manner for high-dimensional DNNs with millions of parameters. We present numerical examples using both deterministic and stochastic gradients. We furthermore demonstrate that knowledge of the regularization path allows for a well-generalizing network parametrization. To the best of our knowledge, this is the first algorithm to compute the regularization path for non-convex multiobjective optimization problems (MOPs) with millions of degrees of freedom.
- Abstract（参考訳）: 数値効率を保証し、モデルの解釈可能性(関連する機能の少ないため)を改善し、堅牢性を向上させるため、ディープニューラルネットワーク(DNN)では、スパシティが非常に望ましい機能である。
線型モデルに対しては、$\ell^1$ノルム、すなわちゼロ重みと非正則解を連結する \emph{regularization path} が存在することが知られている。
ごく最近になって、経験的損失と空間性($\ell^1$ norm)を2つの矛盾する基準として扱い、結果として生じる低次元DNNに対する多目的最適化問題を解くことによって、正規化パスをDNNに拡張する最初の試みがあった。
しかし、$\ell^1$ノルムの非滑らかさとパラメータの多さのため、このアプローチは高次元DNNの計算的観点からはあまり効率的ではない。
この制限を克服するため,数百万のパラメータを持つ高次元DNNに対して,上述の目的に対するパレートフロント全体の近似を極めて効率的に行うアルゴリズムを提案する。
決定的勾配と確率的勾配の両方を用いて数値的な例を示す。
さらに、正規化パスの知識がネットワークパラメトリゼーションの一般化を可能にすることを実証する。
我々の知る限り、これは何百万自由度で非凸多目的最適化問題(MOP)の正規化経路を計算した最初のアルゴリズムである。
関連論文リスト
- The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳（メタデータ） (2023-12-19T23:04:56Z) - Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。
我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
論文 参考訳（メタデータ） (2023-02-03T03:19:14Z) - AskewSGD : An Annealed interval-constrained Optimisation method to train
Quantized Neural Networks [12.229154524476405]
我々は、深層ニューラルネットワーク(DNN)を量子化重みでトレーニングするための新しいアルゴリズム、Annealed Skewed SGD - AskewSGDを開発した。
アクティブなセットと実行可能な方向を持つアルゴリズムとは異なり、AskewSGDは実行可能な全セットの下でのプロジェクションや最適化を避けている。
実験結果から,AskewSGDアルゴリズムは古典的ベンチマークの手法と同等以上の性能を示した。
論文 参考訳（メタデータ） (2022-11-07T18:13:44Z) - Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
低ランクニューラルネットワークの学習アルゴリズムについて検討する。
単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。
低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-02T01:08:29Z) - Learning from Images: Proactive Caching with Parallel Convolutional
Neural Networks [94.85780721466816]
本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。
モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。
数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
論文 参考訳（メタデータ） (2021-08-15T21:32:47Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。
我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
論文 参考訳（メタデータ） (2021-03-15T19:14:41Z) - Consistent Sparse Deep Learning: Theory and Computation [11.24471623055182]
スパース深層学習ネットワーク(DNN)を学習するための頻繁な方法を提案する。
提案手法は大規模ネットワーク圧縮や高次元非線形変数選択に非常に有効である。
論文 参考訳（メタデータ） (2021-02-25T23:31:24Z) - Offline Model-Based Optimization via Normalized Maximum Likelihood
Estimation [101.22379613810881]
データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。
この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。
我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
論文 参考訳（メタデータ） (2021-02-16T06:04:27Z) - On the Treatment of Optimization Problems with L1 Penalty Terms via
Multiobjective Continuation [0.0]
本稿では,線形・非線形最適化におけるスパース性の影響を詳細に把握するアルゴリズムを提案する。
本手法は非線形の場合に対する線形回帰問題に対するよく知られたホモトピー法の一般化と見なすことができる。
論文 参考訳（メタデータ） (2020-12-14T13:00:50Z) - PFNN: A Penalty-Free Neural Network Method for Solving a Class of
Second-Order Boundary-Value Problems on Complex Geometries [4.620110353542715]
本稿では,2次境界値問題のクラスを解くために,ペナルティのないニューラルネットワーク手法であるPFNNを提案する。
PFNNは、精度、柔軟性、堅牢性の点で、既存のいくつかのアプローチよりも優れている。
論文 参考訳（メタデータ） (2020-04-14T13:36:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。