論文の概要: Automatic Optimisation of Normalised Neural Networks
- arxiv url: http://arxiv.org/abs/2312.10672v1
- Date: Sun, 17 Dec 2023 10:13:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 15:09:06.846715
- Title: Automatic Optimisation of Normalised Neural Networks
- Title(参考訳): 正規化ニューラルネットワークの自動最適化
- Authors: Namhoon Cho, Hyo-Sang Shin
- Abstract要約: ニューラルネットワークの正規化パラメータに対する行列多様体の幾何を考慮した自動最適化手法を提案する。
我々の手法はまずネットワークを初期化し、初期化ネットワークの$ell2$-$ell2$ゲインに関してデータを正規化する。
- 参考スコア(独自算出の注目度): 1.0334138809056097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose automatic optimisation methods considering the geometry of matrix
manifold for the normalised parameters of neural networks. Layerwise weight
normalisation with respect to Frobenius norm is utilised to bound the Lipschitz
constant and to enhance gradient reliability so that the trained networks are
suitable for control applications. Our approach first initialises the network
and normalises the data with respect to the $\ell^{2}$-$\ell^{2}$ gain of the
initialised network. Then, the proposed algorithms take the update structure
based on the exponential map on high-dimensional spheres. Given an update
direction such as that of the negative Riemannian gradient, we propose two
different ways to determine the stepsize for descent. The first algorithm
utilises automatic differentiation of the objective function along the update
curve defined on the combined manifold of spheres. The directional second-order
derivative information can be utilised without requiring explicit construction
of the Hessian. The second algorithm utilises the majorisation-minimisation
framework via architecture-aware majorisation for neural networks. With these
new developments, the proposed methods avoid manual tuning and scheduling of
the learning rate, thus providing an automated pipeline for optimizing
normalised neural networks.
- Abstract(参考訳): ニューラルネットワークの正規化パラメータに対する行列多様体の幾何を考慮した自動最適化手法を提案する。
フロベニウスノルムに対する階層的な重み正規化は、リプシッツ定数を束縛し、訓練されたネットワークが制御アプリケーションに適しているように勾配信頼性を高めるために用いられる。
我々のアプローチは、まずネットワークを初期化し、初期化されたネットワークの$\ell^{2}$-$\ell^{2}$ゲインに関してデータを正規化する。
次に,提案するアルゴリズムは,高次元球面上の指数写像に基づく更新構造を取る。
負リーマン勾配のような更新方向が与えられたとき、降下の段差を決定する2つの異なる方法を提案する。
第1のアルゴリズムは、球面の結合多様体上で定義される更新曲線に沿って目的関数の自動微分を利用する。
方向二階微分情報は、ヘッセンの明示的な構成を必要とせずに利用できる。
第2のアルゴリズムは、ニューラルネットワークのアーキテクチャを意識した大規模化を通じて、プライマリゼーション最小化フレームワークを活用する。
これらの新たな開発により、提案手法は学習率の手動チューニングとスケジューリングを回避し、正規化ニューラルネットワークの最適化のための自動化パイプラインを提供する。
関連論文リスト
- Information-Theoretic Trust Regions for Stochastic Gradient-Based
Optimization [17.79206971486723]
arTuROは適応モーメントベース最適化の高速収束とSGDの機能を組み合わせたものであることを示す。
我々は、勾配からヘッセンの対角要素を近似し、1次情報のみを用いて予測されたヘッセンのモデルを構築する。
arTuROは適応モーメントベース最適化の高速収束とSGDの機能を組み合わせたものであることを示す。
論文 参考訳(メタデータ) (2023-10-31T16:08:38Z) - Layer-wise Adaptive Step-Sizes for Stochastic First-Order Methods for
Deep Learning [8.173034693197351]
深層学習における一階最適化のための新しい階層ごとの適応的なステップサイズ手順を提案する。
提案手法は,ディープニューラルネットワーク(DNN)におけるヘシアン対角ブロックに含まれる層次曲率情報を用いて,各層に対する適応的なステップサイズ(LR)を算出する。
数値実験により、SGDの運動量とAdamWと、提案した層ごとのステップサイズを組み合わせることで、効率的なLRスケジュールを選択できることが示されている。
論文 参考訳(メタデータ) (2023-05-23T04:12:55Z) - On the Effect of Initialization: The Scaling Path of 2-Layer Neural
Networks [21.69222364939501]
教師付き学習では、正規化経路はゼロからの勾配降下の最適化経路の便利な理論的プロキシとして用いられることがある。
この経路がカーネルとリッチレジームの間に連続的に補間されていることを示す。
論文 参考訳(メタデータ) (2023-03-31T05:32:11Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳(メタデータ) (2022-10-13T15:09:54Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳(メタデータ) (2022-08-08T03:13:24Z) - Acceleration techniques for optimization over trained neural network
ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。
本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文 参考訳(メタデータ) (2021-12-13T20:50:54Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳(メタデータ) (2021-12-04T18:07:47Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T06:39:13Z) - AutoPruning for Deep Neural Network with Dynamic Channel Masking [28.018077874687343]
深層ニューラルネットワークのための学習に基づくオートプルーニングアルゴリズムを提案する。
まず、各層に対する重みと最良チャネルを目的とする2つの目的の問題を定式化する。
次に、最適なチャネル数と重みを同時に導出するために、別の最適化手法を提案する。
論文 参考訳(メタデータ) (2020-10-22T20:12:46Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2020-05-05T18:08:23Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。