論文の概要: Automatic Optimisation of Normalised Neural Networks

• arxiv url: http://arxiv.org/abs/2312.10672v1
• Date: Sun, 17 Dec 2023 10:13:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 15:09:06.846715
• Title: Automatic Optimisation of Normalised Neural Networks
• Title（参考訳）: 正規化ニューラルネットワークの自動最適化
• Authors: Namhoon Cho, Hyo-Sang Shin
• Abstract要約: ニューラルネットワークの正規化パラメータに対する行列多様体の幾何を考慮した自動最適化手法を提案する。 我々の手法はまずネットワークを初期化し、初期化ネットワークの$ell2$-$ell2$ゲインに関してデータを正規化する。
• 参考スコア（独自算出の注目度）: 1.0334138809056097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose automatic optimisation methods considering the geometry of matrix manifold for the normalised parameters of neural networks. Layerwise weight normalisation with respect to Frobenius norm is utilised to bound the Lipschitz constant and to enhance gradient reliability so that the trained networks are suitable for control applications. Our approach first initialises the network and normalises the data with respect to the $\ell^{2}$-$\ell^{2}$ gain of the initialised network. Then, the proposed algorithms take the update structure based on the exponential map on high-dimensional spheres. Given an update direction such as that of the negative Riemannian gradient, we propose two different ways to determine the stepsize for descent. The first algorithm utilises automatic differentiation of the objective function along the update curve defined on the combined manifold of spheres. The directional second-order derivative information can be utilised without requiring explicit construction of the Hessian. The second algorithm utilises the majorisation-minimisation framework via architecture-aware majorisation for neural networks. With these new developments, the proposed methods avoid manual tuning and scheduling of the learning rate, thus providing an automated pipeline for optimizing normalised neural networks.
• Abstract（参考訳）: ニューラルネットワークの正規化パラメータに対する行列多様体の幾何を考慮した自動最適化手法を提案する。 フロベニウスノルムに対する階層的な重み正規化は、リプシッツ定数を束縛し、訓練されたネットワークが制御アプリケーションに適しているように勾配信頼性を高めるために用いられる。 我々のアプローチは、まずネットワークを初期化し、初期化されたネットワークの$\ell^{2}$-$\ell^{2}$ゲインに関してデータを正規化する。 次に,提案するアルゴリズムは,高次元球面上の指数写像に基づく更新構造を取る。 負リーマン勾配のような更新方向が与えられたとき、降下の段差を決定する2つの異なる方法を提案する。 第1のアルゴリズムは、球面の結合多様体上で定義される更新曲線に沿って目的関数の自動微分を利用する。 方向二階微分情報は、ヘッセンの明示的な構成を必要とせずに利用できる。 第2のアルゴリズムは、ニューラルネットワークのアーキテクチャを意識した大規模化を通じて、プライマリゼーション最小化フレームワークを活用する。 これらの新たな開発により、提案手法は学習率の手動チューニングとスケジューリングを回避し、正規化ニューラルネットワークの最適化のための自動化パイプラインを提供する。

関連論文リスト

• LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers [0.0468732641979009]
  本稿では,畳み込みニューラルネットワーク(CNN)の階層的パラメータ化を提案する。 提案手法は,2次元ロエサー型状態空間モデルを用いて,散逸型畳み込みカーネルを直接パラメータ化する。 提案手法を用いた実行時間は,最先端のリプシッツ有界ネットワークよりも桁違いに高速であることを示す。
  論文  参考訳（メタデータ） (2024-10-29T17:20:14Z)
• Information-Theoretic Trust Regions for Stochastic Gradient-Based Optimization [17.79206971486723]
  arTuROは適応モーメントベース最適化の高速収束とSGDの機能を組み合わせたものであることを示す。 我々は、勾配からヘッセンの対角要素を近似し、1次情報のみを用いて予測されたヘッセンのモデルを構築する。 arTuROは適応モーメントベース最適化の高速収束とSGDの機能を組み合わせたものであることを示す。
  論文  参考訳（メタデータ） (2023-10-31T16:08:38Z)
• On the Effect of Initialization: The Scaling Path of 2-Layer Neural Networks [21.69222364939501]
  教師付き学習では、正規化経路はゼロからの勾配降下の最適化経路の便利な理論的プロキシとして用いられることがある。 この経路がカーネルとリッチレジームの間に連続的に補間されていることを示す。
  論文  参考訳（メタデータ） (2023-03-31T05:32:11Z)
• An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture [0.0]
  この研究は、与えられたトレーニングデータセットに対してうまく一般化するディープニューラルネットワーク(DNN)アーキテクチャを開発するための2段階適応フレームワークを提案する。 第1段階では、新しいレイヤを毎回追加し、前のレイヤでパラメータを凍結することで独立してトレーニングする、レイヤワイズトレーニングアプローチが採用されている。 本稿では, 学習アルゴリズムの望ましい特性として, エプシロン・デルタ安定促進の概念を導入し, 多様体正規化を用いることで, エプシロン・デルタ安定促進アルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-13T09:51:16Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)
• The duality structure gradient descent algorithm: analysis and applications to neural networks [0.0]
  本稿では,非漸近的性能解析に寄与する双対構造勾配降下法(DSGD)を提案する。 いくつかのニューラルネットワークトレーニングシナリオにおいて,DSGDの動作を実証的に示す。
  論文  参考訳（メタデータ） (2017-08-01T21:24:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。