論文の概要: Langevin algorithms for very deep Neural Networks with application to image classification

• arxiv url: http://arxiv.org/abs/2212.14718v1
• Date: Tue, 27 Dec 2022 19:40:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-09 01:37:57.552033
• Title: Langevin algorithms for very deep Neural Networks with application to image classification
• Title（参考訳）: 超深層ニューラルネットワークのLangevinアルゴリズムと画像分類への応用
• Authors: Pierre Bras
• Abstract要約: 我々はLangevinと非Langevinのアルゴリズムを比較し、深度を増すニューラルネットワークを訓練する。 浅いニューラルネットワークでは、Langevinアルゴリズムは改善には至らないが、ネットワークが深く、大きいほどLangevinアルゴリズムがもたらす利益である。 次に、画像分類のための一般的なディープ残差アーキテクチャのトレーニングにおいて、LangevinアルゴリズムとLayer Langevinアルゴリズムの利点を証明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training a very deep neural network is a challenging task, as the deeper a neural network is, the more non-linear it is. We compare the performances of various preconditioned Langevin algorithms with their non-Langevin counterparts for the training of neural networks of increasing depth. For shallow neural networks, Langevin algorithms do not lead to any improvement, however the deeper the network is and the greater are the gains provided by Langevin algorithms. Adding noise to the gradient descent allows to escape from local traps, which are more frequent for very deep neural networks. Following this heuristic we introduce a new Langevin algorithm called Layer Langevin, which consists in adding Langevin noise only to the weights associated to the deepest layers. We then prove the benefits of Langevin and Layer Langevin algorithms for the training of popular deep residual architectures for image classification.
• Abstract（参考訳）: 非常に深いニューラルネットワークのトレーニングは、ニューラルネットワークが深くなるほど、より非線形な作業になります。 様々なプレコンディション付きランゲヴィンアルゴリズムの性能と、その非ランゲヴィンアルゴリズムの性能を比較して、深度を増すニューラルネットワークのトレーニングを行う。 浅いニューラルネットワークでは、ランジュバンアルゴリズムは改善につながりませんが、ネットワークが深いほど、ランジュバンアルゴリズムが提供する利益は大きいです。 勾配降下にノイズを加えることで、非常に深いニューラルネットワークで頻繁に発生する局所トラップから逃れることができる。 このヒューリスティックに従えば、最深層に関連する重みにのみランジュバンノイズを追加する、layer langevinと呼ばれる新しいランジュバンアルゴリズムを導入する。 次に、画像分類のための一般的な深層アーキテクチャのトレーニングにおいて、LangevinアルゴリズムとLayer Langevinアルゴリズムの利点を証明する。

関連論文リスト

• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Langevin algorithms for Markovian Neural Networks and Deep Stochastic control [0.0]
  勾配Descent Langevin Dynamics (SGLD)アルゴリズムは、ニューラルネットワークが非常に深い場合において、ニューラルネットワークのトレーニングを改善することが知られている。 本稿では,Langevinアルゴリズムがヘッジや資源管理といった様々な制御問題のトレーニングを改善し,勾配降下法を選択できることを数値的に示す。
  論文  参考訳（メタデータ） (2022-12-22T20:00:11Z)
• Neural Tangent Kernel Analysis of Deep Narrow Neural Networks [11.623483126242478]
  無限に深いが狭いニューラルネットワークの最初のトレーニング可能性保証を示す。 次に、解析を無限深部畳み込みニューラルネットワーク(CNN)に拡張し、簡単な実験を行う。
  論文  参考訳（メタデータ） (2022-02-07T07:27:02Z)
• Neural Network Gaussian Processes by Increasing Depth [0.6091702876917281]
  ニューラルネットワークの深さの増大はガウス過程を引き起こす可能性があることを示す。 また、理論的には、その一様強み特性と、関連するカーネルの最小固有値も特徴付ける。 これらの特徴付けは、提案された深さ誘起ガウス過程の理解を深めるだけでなく、将来の応用への道を開くことができる。
  論文  参考訳（メタデータ） (2021-08-29T15:37:26Z)
• Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
  ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。 勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。 非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
  論文  参考訳（メタデータ） (2021-06-17T13:24:43Z)
• Layer Folding: Neural Network Depth Reduction using Activation Linearization [0.0]
  現代のデバイスは高いレベルの並列性を示すが、リアルタイムレイテンシはネットワークの深さに大きく依存している。 線形でない活性化を除去できるかどうかを学習し、連続的な線形層を1つに折り畳む方法を提案する。 我々は, CIFAR-10 と CIFAR-100 で事前訓練されたネットワークに適用し, それら全てを同様の深さの浅い形に変換できることを示す。
  論文  参考訳（メタデータ） (2021-06-17T08:22:46Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Theoretical Analysis of the Advantage of Deepening Neural Networks [0.0]
  ディープニューラルネットワークによって計算可能な関数の表現性を知ることが重要である。 この2つの基準により,深層ニューラルネットワークの表現性を向上させる上で,各層におけるユニットの増加よりも,レイヤの増加の方が効果的であることを示す。
  論文  参考訳（メタデータ） (2020-09-24T04:10:50Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。