論文の概要: Adaptive Low-Rank Regularization with Damping Sequences to Restrict Lazy Weights in Deep Networks

• arxiv url: http://arxiv.org/abs/2106.09677v1
• Date: Thu, 17 Jun 2021 17:28:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-18 17:43:54.511383
• Title: Adaptive Low-Rank Regularization with Damping Sequences to Restrict Lazy Weights in Deep Networks
• Title（参考訳）: ディープネットワークにおける遅延重み制限のための減衰系列を用いた適応型低ランク正則化
• Authors: Mohammad Mahdi Bejani, Mehdi Ghatee
• Abstract要約: 本稿では,過適合の原因となる重み付け層のサブセットを検出し,重み付けは行列およびテンソル条件数によって認識する。 重み付け層のサブセットを低ランク因子化(LRF)に収束させる適応型低ランク法(ALR)を提案する。 実験の結果、ALRは訓練速度とリソース使用量の少ない深層ネットワークをよく正規化していることがわかった。
• 参考スコア（独自算出の注目度）: 13.122543280692641
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Overfitting is one of the critical problems in deep neural networks. Many regularization schemes try to prevent overfitting blindly. However, they decrease the convergence speed of training algorithms. Adaptive regularization schemes can solve overfitting more intelligently. They usually do not affect the entire network weights. This paper detects a subset of the weighting layers that cause overfitting. The overfitting recognizes by matrix and tensor condition numbers. An adaptive regularization scheme entitled Adaptive Low-Rank (ALR) is proposed that converges a subset of the weighting layers to their Low-Rank Factorization (LRF). It happens by minimizing a new Tikhonov-based loss function. ALR also encourages lazy weights to contribute to the regularization when epochs grow up. It uses a damping sequence to increment layer selection likelihood in the last generations. Thus before falling the training accuracy, ALR reduces the lazy weights and regularizes the network substantially. The experimental results show that ALR regularizes the deep networks well with high training speed and low resource usage.
• Abstract（参考訳）: オーバーフィッティングはディープニューラルネットワークにおける重要な問題のひとつだ。 多くの正規化スキームは盲目的に過剰に収まるのを防ごうとしている。 しかし、トレーニングアルゴリズムの収束速度を低下させる。 適応正規化スキームは、よりインテリジェントにオーバーフィッティングを解決できる。 通常はネットワーク全体の重みには影響しない。 本稿では,オーバーフィッティングの原因となる重み付け層のサブセットを検出する。 オーバーフィッティングは行列とテンソル条件数によって認識される。 重み付け層のサブセットを低ランク因子化(LRF)に収束させるアダプティブ低ランク(ALR)という適応正規化スキームが提案されている。 これは、新しいTikhonovベースの損失関数を最小化する。 ALRはまた、エポック成長時に遅延重みが正規化に寄与することを奨励する。 ダンピングシーケンスを使用して、最後の世代で層選択の確率を増加させる。 したがって、トレーニング精度が低下する前に、ALRは遅延重みを減らし、ネットワークを実質的に調整する。 実験の結果,alrは深層ネットワークを高いトレーニング速度と低リソース使用率で規則化することがわかった。

関連論文リスト

• InRank: Incremental Low-Rank Learning [85.6380047359139]
  勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。 既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。 InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
  論文  参考訳（メタデータ） (2023-06-20T03:03:04Z)
• A Framework for Provably Stable and Consistent Training of Deep Feedforward Networks [4.21061712600981]
  本稿では、教師付き(分類と回帰)および教師なし(強化学習)シナリオにおいて、ディープニューラルネットワークを訓練するための新しいアルゴリズムを提案する。 このアルゴリズムは、標準降下勾配と勾配クリッピング法を組み合わせたものである。 理論的および実験を通して、我々のアルゴリズム更新はばらつきが低く、トレーニング損失はスムーズな方法で減少することを示す。
  論文  参考訳（メタデータ） (2023-05-20T07:18:06Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Logit Attenuating Weight Normalization [5.856897366207895]
  勾配に基づく一般化を用いて訓練されたディープネットワークは、分類とランキング問題を解決するのに一般的な選択肢である。 適切に調整された$ell$正規化やウェイト崩壊がなければ、そのようなネットワークは出力スコア(論理)とネットワークウェイトを大きくする傾向にある。 そこで我々は,任意の勾配に基づく一般化に積み重ねることができる測位ウェイト正規化法 (LAWN) を提案する。
  論文  参考訳（メタデータ） (2021-08-12T16:44:24Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Adaptive Low-Rank Factorization to regularize shallow and deep neural networks [9.607123078804959]
  低ランク行列因子化(LRF)を用いて、学習過程に沿って学習モデルのパラメータをドロップアウトする。 SVHNとCIFAR-10データセットにおけるAdaptiveLRFの最良の結果は98%、94.1%、97.9%、94%の精度である。
  論文  参考訳（メタデータ） (2020-05-05T08:13:30Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。