論文の概要: Adaptive Low-Rank Factorization to regularize shallow and deep neural networks

• arxiv url: http://arxiv.org/abs/2005.01995v1
• Date: Tue, 5 May 2020 08:13:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 13:33:11.729727
• Title: Adaptive Low-Rank Factorization to regularize shallow and deep neural networks
• Title（参考訳）: 浅層・深層ニューラルネットワークの正規化のための適応的低ランク因子化
• Authors: Mohammad Mahdi Bejani, Mehdi Ghatee
• Abstract要約: 低ランク行列因子化(LRF)を用いて、学習過程に沿って学習モデルのパラメータをドロップアウトする。 SVHNとCIFAR-10データセットにおけるAdaptiveLRFの最良の結果は98%、94.1%、97.9%、94%の精度である。
• 参考スコア（独自算出の注目度）: 9.607123078804959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The overfitting is one of the cursing subjects in the deep learning field. To solve this challenge, many approaches were proposed to regularize the learning models. They add some hyper-parameters to the model to extend the generalization; however, it is a hard task to determine these hyper-parameters and a bad setting diverges the training process. In addition, most of the regularization schemes decrease the learning speed. Recently, Tai et al. [1] proposed low-rank tensor decomposition as a constrained filter for removing the redundancy in the convolution kernels of CNN. With a different viewpoint, we use Low-Rank matrix Factorization (LRF) to drop out some parameters of the learning model along the training process. However, this scheme similar to [1] probably decreases the training accuracy when it tries to decrease the number of operations. Instead, we use this regularization scheme adaptively when the complexity of a layer is high. The complexity of any layer can be evaluated by the nonlinear condition numbers of its learning system. The resulted method entitled "AdaptiveLRF" neither decreases the training speed nor vanishes the accuracy of the layer. The behavior of AdaptiveLRF is visualized on a noisy dataset. Then, the improvements are presented on some small-size and large-scale datasets. The preference of AdaptiveLRF on famous dropout regularizers on shallow networks is demonstrated. Also, AdaptiveLRF competes with dropout and adaptive dropout on the various deep networks including MobileNet V2, ResNet V2, DenseNet, and Xception. The best results of AdaptiveLRF on SVHN and CIFAR-10 datasets are 98%, 94.1% F-measure, and 97.9%, 94% accuracy. Finally, we state the usage of the LRF-based loss function to improve the quality of the learning model.
• Abstract（参考訳）: オーバーフィッティング(overfitting)は、深層学習分野におけるカーシング科目の1つである。 この課題を解決するために、学習モデルを規則化する多くのアプローチが提案された。 一般化を延ばすためにモデルにいくつかのハイパーパラメータを追加するが、これらのハイパーパラメータを決定するのは困難であり、悪い設定はトレーニングプロセスを多様化させる。 さらに、ほとんどの正規化スキームは学習速度を低下させる。 最近、taiなど。 [1] CNNの畳み込みカーネルの冗長性を除去する制約付きフィルタとして低ランクテンソル分解を提案する。 異なる視点で、学習過程に沿って学習モデルのパラメータをドロップアウトするために、Low-Rank matrix Factorization (LRF)を使用します。 しかし、[1]に類似したこのスキームは、操作数を減らそうとすると、おそらくトレーニングの精度を低下させる。 その代わり、層の複雑さが高い場合に適応的にこの正規化スキームを使用する。 任意の層の複雑さは、学習システムの非線形条件数によって評価することができる。 AdaptiveLRF" と名付けられたこの手法は、トレーニング速度を下げたり、レイヤーの精度を下げたりしない。 AdaptiveLRFの動作はノイズの多いデータセットで可視化される。 次に、いくつかの小型および大規模データセットに改善点を示す。 浅層ネットワーク上の有名なドロップアウト正規化器に対するAdaptiveLRFの嗜好を示す。 また、AdaptiveLRFはMobileNet V2、ResNet V2、DenseNet、Xceptionなど、さまざまなディープネットワーク上のドロップアウトとアダプティブドロップアウトと競合する。 SVHNとCIFAR-10データセットにおけるAdaptiveLRFの最良の結果は98%、94.1%、97.9%、94%の精度である。 最後に,学習モデルの品質向上のために,LRFに基づく損失関数の利用について述べる。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
  機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。 固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。 我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-28T09:53:05Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Adaptive Low-Rank Regularization with Damping Sequences to Restrict Lazy Weights in Deep Networks [13.122543280692641]
  本稿では,過適合の原因となる重み付け層のサブセットを検出し,重み付けは行列およびテンソル条件数によって認識する。 重み付け層のサブセットを低ランク因子化(LRF)に収束させる適応型低ランク法(ALR)を提案する。 実験の結果、ALRは訓練速度とリソース使用量の少ない深層ネットワークをよく正規化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T17:28:14Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。