論文の概要: DL-Reg: A Deep Learning Regularization Technique using Linear Regression
- arxiv url: http://arxiv.org/abs/2011.00368v2
- Date: Tue, 3 Nov 2020 23:22:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 04:21:21.859131
- Title: DL-Reg: A Deep Learning Regularization Technique using Linear Regression
- Title（参考訳）: DL-Reg:線形回帰を用いたディープラーニング正規化手法
- Authors: Maryam Dialameh and Ali Hamzeh and Hossein Rahmani
- Abstract要約: 本稿では,DL-Regと呼ばれる新しいディープラーニング正規化手法を提案する。
ネットワークをできるだけ線形に振る舞うように明示的に強制することで、ディープネットワークの非線形性をある程度まで慎重に減少させる。
DL-Regの性能は、いくつかのベンチマークデータセット上で最先端のディープネットワークモデルをトレーニングすることで評価される。
- 参考スコア（独自算出の注目度）: 4.1359299555083595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Regularization plays a vital role in the context of deep learning by
preventing deep neural networks from the danger of overfitting. This paper
proposes a novel deep learning regularization method named as DL-Reg, which
carefully reduces the nonlinearity of deep networks to a certain extent by
explicitly enforcing the network to behave as much linear as possible. The key
idea is to add a linear constraint to the objective function of the deep neural
networks, which is simply the error of a linear mapping from the inputs to the
outputs of the model. More precisely, the proposed DL-Reg carefully forces the
network to behave in a linear manner. This linear constraint, which is further
adjusted by a regularization factor, prevents the network from the risk of
overfitting. The performance of DL-Reg is evaluated by training
state-of-the-art deep network models on several benchmark datasets. The
experimental results show that the proposed regularization method: 1) gives
major improvements over the existing regularization techniques, and 2)
significantly improves the performance of deep neural networks, especially in
the case of small-sized training datasets.
- Abstract（参考訳）: 正規化は、ディープニューラルネットワークが過剰に適合する危険性を防ぎ、ディープラーニングのコンテキストにおいて重要な役割を果たす。
本稿では,ネットワークをできるだけ線形に振る舞うように明示的に強制することにより,ディープネットワークの非線形性をある程度低減する,dl-regと呼ばれる新しい深層学習正規化手法を提案する。
重要なアイデアは、ディープニューラルネットワークの目的関数に線形制約を追加することである。これは単に入力からモデルの出力への線形マッピングの誤りである。
より正確には、提案されたdl-regはネットワークが線形に振る舞うことを慎重に強制する。
この線形制約は、正規化係数によってさらに調整され、ネットワークが過度に適合するリスクを防止する。
DL-Regの性能は、いくつかのベンチマークデータセット上で最先端のディープネットワークモデルをトレーニングすることで評価される。
実験の結果,提案手法は以下のとおりであった。
1)既存の正規化技術に対して大きな改善を施し、
2)深層ニューラルネットワークの性能は,特に小規模のトレーニングデータセットにおいて著しく向上する。
関連論文リスト
- RandONet: Shallow-Networks with Random Projections for learning linear and nonlinear operators [0.0]
ランダムプロジェクションに基づく演算子ネットワーク(RandONets)を提案する。
ランダムネット(RandONets)は、線形および非線形作用素を学習するランダムプロジェクションを持つ浅いネットワークである。
このタスクにおいて、RandONetsは数値近似の精度と計算コストの両面で、バニラ"DeepOnetsよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-06-08T13:20:48Z) - Compositional Curvature Bounds for Deep Neural Networks [7.373617024876726]
安全クリティカルなアプリケーションにおけるニューラルネットワークの普及を脅かす重要な課題は、敵の攻撃に対する脆弱性である。
本研究では, 連続的に微分可能な深層ニューラルネットワークの2次挙動について検討し, 対向摂動に対する堅牢性に着目した。
ニューラルネットワークの第2微分の証明可能な上界を解析的に計算する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-07T17:50:15Z) - Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳（メタデータ） (2023-09-26T17:42:52Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - Combining Explicit and Implicit Regularization for Efficient Learning in
Deep Networks [3.04585143845864]
深い線形ネットワークでは、勾配勾配は行列の完備化/ファクトリゼーションタスクの低ランク解に対して暗黙的に正規化される。
適応勾配の一般化にのみ作用するこの暗黙バイアスを反映した明示的なペナルティを提案する。
この組み合わせにより、単層ネットワークは、深い線形ネットワークに匹敵する縮退誤差で低ランク近似を達成できる。
論文 参考訳（メタデータ） (2023-06-01T04:47:17Z) - Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。
線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
論文 参考訳（メタデータ） (2022-06-15T22:42:29Z) - Imbedding Deep Neural Networks [0.0]
ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。
本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
論文 参考訳（メタデータ） (2022-01-31T22:00:41Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - Convergence Analysis and Implicit Regularization of Feedback Alignment
for Deep Linear Networks [27.614609336582568]
ニューラルネットワークのトレーニングのためのバックプロパゲーションの効率的な代替手段であるフィードバックアライメント(FA)アルゴリズムを理論的に解析する。
我々は、連続力学と離散力学の両方に対して、ディープ線形ネットワークのレートで収束保証を提供する。
論文 参考訳（メタデータ） (2021-10-20T22:57:03Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳（メタデータ） (2021-10-20T06:15:45Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳（メタデータ） (2020-08-07T02:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。