論文の概要: LocalDrop: A Hybrid Regularization for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2103.00719v1
- Date: Mon, 1 Mar 2021 03:10:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 17:34:06.579729
- Title: LocalDrop: A Hybrid Regularization for Deep Neural Networks
- Title（参考訳）: localdrop:ディープニューラルネットワークのためのハイブリッド正規化
- Authors: Ziqing Lu, Chang Xu, Bo Du, Takashi Ishida, Lefei Zhang, and Masashi
Sugiyama
- Abstract要約: 本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。
フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
- 参考スコア（独自算出の注目度）: 98.30782118441158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In neural networks, developing regularization algorithms to settle
overfitting is one of the major study areas. We propose a new approach for the
regularization of neural networks by the local Rademacher complexity called
LocalDrop. A new regularization function for both fully-connected networks
(FCNs) and convolutional neural networks (CNNs), including drop rates and
weight matrices, has been developed based on the proposed upper bound of the
local Rademacher complexity by the strict mathematical deduction. The analyses
of dropout in FCNs and DropBlock in CNNs with keep rate matrices in different
layers are also included in the complexity analyses. With the new
regularization function, we establish a two-stage procedure to obtain the
optimal keep rate matrix and weight matrix to realize the whole training model.
Extensive experiments have been conducted to demonstrate the effectiveness of
LocalDrop in different models by comparing it with several algorithms and the
effects of different hyperparameters on the final performances.
- Abstract（参考訳）: ニューラルネットワークでは、オーバーフィットを解決するための正規化アルゴリズムの開発が主要な研究領域の1つです。
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。
完全に接続されたネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方に対する新しい正規化関数(ドロップレートと重み行列を含む)は、厳密な数学的推論によって局所ラデマチャー複雑性の上限提案に基づいて開発されている。
CNNにおけるFCNとDropBlockにおける各層における保持率行列の低下の解析も複雑性解析に含まれる。
新しい正規化関数により、最適保持率行列と重み行列を得るための2段階の手順を確立し、トレーニングモデル全体を実現する。
様々なモデルにおけるlocaldropの有効性を、いくつかのアルゴリズムと比較し、最終性能に異なるハイパーパラメータが与える影響を実証するために、広範な実験が行われている。
関連論文リスト
- Parallel-in-Time Solutions with Random Projection Neural Networks [0.07282584715927627]
本稿では、常微分方程式の解法であるパラレアルの基本的な並列時間法の一つを考察し、ニューラルネットワークを粗いプロパゲータとして採用することにより拡張する。
提案アルゴリズムの収束特性を理論的に解析し,ローレンツ方程式やバーガースの方程式を含むいくつかの例に対して有効性を示す。
論文 参考訳（メタデータ） (2024-08-19T07:32:41Z) - Stochastic Gradient Descent for Two-layer Neural Networks [2.0349026069285423]
本稿では、過パラメータ化された2層ニューラルネットワークに適用した場合の降下(SGD)アルゴリズムの収束率について検討する。
提案手法は,NTKのタンジェントカーネル(NTK)近似と,NTKが生成する再生カーネル空間(RKHS)の収束解析を組み合わせたものである。
我々の研究フレームワークは、カーネルメソッドと最適化プロセスの間の複雑な相互作用を探索し、ニューラルネットワークのダイナミクスと収束特性に光を当てることを可能にする。
論文 参考訳（メタデータ） (2024-07-10T13:58:57Z) - Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳（メタデータ） (2023-09-26T17:42:52Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Mean-Field Analysis of Two-Layer Neural Networks: Global Optimality with
Linear Convergence Rates [7.094295642076582]
平均場体制はNTK(lazy training)体制の理論的に魅力的な代替手段である。
平均場状態における連続ノイズ降下により訓練された2層ニューラルネットワークに対する線形収束結果を確立した。
論文 参考訳（メタデータ） (2022-05-19T21:05:40Z) - Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。
我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
論文 参考訳（メタデータ） (2021-06-15T09:03:28Z) - Deep Kronecker neural networks: A general framework for neural networks
with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。
適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文 参考訳（メタデータ） (2021-05-20T04:54:57Z) - Regularizing Recurrent Neural Networks via Sequence Mixup [7.036759195546171]
我々は、元々フィードフォワードニューラルネットワークのために提案された一連の有望な正規化手法を拡張した。
提案手法は,単純なニューラルネットワークアーキテクチャの性能を生かしながら,複雑性の実装が容易である。
論文 参考訳（メタデータ） (2020-11-27T05:43:40Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。