論文の概要: The Flip Side of the Reweighted Coin: Duality of Adaptive Dropout and Regularization

• arxiv url: http://arxiv.org/abs/2106.07769v1
• Date: Mon, 14 Jun 2021 21:47:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 07:56:13.488593
• Title: The Flip Side of the Reweighted Coin: Duality of Adaptive Dropout and Regularization
• Title（参考訳）: Reweighted Coinのフリップ側:適応型ドロップアウトと正規化の二重性
• Authors: Daniel LeJeune and Hamid Javadi and Richard G. Baraniuk
• Abstract要約: 単調な方法で重みに適応するドロップアウト戦略は、効果的な準正則化ペナルティに対応する。 単調な方法で重みに適応するドロップアウト戦略は、有効な準正則化ペナルティに対応することを示す。
• 参考スコア（独自算出の注目度）: 36.178906116039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Among the most successful methods for sparsifying deep (neural) networks are those that adaptively mask the network weights throughout training. By examining this masking, or dropout, in the linear case, we uncover a duality between such adaptive methods and regularization through the so-called "$\eta$-trick" that casts both as iteratively reweighted optimizations. We show that any dropout strategy that adapts to the weights in a monotonic way corresponds to an effective subquadratic regularization penalty, and therefore leads to sparse solutions. We obtain the effective penalties for several popular sparsification strategies, which are remarkably similar to classical penalties commonly used in sparse optimization. Considering variational dropout as a case study, we demonstrate similar empirical behavior between the adaptive dropout method and classical methods on the task of deep network sparsification, validating our theory.
• Abstract（参考訳）: 深層(神経)ネットワークをスパース化する最も成功した手法は、トレーニングを通じてネットワークの重みを適応的に隠蔽する手法である。 線形の場合、このマスキングやドロップアウトを調べることで、そのような適応的手法と正規化の双対性を「$\eta$-trick」と呼ばれる、反復的に再重み付けされた最適化として示すことによって明らかにする。 単調な方法で重みに適応するドロップアウト戦略は、効果的な準正則化ペナルティに対応し、スパース解をもたらすことを示す。 スパース最適化によく用いられる古典的罰則に非常によく似た,いくつかの一般的なスパシフィケーション戦略に対する効果的な罰則を得る。 本研究では, 適応型ドロップアウト法と古典的手法の類似した実験的挙動を, ネットワークスペーシフィケーションの課題において実証し, 理論を検証した。

関連論文リスト

• Adaptive Depth Networks with Skippable Sub-Paths [1.8416014644193066]
  本稿では,最小限のトレーニングを施した適応深度ネットワークへの実践的アプローチを提案する。 当社のアプローチは,すべてのターゲットサブネットワークを反復的にトレーニングするものではない。 提案手法が全体的な予測誤差を低減できる理由を, 公式な根拠として提示する。
  論文  参考訳（メタデータ） (2023-12-27T03:43:38Z)
• Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
  ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:21:34Z)
• Combining Explicit and Implicit Regularization for Efficient Learning in Deep Networks [3.04585143845864]
  深い線形ネットワークでは、勾配勾配は行列の完備化/ファクトリゼーションタスクの低ランク解に対して暗黙的に正規化される。 適応勾配の一般化にのみ作用するこの暗黙バイアスを反映した明示的なペナルティを提案する。 この組み合わせにより、単層ネットワークは、深い線形ネットワークに匹敵する縮退誤差で低ランク近似を達成できる。
  論文  参考訳（メタデータ） (2023-06-01T04:47:17Z)
• Variational Inference: Posterior Threshold Improves Network Clustering Accuracy in Sparse Regimes [2.5782420501870296]
  本稿では,各反復後のコミュニティ割り当ての後部をハードしきい値にすることで,変分推論法を改善するための簡易な方法を提案する。 提案手法は,ネットワークの平均ノード次数が有界であっても,真のコミュニティラベルを収束させ,正確に復元可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-12T00:24:54Z)
• Nonasymptotic theory for two-layer neural networks: Beyond the bias-variance trade-off [10.182922771556742]
  本稿では,ReLUアクティベーション機能を持つ2層ニューラルネットワークに対する漸近的一般化理論を提案する。 過度にパラメータ化されたランダムな特徴モデルは次元性の呪いに悩まされ、従って準最適であることを示す。
  論文  参考訳（メタデータ） (2021-06-09T03:52:18Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Sparsity Aware Normalization for GANs [32.76828505875087]
  GAN(Generative adversarial Network)は、トレーニング中の批判的(差別的)ネットワークの正規化または正規化の恩恵を受けることが知られている。 本稿では,一般のスペクトル正規化スキームを分析し,有意な欠点を見つけ,GANトレーニングの安定化のための新たなアプローチであるスパーシャリティ認識正規化(SAN)を導入する。
  論文  参考訳（メタデータ） (2021-03-03T15:05:18Z)
• State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards [88.30521204048551]
  制約付き強化学習の一般的な定式化には、与えられた閾値に個別に蓄積しなければならない複数の報酬が含まれる。 ここでは,任意の重み付けされた報酬の線形結合によって,所望の最適政策を誘導できない簡単な例を示す。 この研究は、ラグランジュ乗算器で状態を増大させ、原始双対法を再解釈することで、この欠点に対処する。
  論文  参考訳（メタデータ） (2021-02-23T21:07:35Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Exploring Model Robustness with Adaptive Networks and Improved Adversarial Training [56.82000424924979]
  入力サンプルに条件付きでネットワークを適応させる条件正規化モジュールを提案する。 適応的ネットワークは、一度逆さまに訓練された場合、クリーンな検証精度と堅牢性の両方において、適応的でないネットワークよりも優れています。
  論文  参考訳（メタデータ） (2020-05-30T23:23:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。