論文の概要: Guidelines for the Regularization of Gammas in Batch Normalization for
Deep Residual Networks
- arxiv url: http://arxiv.org/abs/2205.07260v1
- Date: Sun, 15 May 2022 11:22:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-18 07:44:21.373924
- Title: Guidelines for the Regularization of Gammas in Batch Normalization for
Deep Residual Networks
- Title（参考訳）: ディープ残差ネットワークのバッチ正規化におけるガンマの正規化に関するガイドライン
- Authors: Bum Jun Kim, Hyeyeon Choi, Hyeonah Jang, Dong Gu Lee, Wonseok Jeong,
Sang Woo Kim
- Abstract要約: ニューラルネットワークにおける重みのL2正規化は、標準的なトレーニングトリックとして広く使用されている。
本稿では,ガンマのL2正規化が有効かどうかを検討する。
- 参考スコア（独自算出の注目度）: 6.473895687594011
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: L2 regularization for weights in neural networks is widely used as a standard
training trick. However, L2 regularization for gamma, a trainable parameter of
batch normalization, remains an undiscussed mystery and is applied in different
ways depending on the library and practitioner. In this paper, we study whether
L2 regularization for gamma is valid. To explore this issue, we consider two
approaches: 1) variance control to make the residual network behave like
identity mapping and 2) stable optimization through the improvement of
effective learning rate. Through two analyses, we specify the desirable and
undesirable gamma to apply L2 regularization and propose four guidelines for
managing them. In several experiments, we observed the increase and decrease in
performance caused by applying L2 regularization to gamma of four categories,
which is consistent with our four guidelines. Our proposed guidelines were
validated through various tasks and architectures, including variants of
residual networks and transformers.
- Abstract（参考訳）: ニューラルネットワークにおける重みのl2正規化は、標準的なトレーニングトリックとして広く使われている。
しかし、バッチ正規化の訓練可能なパラメータであるガンマのL2正規化は、未解決の謎であり、図書館や実践者によって異なる方法で適用されている。
本稿では,ガンマのL2正規化が有効かどうかを検討する。
この問題を探るため、我々は2つのアプローチを検討します。
1)残余ネットワークをアイデンティティマッピングのように振る舞わせる分散制御
2) 効果的な学習率の向上による安定的な最適化。
2つの分析を通じて,l2正則化を適用するための望ましい,望ましくないガンマを特定し,それらを管理するための4つのガイドラインを提案する。
いくつかの実験で、4つのカテゴリのガンマにl2正則化を適用することによって生じる性能の増大と低下を観察した。
提案するガイドラインは,残差ネットワークやトランスフォーマーを含む様々なタスクやアーキテクチャを通して検証された。
関連論文リスト
- Two-Stage ML-Guided Decision Rules for Sequential Decision Making under Uncertainty [55.06411438416805]
SDMU (Sequential Decision Making Under Uncertainty) は、エネルギー、金融、サプライチェーンといった多くの領域において、ユビキタスである。
いくつかのSDMUは、自然にマルチステージ問題(MSP)としてモデル化されているが、結果として得られる最適化は、計算の観点からは明らかに困難である。
本稿では,2段階の一般決定規則(TS-GDR)を導入し,線形関数を超えて政策空間を一般化する手法を提案する。
TS-GDRの有効性は、TS-LDR(Two-Stage Deep Decision Rules)と呼ばれるディープリカレントニューラルネットワークを用いたインスタンス化によって実証される。
論文 参考訳（メタデータ） (2024-05-23T18:19:47Z) - Smoothness Adaptive Hypothesis Transfer Learning [8.557392136621894]
Smoothness Adaptive Transfer Learning (SATL) は、2相のカーネルリッジ回帰(KRR)に基づくアルゴリズムである。
我々はまず、ターゲットのみのKRR学習において、不特定な固定帯域幅ガウスカーネルを用いることで、最小限の最適性が得られることを証明した。
我々は,学習問題の極小境界を過度なリスクで導出し,SATLが対数係数までの一致した上限を享受していることを示す。
論文 参考訳（メタデータ） (2024-02-22T21:02:19Z) - Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。
我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
論文 参考訳（メタデータ） (2023-07-05T13:52:10Z) - A Unified Approach to Controlling Implicit Regularization via Mirror
Descent [18.536453909759544]
ミラー降下(MD)は勾配降下(GD)の顕著な一般化である
MDを効率的に実装することができ、適切な条件下での高速収束を享受できることを示す。
論文 参考訳（メタデータ） (2023-06-24T03:57:26Z) - Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。
Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。
オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
論文 参考訳（メタデータ） (2022-12-29T18:25:01Z) - Convergence of ease-controlled Random Reshuffling gradient Algorithms under Lipschitz smoothness [0.0]
非常に多くのスムーズで可能な非サイズの関数の平均を考慮し、この問題に対処するために2つの広く最小限のフレームワークを使用します。
IG/RRスキームの簡易制御による修正を定義する。
我々は、完全なバッチ勾配(L-BFGS)とIG/RR手法の実装の両方で実装を証明し、アルゴリズムが同様の計算作業を必要とすることを証明した。
論文 参考訳（メタデータ） (2022-12-04T15:26:36Z) - Meta-Learning Adversarial Bandits [49.094361442409785]
本研究の目的は,複数のタスクにまたがる帯域幅フィードバックを用いてオンライン学習を学習し,タスク間の平均性能を改善することである。
敵対的設定を最初に対象とするメタアルゴリズムとして,マルチアーム・バンディット(MAB)とバンディット・最適化(BLO)の2つの重要なケースに対して,特定の保証を設定するメタアルゴリズムを設計する。
我々の保証は、非正規化されたフォローザリーダーと乗法重みを組み合わせることで、オンラインで非滑らかで非Bシーケンスを学ぶのに十分であることを示すことに依存しています。
論文 参考訳（メタデータ） (2022-05-27T17:40:32Z) - Scale Invariant Solutions for Overdetermined Linear Systems with
Applications to Reinforcement Learning [3.093890460224435]
そこで, 数値関数推定のための2つの新しいアルゴリズムの開発に用いる, スケール不変な基準を提案する。
また、この作業以外でも有用かもしれない、新しい適応的なステップサイズも導入します。
論文 参考訳（メタデータ） (2021-04-15T10:37:38Z) - Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。
その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文 参考訳（メタデータ） (2021-04-09T14:50:59Z) - Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data
to Learn Robust and Invariant Representations [76.85274970052762]
元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。
本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。
私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-11-25T22:40:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。