論文の概要: SVMax: A Feature Embedding Regularizer

• arxiv url: http://arxiv.org/abs/2103.02770v1
• Date: Thu, 4 Mar 2021 00:29:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 15:06:25.400497
• Title: SVMax: A Feature Embedding Regularizer
• Title（参考訳）: svmax: 機能埋め込み正規化子
• Authors: Ahmed Taha, Alex Hanson, Abhinav Shrivastava, Larry Davis
• Abstract要約: ニューラルネットワーク正規化器(例えば体重減少)は、ネットワークの複雑さを明確にすることで性能を高める。 より均一な特徴埋め込みを学習するために特異値(SVMax)を提案する。 検索ネットワークの場合、SVMaxは様々なランキング損失で大幅な改善マージンを達成します。
• 参考スコア（独自算出の注目度）: 36.02831207432822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A neural network regularizer (e.g., weight decay) boosts performance by explicitly penalizing the complexity of a network. In this paper, we penalize inferior network activations -- feature embeddings -- which in turn regularize the network's weights implicitly. We propose singular value maximization (SVMax) to learn a more uniform feature embedding. The SVMax regularizer supports both supervised and unsupervised learning. Our formulation mitigates model collapse and enables larger learning rates. We evaluate the SVMax regularizer using both retrieval and generative adversarial networks. We leverage a synthetic mixture of Gaussians dataset to evaluate SVMax in an unsupervised setting. For retrieval networks, SVMax achieves significant improvement margins across various ranking losses. Code available at https://bit.ly/3jNkgDt
• Abstract（参考訳）: ニューラルネットワーク正規化器(例えば体重減少)は、ネットワークの複雑さを明示的に罰することにより性能を高める。 本稿では,下位のネットワークアクティベーション -- 機能埋め込み -- をペナルティし,ネットワークの重みを暗黙的に規則化する。 より均一な特徴埋め込みを学習するための特異値最大化(SVMax)を提案する。 SVMax正規化器は教師なし学習と教師なし学習の両方をサポートする。 モデル崩壊を緩和し、学習率を大きくします。 SVMax正則化器を検索と生成の両逆ネットワークを用いて評価する。 ガウスデータセットの合成混合物を用いてSVMaxを教師なし環境で評価する。 検索ネットワークの場合、SVMaxは様々なランキング損失で大幅な改善マージンを達成します。 https://bit.ly/3jNkgDt

関連論文リスト

• A Coefficient Makes SVRG Effective [55.104068027239656]
  SVRG (Variance Reduced Gradient) は理論的に説得力のある最適化手法である。 本研究では,実世界のニューラルネットワークを最適化するSVRGの可能性を示す。 分析の結果,より深いネットワークでは,SVRGの分散低減項の強度は,トレーニングが進むにつれて小さくなり,低下することが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-09T18:47:44Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Revisiting the Architectures like Pointer Networks to Efficiently Improve the Next Word Distribution, Summarization Factuality, and Beyond [37.96043934146189]
  本稿では,ポインタネットワークを簡素化し,単語ごとのリランカを高速化することで,いくつかのソフトマックス代替案を提案する。 GPT-2では,提案手法はソフトマックスの混合よりも有意に効率的かつ効率的である。 T5-Smallに基づく最良の方法は、CNN/DMおよびXSUMデータセットにおいてファクトCCスコアを2ポイント改善し、ブックサム段落レベルのデータセットではMAUVEスコアを30%改善する。
  論文  参考訳（メタデータ） (2023-05-20T21:52:24Z)
• Efficient Generalization Improvement Guided by Random Weight Perturbation [24.027159739234524]
  Gruesome-aware Minimization (SAM)は、一般化の改善のための一般的なスキームを確立する。 我々は、SAMのネスト勾配を分離するために、フィルタワイズランダムウェイト摂動(RWP)を利用する。 我々は、CIFAR上での非常に競争力のあるパフォーマンスと、ImageNet上での極めて優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-11-21T14:24:34Z)
• Distinction Maximization Loss: Efficiently Improving Classification Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply Replacing the Loss and Calibrating [2.262407399039118]
  我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。 DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
  論文  参考訳（メタデータ） (2022-05-12T04:37:35Z)
• Hyperparameter Tuning is All You Need for LISTA [92.7008234085887]
  Learned Iterative Shrinkage-Thresholding Algorithm (LISTA)は、反復アルゴリズムをアンロールしてニューラルネットワークのようにトレーニングするという概念を導入している。 LISTAネットワークの中間変数に運動量を加えることで、より優れた収束率が得られることを示す。 この超軽量ネットワークをHyperLISTAと呼ぶ。
  論文  参考訳（メタデータ） (2021-10-29T16:35:38Z)
• Adaptive Low-Rank Regularization with Damping Sequences to Restrict Lazy Weights in Deep Networks [13.122543280692641]
  本稿では,過適合の原因となる重み付け層のサブセットを検出し,重み付けは行列およびテンソル条件数によって認識する。 重み付け層のサブセットを低ランク因子化(LRF)に収束させる適応型低ランク法(ALR)を提案する。 実験の結果、ALRは訓練速度とリソース使用量の少ない深層ネットワークをよく正規化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T17:28:14Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• MaxUp: A Simple Way to Improve Generalization of Neural Network Training [41.89570630848936]
  emphMaxUpは、機械学習モデルの一般化性能を改善するための、恥ずかしいほどシンプルで、非常に効果的なテクニックである。 特に、ImageNetの分類を最先端のトップ-1の精度で85.5%$、追加データなしでは85.8%$に改善します。
  論文  参考訳（メタデータ） (2020-02-20T21:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。