論文の概要: A Novel, Scale-Invariant, Differentiable, Efficient, Scalable
Regularizer
- arxiv url: http://arxiv.org/abs/2301.07285v1
- Date: Wed, 18 Jan 2023 03:17:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-19 16:53:38.242489
- Title: A Novel, Scale-Invariant, Differentiable, Efficient, Scalable
Regularizer
- Title(参考訳): 新しいスケール不変, 微分可能, 効率的, スケーラブルな正則化器
- Authors: Hovig Tigran Bayandorian
- Abstract要約: 本稿では,$L_p$-normに基づいていない新しい正規化器について述べる。
微分可能で、単純で高速で計算し、スケール不変であり、簡単な量の追加メモリを必要とし、容易に並列化できる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: $L_{p}$-norm regularization schemes such as $L_{0}$, $L_{1}$, and
$L_{2}$-norm regularization and $L_{p}$-norm-based regularization techniques
such as weight decay and group LASSO compute a quantity which de pends on model
weights considered in isolation from one another. This paper describes a novel
regularizer which is not based on an $L_{p}$-norm. In contrast with
$L_{p}$-norm-based regularization, this regularizer is concerned with the
spatial arrangement of weights within a weight matrix. This regularizer is an
additive term for the loss function and is differentiable, simple and fast to
compute, scale-invariant, requires a trivial amount of additional memory, and
can easily be parallelized. Empirically this method yields approximately a one
order-of-magnitude improvement in the number of nonzero model parameters at a
given level of accuracy.
- Abstract(参考訳): l_{0}$, $l_{1}$, $l_{2}$-norm正規化のような$l_{p}$-norm正則化スキームと、重量減衰やグループラッソのような$l_{p}$-norm正則化テクニックは、分離されたモデル重みに反則する量を計算する。
本稿では,$L_{p}$-normに基づいていない新しい正規化器について述べる。
L_{p}$-norm-based regularizationとは対照的に、この正規化器は重み行列内の重みの空間配置に関係している。
この正規化子は損失関数の加法語であり、微分可能で単純で高速で計算しやすく、スケール不変であり、簡単な量の追加メモリを必要とし、容易に並列化できる。
経験的に、この方法は与えられた精度のレベルでゼロでないモデルパラメータの数を約1桁改善する。
関連論文リスト
- A stochastic optimization approach to train non-linear neural networks
with a higher-order variation regularization [3.0277213703725767]
本研究は、$(k,q)$thorder variation regularization((k,q)$-VR)を考える。
$(k,q)$-VR は、訓練対象のパラメトリックモデルの絶対$k$次微分の$q$thパワー積分として定義される。
我々の数値実験は、従来のパラメータ正規化よりも、$(k,q)$-VRで訓練されたニューラルネットワークの方が弾力性が高いことを示した。
論文 参考訳(メタデータ) (2023-08-04T12:57:13Z) - Conditional Matrix Flows for Gaussian Graphical Models [1.6435014180036467]
本稿では,頻繁な鍵化とベイズ推論の利点を考察した変分推論行列GG-Flowの一般フレームワークを提案する。
a train of the sparse for any $lambda$ and any $l_q$ (pse-) and for any $l_q$ (pse-) we have train the limit for any $lambda$ and any $l_q$ (pse-) and (like for the selection) the often solution。
論文 参考訳(メタデータ) (2023-06-12T17:25:12Z) - KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal [70.15267479220691]
モデル強化学習のサンプル複雑性を,生成的分散自由モデルを用いて検討・解析する。
我々の分析は、$varepsilon$が十分小さい場合、$varepsilon$-optimal Policyを見つけるのが、ほぼ最小の最適化であることを示している。
論文 参考訳(メタデータ) (2022-05-27T19:39:24Z) - Robust Training of Neural Networks using Scale Invariant Architectures [70.67803417918854]
SGDとは対照的に、Adamのような適応勾配法は、現代のディープネットワークの堅牢なトレーニングを可能にする。
この一般的なアプローチは、パラメータと損失の再スケーリングに頑健であることを示す。
我々は、単にバニラSGDで訓練された場合、Adamのような適応的な手法で訓練されたBERTに匹敵する性能を達成する、SIBERTと呼ばれるスケール不変バージョンのBERTを設計する。
論文 参考訳(メタデータ) (2022-02-02T11:58:56Z) - Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。
本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。
この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
論文 参考訳(メタデータ) (2021-06-28T00:14:11Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳(メタデータ) (2021-06-06T18:05:02Z) - An efficient projection neural network for $\ell_1$-regularized logistic
regression [10.517079029721257]
本稿では, $ell_$-regularized logistics regression のための単純な投影ニューラルネットワークを提案する。
提案したニューラルネットワークは、余分な補助変数や滑らかな近似を必要としない。
また、リアプノフ理論を用いて、提案したニューラルネットワークの収束について検討し、任意の初期値を持つ問題の解に収束することを示す。
論文 参考訳(メタデータ) (2021-05-12T06:13:44Z) - Fast Minimum-norm Adversarial Attacks through Adaptive Norm Constraints [29.227720674726413]
異なる$ell_p$-norm摂動モデルで動作する高速最小ノルム(FMN)攻撃を提案する。
実験の結果、FMNは収束速度と時間において既存の攻撃よりも著しく優れていた。
論文 参考訳(メタデータ) (2021-02-25T12:56:26Z) - Generalized Quantile Loss for Deep Neural Networks [0.8594140167290096]
このノートは、回帰ニューラルネットワークにカウント(または量子化)制約を追加する簡単な方法を示しています。トレーニングセットで$n$サンプルを与えられた場合、$mn$サンプルの予測が実際の値(ラベル)よりも大きいことを保証します。
標準分位レグレッションネットワークとは異なり、提案手法は任意の損失関数に適用できるが、標準分位レグレッション損失は必ずしも適用できず、平均絶対差を最小化することができる。
論文 参考訳(メタデータ) (2020-12-28T16:37:02Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - Sparse Identification of Nonlinear Dynamical Systems via Reweighted
$\ell_1$-regularized Least Squares [62.997667081978825]
本研究は, 非線形系の制御方程式をノイズ状態測定から復元するための繰り返しスパース規則化回帰法を提案する。
本研究の目的は、状態測定ノイズの存在下での手法の精度とロバスト性を改善することである。
論文 参考訳(メタデータ) (2020-05-27T08:30:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。