論文の概要: Weight Compander: A Simple Weight Reparameterization for Regularization
- arxiv url: http://arxiv.org/abs/2306.16993v1
- Date: Thu, 29 Jun 2023 14:52:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 12:58:35.022044
- Title: Weight Compander: A Simple Weight Reparameterization for Regularization
- Title（参考訳）: weight compander: 正規化のための簡単な重量再パラメータ
- Authors: Rinor Cakaj, Jens Mehnert, Bin Yang
- Abstract要約: 我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。
標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
- 参考スコア（独自算出の注目度）: 5.744133015573047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Regularization is a set of techniques that are used to improve the
generalization ability of deep neural networks. In this paper, we introduce
weight compander (WC), a novel effective method to improve generalization by
reparameterizing each weight in deep neural networks using a nonlinear
function. It is a general, intuitive, cheap and easy to implement method, which
can be combined with various other regularization techniques. Large weights in
deep neural networks are a sign of a more complex network that is overfitted to
the training data. Moreover, regularized networks tend to have a greater range
of weights around zero with fewer weights centered at zero. We introduce a
weight reparameterization function which is applied to each weight and
implicitly reduces overfitting by restricting the magnitude of the weights
while forcing them away from zero at the same time. This leads to a more
democratic decision-making in the network. Firstly, individual weights cannot
have too much influence in the prediction process due to the restriction of
their magnitude. Secondly, more weights are used in the prediction process,
since they are forced away from zero during the training. This promotes the
extraction of more features from the input data and increases the level of
weight redundancy, which makes the network less sensitive to statistical
differences between training and test data. We extend our method to learn the
hyperparameters of the introduced weight reparameterization function. This
avoids hyperparameter search and gives the network the opportunity to align the
weight reparameterization with the training progress. We show experimentally
that using weight compander in addition to standard regularization methods
improves the performance of neural networks.
- Abstract（参考訳）: 正規化は、ディープニューラルネットワークの一般化能力を改善するために使用される一連のテクニックである。
本稿では,ニューラルネットの重みを非線形関数を用いて再パラメータ化することで一般化を改善する新しい手法である weight compander (wc) を提案する。
これは汎用的で直感的で安価で実装が容易であり、他の様々な正規化手法と組み合わせることができる。
ディープニューラルネットワークの大きな重みは、トレーニングデータに過度に適合する、より複雑なネットワークの兆候である。
さらに、正規化ネットワークは、ゼロ中心の重みが少なく、ゼロ付近の重みの範囲が広い傾向がある。
本稿では,各重みに適用される重み再パラメータ化関数を導入し,重みの程度を制限し,同時に0から遠ざけることで、重み付けを暗黙的に削減する。
これにより、ネットワークにおけるより民主的な意思決定につながる。
第一に、個々の重みは、その大きさの制限のために予測過程にあまり影響を与えない。
第2に、トレーニング中にゼロから追い出されるため、予測プロセスでより多くの重みが使用される。
これにより、入力データからより多くの特徴の抽出が促進され、重み冗長性のレベルが向上し、トレーニングデータとテストデータの統計的差異に対するネットワークの感度が低下する。
提案手法を拡張し,導入した重み再パラメータ関数のハイパーパラメータを学習する。
これはハイパーパラメータの探索を回避し、ネットワークに重みの再パラメータ化とトレーニングの進捗を調整させる機会を与える。
標準正規化法に加えて重みコンパンダを用いることでニューラルネットワークの性能が向上することを示す。
関連論文リスト
- Improved Generalization of Weight Space Networks via Augmentations [56.571475005291035]
深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用
我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。
そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
論文 参考訳（メタデータ） (2024-02-06T15:34:44Z) - Post-Training Quantization for Re-parameterization via Coarse & Fine
Weight Splitting [13.270381125055275]
本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。
我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。
例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
論文 参考訳（メタデータ） (2023-12-17T02:31:20Z) - HyperSparse Neural Networks: Shifting Exploration to Exploitation
through Adaptive Regularization [18.786142528591355]
スパースニューラルネットワークは、リソース効率のよい機械学習アプリケーションを開発する上で重要な要素である。
本稿では,高密度をスパースネットワークに圧縮する適応正規化学習(ART)を提案する。
本手法は,事前学習したモデル知識を最大級の重みに圧縮する。
論文 参考訳（メタデータ） (2023-08-14T14:18:11Z) - Slimmable Networks for Contrastive Self-supervised Learning [67.21528544724546]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせずに、事前訓練された小型モデルを得るための一段階のソリューションを提案する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳（メタデータ） (2022-09-30T15:15:05Z) - Understanding Weight Similarity of Neural Networks via Chain
Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。
まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。
ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
論文 参考訳（メタデータ） (2022-08-08T19:11:03Z) - Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。
具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文 参考訳（メタデータ） (2020-08-21T19:35:54Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳（メタデータ） (2020-08-07T02:55:28Z) - Neural networks with late-phase weights [66.72777753269658]
学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。
学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
論文 参考訳（メタデータ） (2020-07-25T13:23:37Z) - Training highly effective connectivities within neural networks with
randomly initialized, fixed weights [4.56877715768796]
重みの符号を反転させてネットワークを訓練する新しい方法を提案する。
重みが一定等級であっても、高非対称分布から重みが引き出される場合でも良い結果が得られる。
論文 参考訳（メタデータ） (2020-06-30T09:41:18Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z) - Train-by-Reconnect: Decoupling Locations of Weights from their Values [6.09170287691728]
トレーニングされていないディープニューラルネットワーク(DNN)は、トレーニングされたニューラルネットワークとは異なることを示す。
重みをリコネクションすることでDNNをトレーニングするためのLookahead Permutation(LaPerm)という新しい手法を提案する。
初期重みが1つの値を共有すると、我々の手法はより精度のよい重み付きニューラルネットワークを見つける。
論文 参考訳（メタデータ） (2020-03-05T12:40:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。