論文の概要: Weights Augmentation: it has never ever ever ever let her model down
- arxiv url: http://arxiv.org/abs/2405.19590v1
- Date: Thu, 30 May 2024 00:57:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 18:46:29.787423
- Title: Weights Augmentation: it has never ever ever ever let her model down
- Title（参考訳）: 体重増加、モデルダウンは今までに一度もなかった
- Authors: Junbin Zhuang, Guiguang Din, Yunyi Yan,
- Abstract要約: 本稿では,重量増大の概念を,重量探査に焦点をあてて提案する。
ウェイト増強戦略(Weight Augmentation Strategy, WAS)とは、損失関数の計算に使用できるネットワークに対して、ランダムに変換されたウェイト係数のトレーニングと変換を行う手法である。
我々の実験結果は、VGG-16、ResNet-18、ResNet-34、GoogleNet、MobilementV2、Efficientment-Liteといった畳み込みニューラルネットワークが、ほとんど、あるいは全くコストがかからないことを示しています。
- 参考スコア（独自算出の注目度）: 1.5020330976600735
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Weight play an essential role in deep learning network models. Unlike network structure design, this article proposes the concept of weight augmentation, focusing on weight exploration. The core of Weight Augmentation Strategy (WAS) is to adopt random transformed weight coefficients training and transformed coefficients, named Shadow Weight(SW), for networks that can be used to calculate loss function to affect parameter updates. However, stochastic gradient descent is applied to Plain Weight(PW), which is referred to as the original weight of the network before the random transformation. During training, numerous SW collectively form high-dimensional space, while PW is directly learned from the distribution of SW instead of the data. The weight of the accuracy-oriented mode(AOM) relies on PW, which guarantees the network is highly robust and accurate. The desire-oriented mode(DOM) weight uses SW, which is determined by the network model's unique functions based on WAT's performance desires, such as lower computational complexity, lower sensitivity to particular data, etc. The dual mode be switched at anytime if needed. WAT extends the augmentation technique from data augmentation to weight, and it is easy to understand and implement, but it can improve almost all networks amazingly. Our experimental results show that convolutional neural networks, such as VGG-16, ResNet-18, ResNet-34, GoogleNet, MobilementV2, and Efficientment-Lite, can benefit much at little or no cost. The accuracy of models is on the CIFAR100 and CIFAR10 datasets, which can be evaluated to increase by 7.32\% and 9.28\%, respectively, with the highest values being 13.42\% and 18.93\%, respectively. In addition, DOM can reduce floating point operations (FLOPs) by up to 36.33\%. The code is available at https://github.com/zlearh/Weight-Augmentation-Technology.
- Abstract（参考訳）: ディープラーニングネットワークモデルでは、ウェイトが重要な役割を果たす。
本稿では, ネットワーク構造設計と異なり, 重み探索に着目した重み拡張の概念を提案する。
ウェイト拡張戦略(WAS)の中核は、パラメータ更新に影響を与える損失関数を計算するのに使用できるネットワークに対して、ランダムなトランスフォーメーションウェイト係数のトレーニングとトランスフォーメーション係数であるシャドウウェイト(SW)を採用することである。
しかし、確率勾配降下は、ランダム変換の前にネットワークの元々の重みと呼ばれる平地重み(PW)に適用される。
トレーニング中、多数のSWが一括して高次元空間を形成し、PWはデータの代わりにSWの分布から直接学習される。
精度指向モード(AOM)の重みはPWに依存しており、ネットワークは非常に堅牢で正確である。
欲求指向モード(DOM)ウェイトはSWを用いており、これはWATのパフォーマンス要求に基づいて決定されるネットワークモデルのユニークな機能、例えば計算複雑性の低下、特定のデータに対する感度の低下などである。
デュアルモードは必要に応じていつでも切り替えられる。
WATはデータ拡張技術から重みまで拡張し,理解と実装が容易だが,ほぼすべてのネットワークを驚くほど改善することができる。
我々の実験結果は、VGG-16、ResNet-18、ResNet-34、GoogleNet、MobilementV2、Efficientment-Liteといった畳み込みニューラルネットワークが、ほとんど、あるいは全くコストがかからないことを示しています。
CIFAR100とCIFAR10データセットの精度は7.32\%と9.28\%であり、最高値は13.42\%と18.93\%である。
さらに、DOMは浮動小数点演算(FLOP)を最大36.33\%削減できる。
コードはhttps://github.com/zlearh/Weight-Augmentation-Technologyで公開されている。
関連論文リスト
- Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用
我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。
そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
論文 参考訳（メタデータ） (2024-02-06T15:34:44Z) - Post-Training Quantization for Re-parameterization via Coarse & Fine
Weight Splitting [13.270381125055275]
本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。
我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。
例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
論文 参考訳（メタデータ） (2023-12-17T02:31:20Z) - Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。
これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
論文 参考訳（メタデータ） (2023-12-03T04:20:02Z) - Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。
標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
論文 参考訳（メタデータ） (2023-06-29T14:52:04Z) - InRank: Incremental Low-Rank Learning [85.6380047359139]
勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。
既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。
InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
論文 参考訳（メタデータ） (2023-06-20T03:03:04Z) - Induced Feature Selection by Structured Pruning [0.0]
重みと入力データに間隔を共同で付与することで、さらに一歩前進する。
入力データに対してプルーニングを行うことで、合計パラメータやFLOPのさらなるゲインを達成することができる。
論文 参考訳（メタデータ） (2023-03-20T10:29:35Z) - WeightMom: Learning Sparse Networks using Iterative Momentum-based
pruning [0.0]
本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。
我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
論文 参考訳（メタデータ） (2022-08-11T07:13:59Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - Cascade Weight Shedding in Deep Neural Networks: Benefits and Pitfalls
for Network Pruning [73.79377854107514]
カスケード重み付けは,現在ある場合,ランダムプルーニングなどの非最適スキームの性能を著しく向上させることができることを示す。
我々は,gmpの精度向上のためのカスケード重みシェディングの可能性を示し,計算量を削減する。
重み付けと学習段階の巻き戻し手法に光を当て,カスケードの重み付けに結びつく可能性を示し,微調整よりも有利な理由を示した。
論文 参考訳（メタデータ） (2021-03-19T04:41:40Z) - RSO: A Gradient Free Sampling Based Approach For Training Deep Neural
Networks [10.292439652458153]
RSOは、ディープニューラルネットワークのトレーニングのためのマルコフチェインモンテカルロ探索ベースのアプローチである。
RSOは、6から10層のディープニューラルネットワークを持つMNISTとCIFAR-10データセットの分類タスクに基づいて評価される。
論文 参考訳（メタデータ） (2020-05-12T17:55:16Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。