論文の概要: Signing the Supermask: Keep, Hide, Invert
- arxiv url: http://arxiv.org/abs/2201.13361v1
- Date: Mon, 31 Jan 2022 17:17:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 15:14:02.812777
- Title: Signing the Supermask: Keep, Hide, Invert
- Title(参考訳): スーパーマスクにサインする: Keep, Hide, Invert
- Authors: Nils Koster, Oliver Grothe and Achim Rettinger
- Abstract要約: ニューラルネットワークの初期重みを落とすか、それぞれの符号を反転させる新しいアプローチを提案する。
我々は,様々なベースラインモデルと過去のモデルとをマッチングまたはオーバーしながら,最大99%のプルーニング率を達成する。
- 参考スコア(独自算出の注目度): 0.9475039534437331
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The exponential growth in numbers of parameters of neural networks over the
past years has been accompanied by an increase in performance across several
fields. However, due to their sheer size, the networks not only became
difficult to interpret but also problematic to train and use in real-world
applications, since hardware requirements increased accordingly. Tackling both
issues, we present a novel approach that either drops a neural network's
initial weights or inverts their respective sign. Put simply, a network is
trained by weight selection and inversion without changing their absolute
values. Our contribution extends previous work on masking by additionally
sign-inverting the initial weights and follows the findings of the Lottery
Ticket Hypothesis. Through this extension and adaptations of initialization
methods, we achieve a pruning rate of up to 99%, while still matching or
exceeding the performance of various baseline and previous models. Our approach
has two main advantages. First, and most notable, signed Supermask models
drastically simplify a model's structure, while still performing well on given
tasks. Second, by reducing the neural network to its very foundation, we gain
insights into which weights matter for performance.
- Abstract(参考訳): 過去数年間のニューラルネットワークのパラメータ数の指数関数的な増加は、いくつかの分野でのパフォーマンス向上に伴うものだ。
しかし、ネットワークのサイズが大きくなったため、ハードウェア要件が増大したため、解釈が難しくなっただけでなく、実際のアプリケーションでトレーニングや使用が困難になった。
どちらの問題にも取り組み、ニューラルネットワークの初期重みを下げるか、それぞれの符号を反転させる新しいアプローチを提案する。
簡単に言えば、ネットワークは、絶対値を変更することなく、重み選択と反転によって訓練される。
提案手法は,初期重み付けにサインインすることでマスキングに関する先行研究を拡張し,抽選券仮説の結果を追従する。
この拡張と初期化手法の適応により、様々なベースラインモデルと過去のモデルの性能をいまだに一致または超えながら、最大99%のプルーニング率を達成する。
我々のアプローチには2つの大きな利点がある。
まず、最も注目すべき、署名されたスーパーマスクモデルは、与えられたタスクでうまく機能しながら、モデルの構造を劇的に単純化します。
第二に、ニューラルネットワークをその基盤に還元することで、パフォーマンスにどの重みが重要かを知ることができます。
関連論文リスト
- Neural Metamorphosis [72.88137795439407]
本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。
NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。
75%の圧縮速度でもフルサイズの性能を維持する。
論文 参考訳(メタデータ) (2024-10-10T14:49:58Z) - Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳(メタデータ) (2024-06-14T13:12:07Z) - Post-Training Quantization for Re-parameterization via Coarse & Fine
Weight Splitting [13.270381125055275]
本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。
我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。
例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
論文 参考訳(メタデータ) (2023-12-17T02:31:20Z) - An Initialization Schema for Neuronal Networks on Tabular Data [0.9155684383461983]
本稿では,二項ニューラルネットワークが表データに対して有効に利用できることを示す。
提案手法はニューラルネットワークの最初の隠蔽層を初期化するための単純だが効果的なアプローチを示す。
我々は、複数の公開データセットに対する我々のアプローチを評価し、他のニューラルネットワークベースのアプローチと比較して、改善されたパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-11-07T13:52:35Z) - MixtureGrowth: Growing Neural Networks by Recombining Learned Parameters [19.358670728803336]
ほとんどのディープニューラルネットワークは、固定されたネットワークアーキテクチャの下でトレーニングされており、アーキテクチャの変更時に再トレーニングを必要とする。
これを回避するために、時間とともにランダムな重みを加えて小さなネットワークから成長させ、徐々にターゲットネットワークサイズを達成できる。
このナイーブなアプローチは、成長するプロセスに多くのノイズをもたらすため、実際には不足しています。
論文 参考訳(メタデータ) (2023-11-07T11:37:08Z) - Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。
標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
論文 参考訳(メタデータ) (2023-06-29T14:52:04Z) - IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文 参考訳(メタデータ) (2023-06-18T05:26:49Z) - Random Weights Networks Work as Loss Prior Constraint for Image
Restoration [50.80507007507757]
「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」
我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。
強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
論文 参考訳(メタデータ) (2023-03-29T03:43:51Z) - Parameter-Efficient Masking Networks [61.43995077575439]
先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。
本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。
これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
論文 参考訳(メタデータ) (2022-10-13T03:39:03Z) - Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳(メタデータ) (2022-09-30T15:15:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。