Fugu-MT 論文翻訳(概要): Stabilizing Elastic Weight Consolidation method in practical ML tasks and using weight importances for neural network pruning

論文の概要: Stabilizing Elastic Weight Consolidation method in practical ML tasks and using weight importances for neural network pruning

arxiv url: http://arxiv.org/abs/2109.10021v1
Date: Tue, 21 Sep 2021 08:24:37 GMT
ステータス: 処理完了
システム内更新日: 2021-09-22 14:16:38.911201
Title: Stabilizing Elastic Weight Consolidation method in practical ML tasks and using weight importances for neural network pruning
Title（参考訳）: 実用的なMLタスクにおける弾性重み付けの安定化とニューラルネットワークプルーニングにおける重み付け
Authors: Alexey Kutalev and Alisa Lapina
Abstract要約: 完全連結層および畳み込み層を有するネットワークに適用した場合、ウェイトの重要性を計算するための既知の方法論をより厳密に比較する。また,畳み込み層と自己アテンション層を有する多層ニューラルネットワークにおいて,弾性重み統合法を適用する際に生じる問題を指摘する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This paper is devoted to the features of the practical application of Elastic Weight Consolidation method. Here we will more rigorously compare the known methodologies for calculating the importance of weights when applied to networks with fully connected and convolutional layers. We will also point out the problems that arise when applying the Elastic Weight Consolidation method in multilayer neural networks with convolutional layers and self-attention layers, and propose method to overcome these problems. In addition, we will notice an interesting fact about the use of various types of weight importance in the neural network pruning task.
Abstract（参考訳）: 本稿では, 弾性重み密着法の実用的応用の特徴について述べる。ここでは,完全連結層と畳み込み層を有するネットワークに適用する際の重み付けの重要性を計算するための既知の手法をより厳密に比較する。また,畳み込み層と自己付着層を有する多層ニューラルネットワークにおいて弾性重み和法を適用する際に生じる問題点を指摘し,これらの問題を克服する方法を提案する。さらに、ニューラルネットワークのプルーニングタスクにおいて、様々な種類の重み付けが重要であるという興味深い事実に気づきます。

関連論文リスト

Robust Weight Initialization for Tanh Neural Networks with Fixed Point Analysis [5.016205338484259]
提案手法は既存手法よりもネットワークサイズの変化に頑健である。物理インフォームドニューラルネットワークに適用すると、ネットワークサイズの変化に対するより高速な収束とロバスト性を示す。
論文参考訳（メタデータ） (2024-10-03T06:30:27Z)
Balanced and Deterministic Weight-sharing Helps Network Performance [12.090942406595637]
ArbNetsは、ニューラルネットワークにおける効率的な任意のウェイトシェアリングのためのフレームワークである。我々は、共通のニューラルネットワークを異なるハッシュ関数を持つ ArbNet として表現できることを示す。また,2つの新しいハッシュ関数であるDirichletハッシュとNeighborhoodハッシュを提案し,バランスの取れた重み付けがニューラルネットワークの性能に与える影響を実験的に示す。
論文参考訳（メタデータ） (2023-12-13T06:02:11Z)
Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
論文参考訳（メタデータ） (2022-08-08T19:11:03Z)
BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文参考訳（メタデータ） (2022-07-04T13:25:49Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations [58.731070632586594]
非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
論文参考訳（メタデータ） (2021-03-03T06:17:03Z)
Stable Recovery of Entangled Weights: Towards Robust Identification of Deep Neural Networks from Minimal Samples [0.0]
連続した層の重みを、活性化関数とそのシフトに応じて適切な対角行列と反転行列と絡み合ういわゆる絡み合い重みを紹介します。エンタングル重みは効率的でロバストなアルゴリズムによって完全かつ安定に近似することが証明される。本研究は,入力出力情報をネットワークパラメータに一意かつ安定的に関連付けることができ,説明可能性の一形態を提供する。
論文参考訳（メタデータ） (2021-01-18T16:31:19Z)
Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文参考訳（メタデータ） (2020-08-07T02:55:28Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)
Overcoming the Weight Transport Problem via Spike-Timing-Dependent Weight Inference [9.948484577581796]
スパイクタイミングのみを用いることは、スパイクニューラルネットワークモデルにおけるシナプス重み推定において、既存の生物学的に妥当な手法よりも優れていることを示す。提案手法はより柔軟で、スパイクニューロンモデルに適用可能であり、実装に必要なパラメータの数に保守的であり、最小限の計算オーバーヘッドでオンラインファッションに展開できる。
論文参考訳（メタデータ） (2020-03-09T09:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。