論文の概要: Correlation of the importances of neural network weights calculated by
modern methods of overcoming catastrophic forgetting
- arxiv url: http://arxiv.org/abs/2211.17012v1
- Date: Mon, 24 Oct 2022 15:07:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-21 18:27:27.355558
- Title: Correlation of the importances of neural network weights calculated by
modern methods of overcoming catastrophic forgetting
- Title（参考訳）: 破壊的忘れを克服する近代的手法によるニューラルネットワーク重み計算の重要性の相関
- Authors: Alexey Kutalev
- Abstract要約: EWC法におけるニューラルネットワーク重み付けの重要性を計算するために,いくつかの手法が提案されている。
重量の計算において大きな違いはあったが、いずれも有効であることが判明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Following the invention in 2017 of the EWC method, several methods have been
proposed to calculate the importance of neural network weights for use in the
EWC method. Despite the significant difference in calculating the importance of
weights, they all proved to be effective. Accordingly, a reasonable question
arises as to how similar the importances of the weights calculated by different
methods. To answer this question, we calculated layer-by-layer correlations of
the importance of weights calculated by all those methods. As a result, it
turned out that the importances of several of the methods correlated with each
other quite strongly and we were able to present an explanation for such a
correlation. At the same time, for other methods, the correlation can vary from
strong on some layers of the network to negative on other layers. Which raises
a reasonable question: why, despite the very different calculation methods, all
those importances allow EWC method to overcome the catastrophic forgetting of
neural networks perfectly?
- Abstract（参考訳）: 2017年にewc法が発明されると、ewc法で使用するニューラルネットワークの重み付けの重要性を計算するいくつかの方法が提案されている。
重量の計算において大きな違いはあったが、いずれも有効であることが判明した。
したがって、異なる方法によって計算される重みの重要性がどの程度類似しているかという合理的な疑問が生じる。
そこで本研究では,これらすべての手法で計算した重みの重みの層間相関を計算した。
その結果,いくつかの手法の重要性が互いに強く相関していることが判明し,そのような相関関係を説明することができた。
同時に、他の手法では、相関はネットワークのいくつかの層で強いものから他の層で負のものまで様々である。
これは合理的な疑問を提起する: 計算方法がまったく異なるにもかかわらず、なぜewc法がニューラルネットワークの壊滅的な忘れを完璧に克服できるのか?
関連論文リスト
- Robust Weight Initialization for Tanh Neural Networks with Fixed Point Analysis [5.016205338484259]
提案手法は既存手法よりもネットワークサイズの変化に頑健である。
物理インフォームドニューラルネットワークに適用すると、ネットワークサイズの変化に対するより高速な収束とロバスト性を示す。
論文 参考訳（メタデータ） (2024-10-03T06:30:27Z) - Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。
我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。
提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
論文 参考訳（メタデータ） (2024-06-20T15:25:13Z) - Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用
我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。
そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
論文 参考訳（メタデータ） (2024-02-06T15:34:44Z) - Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。
これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
論文 参考訳（メタデータ） (2023-12-03T04:20:02Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Understanding Weight Similarity of Neural Networks via Chain
Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。
まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。
ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
論文 参考訳（メタデータ） (2022-08-08T19:11:03Z) - Inf-CP: A Reliable Channel Pruning based on Channel Influence [4.692400531340393]
チャネルプルーニングの最も効果的な方法の1つは、各ニューロンの重要性に基づいてトリムを行うことである。
従来の研究は、単一層または複数の連続するニューロンの統計を考慮し、トリムすることを提案した。
我々は、アンサンブル学習を用いて、異なるデータバッチのモデルをトレーニングすることを提案する。
論文 参考訳（メタデータ） (2021-12-05T09:30:43Z) - Stabilizing Elastic Weight Consolidation method in practical ML tasks
and using weight importances for neural network pruning [0.0]
完全連結層および畳み込み層を有するネットワークに適用した場合、ウェイトの重要性を計算するための既知の方法論をより厳密に比較する。
また,畳み込み層と自己アテンション層を有する多層ニューラルネットワークにおいて,弾性重み統合法を適用する際に生じる問題を指摘する。
論文 参考訳（メタデータ） (2021-09-21T08:24:37Z) - The distance between the weights of the neural network is meaningful [9.329400348695435]
ニューラルネットワークの適用においては、問題複雑性とデータセットスケールに基づいて適切なモデルを選択する必要がある。
本稿では,異なるトレーニング段階におけるニューラルネットワーク重み間の距離を用いて,トレーニング過程において,ネットワークが蓄積した情報を直接推定できることを示す。
論文 参考訳（メタデータ） (2021-01-31T06:44:49Z) - Continual Learning using a Bayesian Nonparametric Dictionary of Weight
Factors [75.58555462743585]
訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。
Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。
連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
論文 参考訳（メタデータ） (2020-04-21T15:20:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。