Fugu-MT 論文翻訳(概要): Natural Way to Overcome the Catastrophic Forgetting in Neural Networks

論文の概要: Natural Way to Overcome the Catastrophic Forgetting in Neural Networks

arxiv url: http://arxiv.org/abs/2005.07107v2
Date: Fri, 4 Jun 2021 17:44:46 GMT
ステータス: 処理完了
システム内更新日: 2022-12-09 04:46:57.433951
Title: Natural Way to Overcome the Catastrophic Forgetting in Neural Networks
Title（参考訳）: ニューラルネットワークにおける破滅的予測を克服する自然な方法
Authors: Alexey Kutalev
Abstract要約: 本稿では,ネットワークの各接続を経由する総絶対信号に基づいて,破滅的忘れを克服する手法を提案する。本手法は簡単な実装であり,動物の脳内で発生したプロセスに近づき,その後に学習したスキルを保存できると考えられる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Not so long ago, a method was discovered that successfully overcomes the catastrophic forgetting in neural networks. Although we know about the cases of using this method to preserve skills when adapting pre-trained networks to particular tasks, it has not obtained widespread distribution yet. In this paper, we would like to propose an alternative method of overcoming catastrophic forgetting based on the total absolute signal passing through each connection in the network. This method has a simple implementation and seems to us essentially close to the processes occurring in the brain of animals to preserve previously learned skills during subsequent learning. We hope that the ease of implementation of this method will serve its wide application.
Abstract（参考訳）: ほどなくして、ニューラルネットワークの破滅的な忘れを克服する手法が発見された。トレーニング済みのネットワークを特定のタスクに適応させる際に,この手法を用いてスキルを保ちつつも,まだ広く普及していない。本稿では,ネットワークの各接続を経由する絶対信号の総数に基づいて,破滅的な記憶を克服する代替手法を提案する。本手法は簡単な実装であり,動物の脳内で発生したプロセスに近づき,その後に学習したスキルを保存できると考えられる。この手法の実装の容易さが、その幅広い応用に役立つことを願っている。

関連論文リスト

Certified Continual Learning for Neural Network Regression [5.196348925724883]
認定連続学習という手法を提案する。検証されたネットワークの確立した正しさ特性を可能な限り保持することにより、既存の継続学習方法を改善する。その結果,本手法は効率が良く,訓練されたモデルでは正当性を保ち,高い実用性を維持していることがわかった。
論文参考訳（メタデータ） (2024-07-09T09:14:45Z)
Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文参考訳（メタデータ） (2024-02-21T15:51:01Z)
A Novel Method for improving accuracy in neural network by reinstating traditional back propagation technique [0.0]
本稿では,各層における勾配計算の必要性を解消する新しい瞬時パラメータ更新手法を提案する。提案手法は,学習を加速し,消失する勾配問題を回避し,ベンチマークデータセット上で最先端の手法より優れる。
論文参考訳（メタデータ） (2023-08-09T16:41:00Z)
Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。トラクタブル回路において,これを効率的に計算する方法を示す。我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文参考訳（メタデータ） (2023-02-28T00:04:22Z)
Adversarial Robustness is at Odds with Lazy Training [39.18321880557702]
いわゆる遅延状態下で訓練されたネットワークに対して,単一の勾配ステップで逆例を見つけることができることを示す。これは、このようなよく一般化可能なニューラルネットワークがいまだに敵の攻撃に弱いことを証明する最初の研究である。
論文参考訳（メタデータ） (2022-06-18T00:51:30Z)
Being Friends Instead of Adversaries: Deep Networks Learn from Data Simplified by Other Networks [23.886422706697882]
フレンドリートレーニング(Friendly Training)は、自動的に推定される摂動を追加することで入力データを変更するものである。本稿では,ニューラルネットワークの有効性に触発されて,このアイデアを再考し,拡張する。本稿では,入力データの変更に責任を負う補助的な多層ネットワークを提案する。
論文参考訳（メタデータ） (2021-12-18T16:59:35Z)
Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文参考訳（メタデータ） (2021-02-17T04:47:18Z)
Truly Sparse Neural Networks at Scale [2.2860412844991655]
私たちは、表現力の観点から訓練された史上最大のニューラルネットワークをトレーニングします。われわれのアプローチは、環境に優しい人工知能時代の道を歩みながら、最先端の性能を持っている。
論文参考訳（メタデータ） (2021-02-02T20:06:47Z)
Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文参考訳（メタデータ） (2020-12-31T08:21:37Z)
Go Wide, Then Narrow: Efficient Training of Deep Thin Networks [62.26044348366186]
本稿では,深層ネットワークを理論的保証で訓練する効率的な手法を提案する。我々の方法でのトレーニングにより、ResNet50はResNet101を上回り、BERT BaseはBERT Largeに匹敵する。
論文参考訳（メタデータ） (2020-07-01T23:34:35Z)
Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。本稿では,サイドチューニングという簡単な方法を提案する。
論文参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。