論文の概要: Entropy-based Stability-Plasticity for Lifelong Learning
- arxiv url: http://arxiv.org/abs/2204.09517v1
- Date: Mon, 18 Apr 2022 22:58:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-21 13:26:10.967216
- Title: Entropy-based Stability-Plasticity for Lifelong Learning
- Title(参考訳): 生涯学習のためのエントロピーに基づく安定確率
- Authors: Vladimir Araujo, Julio Hurtado, Alvaro Soto, Marie-Francine Moens
- Abstract要約: 本稿では,ニューラルネットワークの安定性・塑性ジレンマに対処するために,エントロピーに基づく安定塑性(ESP)を提案する。
当社のアプローチでは,塑性係数を用いて各モデル層をどの程度変更すべきかを動的に決定できる。
場合によっては、トレーニング中にレイヤを凍結することで、トレーニングのスピードアップにつながる場合もある。
- 参考スコア(独自算出の注目度): 17.40355682488805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to continuously learn remains elusive for deep learning models.
Unlike humans, models cannot accumulate knowledge in their weights when
learning new tasks, mainly due to an excess of plasticity and the low incentive
to reuse weights when training a new task. To address the stability-plasticity
dilemma in neural networks, we propose a novel method called Entropy-based
Stability-Plasticity (ESP). Our approach can decide dynamically how much each
model layer should be modified via a plasticity factor. We incorporate branch
layers and an entropy-based criterion into the model to find such factor. Our
experiments in the domains of natural language and vision show the
effectiveness of our approach in leveraging prior knowledge by reducing
interference. Also, in some cases, it is possible to freeze layers during
training leading to speed up in training.
- Abstract(参考訳): 継続的に学習する能力は、深層学習モデルには依然として有効である。
人間とは異なり、モデルは新しいタスクを学ぶ際に体重に関する知識を蓄積することはできない。
ニューラルネットワークの安定性・塑性ジレンマに対処するため,エントロピーに基づく安定塑性 (ESP) と呼ばれる新しい手法を提案する。
当社のアプローチでは,塑性係数を用いて各モデル層をどの程度変更すべきかを動的に決定できる。
我々は、分岐層とエントロピーに基づく基準をモデルに組み込んで、そのような因子を見つける。
自然言語と視覚の領域における我々の実験は、干渉を減らすことによる事前知識の活用における我々のアプローチの有効性を示している。
また、トレーニング中にレイヤーを凍結することで、トレーニングのスピードアップにつながる場合もある。
関連論文リスト
- Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。
既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。
我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-29T07:15:57Z) - Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks
in Continual Learning [23.15206507040553]
本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。
ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。
より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
論文 参考訳(メタデータ) (2023-03-16T17:00:42Z) - New Insights on Relieving Task-Recency Bias for Online Class Incremental
Learning [37.888061221999294]
あらゆる設定において、オンラインクラスインクリメンタルラーニング(OCIL)はより困難であり、現実世界でより頻繁に遭遇する可能性がある。
安定性と塑性のトレードオフに対処するため,Adaptive Focus Shiftingアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-16T11:52:00Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-02-11T21:07:30Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - A Spiking Neuron Synaptic Plasticity Model Optimized for Unsupervised
Learning [0.0]
スパイキングニューラルネットワーク(SNN)は、教師なし、教師なし、強化学習など、あらゆる種類の学習タスクを実行するための視点ベースとして考えられている。
SNNでの学習は、シナプス前およびシナプス後ニューロンの活動に依存するシナプス重みのダイナミクスを決定する規則であるシナプス可塑性によって実施される。
論文 参考訳(メタデータ) (2021-11-12T15:26:52Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - SpikePropamine: Differentiable Plasticity in Spiking Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)におけるシナプス可塑性と神経調節シナプス可塑性のダイナミクスを学習するための枠組みを導入する。
異なる可塑性で強化されたSNNは、時間的学習課題の集合を解決するのに十分であることを示す。
これらのネットワークは、高次元のロボット学習タスクで移動を生成できることも示されている。
論文 参考訳(メタデータ) (2021-06-04T19:29:07Z) - Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。
破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。
微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
論文 参考訳(メタデータ) (2020-06-30T06:42:19Z) - Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。
本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
論文 参考訳(メタデータ) (2020-06-12T06:00:27Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳(メタデータ) (2020-05-02T06:41:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。