論文の概要: Entropy-based Stability-Plasticity for Lifelong Learning

• arxiv url: http://arxiv.org/abs/2204.09517v1
• Date: Mon, 18 Apr 2022 22:58:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-21 13:26:10.967216
• Title: Entropy-based Stability-Plasticity for Lifelong Learning
• Title（参考訳）: 生涯学習のためのエントロピーに基づく安定確率
• Authors: Vladimir Araujo, Julio Hurtado, Alvaro Soto, Marie-Francine Moens
• Abstract要約: 本稿では,ニューラルネットワークの安定性・塑性ジレンマに対処するために,エントロピーに基づく安定塑性(ESP)を提案する。 当社のアプローチでは,塑性係数を用いて各モデル層をどの程度変更すべきかを動的に決定できる。 場合によっては、トレーニング中にレイヤを凍結することで、トレーニングのスピードアップにつながる場合もある。
• 参考スコア（独自算出の注目度）: 17.40355682488805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to continuously learn remains elusive for deep learning models. Unlike humans, models cannot accumulate knowledge in their weights when learning new tasks, mainly due to an excess of plasticity and the low incentive to reuse weights when training a new task. To address the stability-plasticity dilemma in neural networks, we propose a novel method called Entropy-based Stability-Plasticity (ESP). Our approach can decide dynamically how much each model layer should be modified via a plasticity factor. We incorporate branch layers and an entropy-based criterion into the model to find such factor. Our experiments in the domains of natural language and vision show the effectiveness of our approach in leveraging prior knowledge by reducing interference. Also, in some cases, it is possible to freeze layers during training leading to speed up in training.
• Abstract（参考訳）: 継続的に学習する能力は、深層学習モデルには依然として有効である。 人間とは異なり、モデルは新しいタスクを学ぶ際に体重に関する知識を蓄積することはできない。 ニューラルネットワークの安定性・塑性ジレンマに対処するため,エントロピーに基づく安定塑性 (ESP) と呼ばれる新しい手法を提案する。 当社のアプローチでは,塑性係数を用いて各モデル層をどの程度変更すべきかを動的に決定できる。 我々は、分岐層とエントロピーに基づく基準をモデルに組み込んで、そのような因子を見つける。 自然言語と視覚の領域における我々の実験は、干渉を減らすことによる事前知識の活用における我々のアプローチの有効性を示している。 また、トレーニング中にレイヤーを凍結することで、トレーニングのスピードアップにつながる場合もある。

関連論文リスト

• Neuroplastic Expansion in Deep Reinforcement Learning [9.297543779239826]
  本稿では,認知科学における皮質拡大に触発された新しいアプローチであるNeuroplastic Expansion(NE)を提案する。 NEは、ネットワークを小さな初期サイズからフル次元に動的に拡大することにより、トレーニングプロセス全体を通して学習性と適応性を維持する。 本手法は, 1) 電位勾配に基づく弾性ニューロン生成, (2) ネットワーク表現性を最適化するための休眠ニューロンプルーニング, (3) 経験的考察によるニューロン統合の3つの重要な要素で設計されている。
  論文  参考訳（メタデータ） (2024-10-10T14:51:14Z)
• Neuromimetic metaplasticity for adaptive continual learning [2.1749194587826026]
  本研究では,人間の作業記憶にインスパイアされたメタ塑性モデルを提案する。 このアプローチの重要な側面は、安定から柔軟性までの異なるタイプのシナプスを実装し、それらをランダムに混在させて、柔軟性の異なるシナプス接続をトレーニングすることである。 このモデルは、追加の訓練や構造変更を必要とせず、メモリ容量と性能のバランスのとれたトレードオフを実現した。
  論文  参考訳（メタデータ） (2024-07-09T12:21:35Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• InfLoRA: Interference-Free Low-Rank Adaptation for Continual Learning [12.004172212239848]
  連続学習では、複数のタスクを逐次学習する必要がある。 本研究では,連続学習のための干渉のない低ランク適応(InfLoRA)と呼ばれる新しいPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-03-30T03:16:37Z)
• Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
  トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。 既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。 我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:15:57Z)
• New Insights on Relieving Task-Recency Bias for Online Class Incremental Learning [37.888061221999294]
  あらゆる設定において、オンラインクラスインクリメンタルラーニング(OCIL)はより困難であり、現実世界でより頻繁に遭遇する可能性がある。 安定性と塑性のトレードオフに対処するため,Adaptive Focus Shiftingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-16T11:52:00Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• A Spiking Neuron Synaptic Plasticity Model Optimized for Unsupervised Learning [0.0]
  スパイキングニューラルネットワーク(SNN)は、教師なし、教師なし、強化学習など、あらゆる種類の学習タスクを実行するための視点ベースとして考えられている。 SNNでの学習は、シナプス前およびシナプス後ニューロンの活動に依存するシナプス重みのダイナミクスを決定する規則であるシナプス可塑性によって実施される。
  論文  参考訳（メタデータ） (2021-11-12T15:26:52Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。