論文の概要: Natural Mitigation of Catastrophic Interference: Continual Learning in Power-Law Learning Environments

• arxiv url: http://arxiv.org/abs/2401.10393v3
• Date: Mon, 26 Aug 2024 23:10:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 19:58:52.905990
• Title: Natural Mitigation of Catastrophic Interference: Continual Learning in Power-Law Learning Environments
• Title（参考訳）: 破滅的干渉の自然緩和--電力系統学習環境における継続的な学習-
• Authors: Atith Gandhi, Raj Sanjay Shah, Vijay Marupudi, Sashank Varma,
• Abstract要約: 自然主義的な環境では、タスクに遭遇する確率は、それが最後に実行された時からその時代の権力者として減少することを示す。 パワーロー環境でのトレーニングモデルにおけるCIの自然緩和の程度は、人間の顔と同様である。
• 参考スコア（独自算出の注目度）: 2.714641498775159
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural networks often suffer from catastrophic interference (CI): performance on previously learned tasks drops off significantly when learning a new task. This contrasts strongly with humans, who can continually learn new tasks without appreciably forgetting previous tasks. Prior work has explored various techniques for mitigating CI and promoting continual learning such as regularization, rehearsal, generative replay, and context-specific components. This paper takes a different approach, one guided by cognitive science research showing that in naturalistic environments, the probability of encountering a task decreases as a power-law of the time since it was last performed. We argue that techniques for mitigating CI should be compared against the intrinsic mitigation in simulated naturalistic learning environments. Thus, we evaluate the extent of the natural mitigation of CI when training models in power-law environments, similar to those humans face. Our results show that natural rehearsal environments are better at mitigating CI than existing methods, calling for the need for better evaluation processes. The benefits of this environment include simplicity, rehearsal that is agnostic to both tasks and models, and the lack of a need for extra neural circuitry. In addition, we explore popular mitigation techniques in power-law environments to create new baselines for continual learning research.
• Abstract（参考訳）: ニューラルネットワークは、しばしば破滅的な干渉(CI)に悩まされる。 これは、従来のタスクを忘れずに新しいタスクを継続的に学習できる人間と強く対照的である。 以前の研究は、CIを緩和し、正規化、リハーサル、生成的リプレイ、コンテキスト固有のコンポーネントといった継続的な学習を促進するための様々なテクニックを探求してきた。 本論文は, 自然科学研究により, 課題に遭遇する確率が, 最期以来のパワーローとして減少することが示唆された。 シミュレーション自然主義学習環境における本質的な緩和に対して,CIの緩和技術は比較されるべきである,と我々は主張する。 そこで我々は,人間と同じような,権力者環境下でのトレーニングモデルにおけるCIの自然緩和の程度を評価する。 以上の結果から,自然リハーサル環境は既存の手法よりもCIを緩和し,より良い評価プロセスの必要性を訴えている。 この環境の利点は、単純さ、タスクとモデルの両方に非依存なリハーサル、追加の神経回路の必要性の欠如である。 さらに,パワーロー環境における一般的な緩和手法を探求し,継続的な学習研究のための新たなベースラインを創出する。

関連論文リスト

• No Regrets: Investigating and Improving Regret Approximations for Curriculum Discovery [53.08822154199948]
  非教師なし環境設計(UED)手法は、エージェントがイン・オブ・アウト・ディストリビューションタスクに対して堅牢になることを約束する適応的カリキュラムとして近年注目を集めている。 本研究は,既存のUEDメソッドがいかにトレーニング環境を選択するかを検討する。 本研究では,学習性の高いシナリオを直接訓練する手法を開発した。
  論文  参考訳（メタデータ） (2024-08-27T14:31:54Z)
• Discovering Minimal Reinforcement Learning Environments [24.6408931194983]
  強化学習(RL)エージェントは、通常、同じ環境で訓練され、評価される。 人間は試験を受ける前に本を勉強するなど、評価される前に専門的な環境で訓練することが多い。
  論文  参考訳（メタデータ） (2024-06-18T13:19:26Z)
• Decoding Neural Activity to Assess Individual Latent State in Ecologically Valid Contexts [1.1059590443280727]
  2つの高度に制御された実験室のパラダイムからのデータを用いて、2つの異なるドメイン一般化モデルを訓練する。 我々は、下層の潜伏状態と関連する神経活動パターンを推定する。
  論文  参考訳（メタデータ） (2023-04-18T15:15:00Z)
• Continual Predictive Learning from Videos [100.27176974654559]
  本稿では,ビデオ予測の文脈において,新たな連続学習問題について検討する。 本稿では,連続予測学習(Continuousal predictive Learning, CPL)アプローチを提案する。 我々はRoboNetとKTHに基づく2つの新しいベンチマークを構築し、異なるタスクが異なる物理ロボット環境や人間の行動に対応するようにした。
  論文  参考訳（メタデータ） (2022-04-12T08:32:26Z)
• Autonomous Reinforcement Learning: Formalism and Benchmarking [106.25788536376007]
  人間や動物が行うような現実世界の具体的学習は、連続的で非エポゾディックな世界にある。 RLの一般的なベンチマークタスクはエピソジックであり、試行錯誤によってエージェントに複数の試行を行う環境がリセットされる。 この相違は、擬似環境向けに開発されたRLアルゴリズムを現実世界のプラットフォーム上で実行しようとする場合、大きな課題となる。
  論文  参考訳（メタデータ） (2021-12-17T16:28:06Z)
• Natural continual learning: success is a journey, not (just) a destination [9.462808515258464]
  自然継続学習(NCL)は、重み付け正規化と射影勾配降下を統一する新しい手法である。 提案手法は,RNNにおける連続学習問題に適用した場合,標準重み付け正規化手法とプロジェクションベースアプローチの両方に優れる。 トレーニングされたネットワークは、生体回路の実験的な発見と同様に、新しいタスクが学習されると強く保存されるタスク固有ダイナミクスを進化させる。
  論文  参考訳（メタデータ） (2021-06-15T12:24:53Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)
• Ecological Reinforcement Learning [76.9893572776141]
  このような条件下での学習を容易にする環境特性について検討する。 環境の特性が強化学習エージェントのパフォーマンスにどのように影響するかを理解することは、学習を魅力的にする方法でタスクを構造化するのに役立ちます。
  論文  参考訳（メタデータ） (2020-06-22T17:55:03Z)
• Deep Reinforcement Learning amidst Lifelong Non-Stationarity [67.24635298387624]
  政治以外のRLアルゴリズムは、寿命の長い非定常性に対処できることを示す。 提案手法は潜在変数モデルを用いて,現在および過去の経験から環境表現を学習する。 また, 生涯の非定常性を示すシミュレーション環境もいくつか導入し, 環境変化を考慮しないアプローチを著しく上回っていることを実証的に確認した。
  論文  参考訳（メタデータ） (2020-06-18T17:34:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。