論文の概要: Automating Continual Learning

• arxiv url: http://arxiv.org/abs/2312.00276v2
• Date: Sat, 30 Mar 2024 03:25:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 14:55:32.060144
• Title: Automating Continual Learning
• Title（参考訳）: 継続的学習の自動化
• Authors: Kazuki Irie, Róbert Csordás, Jürgen Schmidhuber,
• Abstract要約: 汎用学習システムは、常に変化する環境において、オープンエンドで自己改善するべきである。 本稿では,自己参照型ニューラルネットワークのメタ学習のための自動連続学習(ACL)を提案する。
• 参考スコア（独自算出の注目度）: 42.710124929514066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: General-purpose learning systems should improve themselves in open-ended fashion in ever-changing environments. Conventional learning algorithms for neural networks, however, suffer from catastrophic forgetting (CF) -- previously acquired skills are forgotten when a new task is learned. Instead of hand-crafting new algorithms for avoiding CF, we propose Automated Continual Learning (ACL) to train self-referential neural networks to meta-learn their own in-context continual (meta-)learning algorithms. ACL encodes all desiderata -- good performance on both old and new tasks -- into its meta-learning objectives. Our experiments demonstrate that ACL effectively solves "in-context catastrophic forgetting"; our ACL-learned algorithms outperform hand-crafted ones, e.g., on the Split-MNIST benchmark in the replay-free setting, and enables continual learning of diverse tasks consisting of multiple few-shot and standard image classification datasets.
• Abstract（参考訳）: 汎用学習システムは、常に変化する環境において、オープンエンドで自己改善するべきである。 しかし、ニューラルネットワークの従来の学習アルゴリズムは破滅的な忘れ(CF)に悩まされている。 CFを避けるための新しいアルゴリズムを手作りする代わりに,自己参照型ニューラルネットワークをメタラーニングして,コンテキスト内連続(メタ)学習アルゴリズムをメタラーニングする,自動連続学習(ACL)を提案する。 ACLは、すべてのdesiderata -- 古いタスクと新しいタスクの優れたパフォーマンス -- を、メタ学習の目標にエンコードします。 我々のACL学習アルゴリズムは、リプレイフリー環境でのSplit-MNISTベンチマークにおいて、手作りのアルゴリズムよりも優れており、複数ショットおよび標準画像分類データセットからなる多様なタスクの連続的な学習を可能にしている。

関連論文リスト

• Active Learning for Continual Learning: Keeping the Past Alive in the Present [17.693559751968742]
  本稿では,累積情報量に基づくアクティブ連続学習であるAccuACLを提案する。 我々は、AcuACLが様々なCLアルゴリズムでALベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2025-01-24T06:46:58Z)
• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• CLEO: Continual Learning of Evolving Ontologies [12.18795037817058]
  継続的な学習(CL)は、知的システムに人間の生涯学習を浸透させることを目的としている。 一般的な学習プロセスは、学習情報だけでなく、既存の情報の洗練にも限界がある。 CLEOは、時間とともに現実の変化に適応するインテリジェントなシステムの必要性によって動機付けられている。
  論文  参考訳（メタデータ） (2024-07-11T11:32:33Z)
• Forward-Backward Knowledge Distillation for Continual Clustering [14.234785944941672]
  教師なし連続学習(Unsupervised Continual Learning, UCL)は、ニューラルネットワークが明確なラベル情報なしでタスクをシーケンシャルに学習できるようにすることに焦点を当てた、機械学習の急成長分野である。 破滅的フォーッティング(CF)は、特にラベル付きデータの情報がアクセスできないUCLにおいて、継続的な学習において重要な課題となる。 本研究では,Unsupervised Continual Clustering (UCC) の概念を導入し,各種タスクを対象としたクラスタリングにおける性能向上とメモリ効率の向上を図った。
  論文  参考訳（メタデータ） (2024-05-29T16:13:54Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• On the Effectiveness of Equivariant Regularization for Robust Online Continual Learning [17.995662644298974]
  継続的な学習(CL)アプローチは、このギャップを埋めるために、以前のタスクと将来のタスクの両方への知識の伝達を容易にする。 近年の研究では、多種多様な下流タスクをうまく一般化できる多目的モデルを作成することができることが示されている。 等変正則化(CLER)による連続学習を提案する。
  論文  参考訳（メタデータ） (2023-05-05T16:10:31Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Online Continual Learning with Contrastive Vision Transformer [67.72251876181497]
  本稿では,オンラインCLの安定性と塑性のトレードオフを改善するために,CVT(Contrastive Vision Transformer)フレームワークを提案する。 具体的には、従来のタスクに関する情報を暗黙的にキャプチャするオンラインCLのための新しい外部アテンション機構を設計する。 学習可能な焦点に基づいて、新しいクラスと過去のクラスの間でのコントラスト学習を再バランスさせ、事前学習した表現を統合化するための焦点コントラスト損失を設計する。
  論文  参考訳（メタデータ） (2022-07-24T08:51:02Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。