論文の概要: Local vs Global continual learning

• arxiv url: http://arxiv.org/abs/2407.16611v1
• Date: Tue, 23 Jul 2024 16:18:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 16:36:00.396727
• Title: Local vs Global continual learning
• Title（参考訳）: 地域対グローバル継続学習
• Authors: Giulia Lanzillotta, Sidak Pal Singh, Benjamin F. Grewe, Thomas Hofmann,
• Abstract要約: 既存の継続的学習アルゴリズムの成功と失敗の背後にあるメカニズムをより深く理解することで、新たな成功戦略の開発を解き放つことができる。 提案手法は,使用した近似に基づいて既存の連続学習アルゴリズムを分類し,この区別の実践的効果を共通の連続学習環境において評価する。
• 参考スコア（独自算出の注目度）: 29.096362985027667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning is the problem of integrating new information in a model while retaining the knowledge acquired in the past. Despite the tangible improvements achieved in recent years, the problem of continual learning is still an open one. A better understanding of the mechanisms behind the successes and failures of existing continual learning algorithms can unlock the development of new successful strategies. In this work, we view continual learning from the perspective of the multi-task loss approximation, and we compare two alternative strategies, namely local and global approximations. We classify existing continual learning algorithms based on the approximation used, and we assess the practical effects of this distinction in common continual learning settings.Additionally, we study optimal continual learning objectives in the case of local polynomial approximations and we provide examples of existing algorithms implementing the optimal objectives
• Abstract（参考訳）: 連続学習は、過去に獲得した知識を維持しながら、モデルに新しい情報を統合する問題である。 近年の具体的な改善にもかかわらず、継続的学習の問題はまだ未解決である。 既存の継続的学習アルゴリズムの成功と失敗の背後にあるメカニズムをより深く理解することで、新たな成功戦略の開発を解き放つことができる。 本研究では,マルチタスク損失近似の観点から連続学習を考察し,局所的およびグローバル的近似という2つの代替戦略を比較した。 我々は、使用した近似に基づいて既存の連続学習アルゴリズムを分類し、この区別の実践的効果を共通の連続学習環境で評価し、さらに、局所多項式近似の場合の最適連続学習目標について検討し、最適目的を実装する既存アルゴリズムの例を示す。

関連論文リスト

• Continual Learning of Numerous Tasks from Long-tail Distributions [17.706669222987273]
  継続的な学習は、以前獲得した知識を維持しながら、新しいタスクを学習し、適応するモデルの開発に焦点を当てる。 既存の連続学習アルゴリズムは、通常、一定の大きさの少数のタスクを伴い、現実世界の学習シナリオを正確に表現しないことがある。 本稿では,従来のタスクから第2モーメントの重み付け平均を維持することで,アダムの状態を再利用する手法を提案する。 提案手法は,既存のほとんどの連続学習アルゴリズムと互換性があり,少ない計算量やメモリコストで忘れを効果的に削減できることを実証する。
  論文  参考訳（メタデータ） (2024-04-03T13:56:33Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Discovering Temporally-Aware Reinforcement Learning Algorithms [42.016150906831776]
  既存の2つの目的発見アプローチに簡単な拡張を提案する。 一般的に使用されるメタ段階的アプローチは適応的目的関数の発見に失敗する。
  論文  参考訳（メタデータ） (2024-02-08T17:07:42Z)
• When Meta-Learning Meets Online and Continual Learning: A Survey [39.53836535326121]
  メタ学習は学習アルゴリズムを最適化するためのデータ駆動型アプローチである。 継続的な学習とオンライン学習はどちらも、ストリーミングデータでモデルを漸進的に更新する。 本稿では,一貫した用語と形式記述を用いて,様々な問題設定を整理する。
  論文  参考訳（メタデータ） (2023-11-09T09:49:50Z)
• Continual Learning with Deep Streaming Regularized Discriminant Analysis [0.0]
  本稿では,この課題に対する解決法として,正規化判別分析のストリーミング版を提案する。 アルゴリズムを畳み込みニューラルネットワークと組み合わせて、バッチ学習と既存のストリーミング学習アルゴリズムよりも優れていることを実証します。
  論文  参考訳（メタデータ） (2023-09-15T12:25:42Z)
• A Comprehensive Survey of Continual Learning: Theory, Method and Application [64.23253420555989]
  本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。 連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
  論文  参考訳（メタデータ） (2023-01-31T11:34:56Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Emerging Trends in Federated Learning: From Model Fusion to Federated X Learning [65.06445195580622]
  フェデレートラーニング(Federated Learning)は、データ収集とモデルトレーニングを、マルチパーティの計算とモデルアグリゲーションを通じて分離する新しいパラダイムである。 我々は、他の学習アルゴリズムとともに、フェデレーション学習の焦点を絞った調査を行う。
  論文  参考訳（メタデータ） (2021-02-25T15:18:13Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。