論文の概要: A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning

• arxiv url: http://arxiv.org/abs/2307.09218v3
• Date: Mon, 18 Nov 2024 13:26:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:31:21.831089
• Title: A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning
• Title（参考訳）: 継続的学習を超えた深層学習の予測に関する包括的調査
• Authors: Zhenyi Wang, Enneng Yang, Li Shen, Heng Huang,
• Abstract要約: 蓄積とは、以前に獲得した知識の喪失または劣化を指す。 フォッテッティングは、深層学習における様々な研究領域でよく見られる現象である。
• 参考スコア（独自算出の注目度）: 58.107474025048866
• License:
• Abstract: Forgetting refers to the loss or deterioration of previously acquired knowledge. While existing surveys on forgetting have primarily focused on continual learning, forgetting is a prevalent phenomenon observed in various other research domains within deep learning. Forgetting manifests in research fields such as generative models due to generator shifts, and federated learning due to heterogeneous data distributions across clients. Addressing forgetting encompasses several challenges, including balancing the retention of old task knowledge with fast learning of new task, managing task interference with conflicting goals, and preventing privacy leakage, etc. Moreover, most existing surveys on continual learning implicitly assume that forgetting is always harmful. In contrast, our survey argues that forgetting is a double-edged sword and can be beneficial and desirable in certain cases, such as privacy-preserving scenarios. By exploring forgetting in a broader context, we present a more nuanced understanding of this phenomenon and highlight its potential advantages. Through this comprehensive survey, we aspire to uncover potential solutions by drawing upon ideas and approaches from various fields that have dealt with forgetting. By examining forgetting beyond its conventional boundaries, we hope to encourage the development of novel strategies for mitigating, harnessing, or even embracing forgetting in real applications. A comprehensive list of papers about forgetting in various research fields is available at \url{https://github.com/EnnengYang/Awesome-Forgetting-in-Deep-Learning}.
• Abstract（参考訳）: 蓄積とは、以前に獲得した知識の喪失または劣化を指す。 忘れることに関する既存の調査は、主に継続的学習に焦点を当てているが、深層学習における他の様々な研究領域でよく見られる現象である。 ジェネレータシフトによる生成モデルや、クライアント間での不均一なデータ分布によるフェデレーション学習などの研究分野におけるフォーミングの現れ。 忘れることへの対処には、古いタスク知識の保持と新しいタスクの高速学習のバランス、競合する目標とのタスク干渉の管理、プライバシー漏洩の防止など、いくつかの課題が含まれている。 さらに、継続学習に関する既存の調査の多くは、忘れることは常に有害であると暗黙的に仮定している。 対照的に、私たちの調査では、忘れることは二重刃の剣であり、プライバシー保護のシナリオなど一部のケースでは有益で望ましいものだと論じています。 より広い文脈で忘れることを探ることで、我々はこの現象のより微妙な理解を示し、その潜在的な利点を浮き彫りにする。 この包括的調査を通じて、私たちは、忘れることに対処した様々な分野のアイデアやアプローチを描き出すことによって、潜在的な解決策を明らかにすることを目指しています。 従来の境界を越えて忘れることを調べることで、私たちは、実際のアプリケーションにおける忘れを緩和、活用、あるいは受け入れるための新しい戦略の開発を奨励したいと考えています。 様々な研究分野における忘れに関する包括的な論文の一覧は、 \url{https://github.com/EnnengYang/Awesome-Forgetting-in-Deep-Learning} にある。

関連論文リスト

• Continual Learning in Medical Imaging: A Survey and Practical Analysis [0.7794090852114541]
  連続学習は、ニューラルネットワークにおける過去の学習を忘れずに、新しい知識のシーケンシャルな獲得を可能にするという約束を提供する。 医学領域における継続的な学習に関する最近の文献を概観し、最近の傾向を概説し、実際的な問題点を指摘する。 医療画像における継続的な学習の現状を批判的に論じる。
  論文  参考訳（メタデータ） (2024-05-22T09:48:04Z)
• A Survey of Neural Code Intelligence: Paradigms, Advances and Beyond [84.95530356322621]
  この調査は、コードインテリジェンスの発展に関する体系的なレビューを示す。 50以上の代表モデルとその変種、20以上のタスクのカテゴリ、および680以上の関連する広範な研究をカバーしている。 発達軌道の考察に基づいて、コードインテリジェンスとより広範なマシンインテリジェンスとの間の新たな相乗効果について検討する。
  論文  参考訳（メタデータ） (2024-03-21T08:54:56Z)
• Machine Unlearning: A Survey [56.79152190680552]
  プライバシ、ユーザビリティ、および/または忘れられる権利のために、特定のサンプルに関する情報をマシンアンラーニングと呼ばれるモデルから削除する必要がある特別なニーズが生まれている。 この新興技術は、その革新と実用性により、学者と産業の両方から大きな関心を集めている。 この複雑なトピックを分析したり、さまざまなシナリオで既存の未学習ソリューションの実現可能性を比較したりした研究はない。 この調査は、未学習のテクニックに関する卓越した問題と、新しい研究機会のための実現可能な方向性を強調して締めくくった。
  論文  参考訳（メタデータ） (2023-06-06T10:18:36Z)
• On Knowledge Editing in Federated Learning: Perspectives, Challenges, and Future Directions [36.733628606028184]
  本稿では,フェデレートラーニングにおける知識編集(強化/削除)の話題について広範な調査を行う。 FLのライフサイクル全体を再評価することにより、FEL(Federated Editable Learning)と呼ばれる統合パラダイムを導入する。
  論文  参考訳（メタデータ） (2023-06-02T10:42:47Z)
• Knowledge-augmented Deep Learning and Its Applications: A Survey [60.221292040710885]
  知識強化ディープラーニング(KADL)は、ドメイン知識を特定し、それをデータ効率、一般化可能、解釈可能なディープラーニングのためのディープモデルに統合することを目的としている。 本調査は,既存の研究成果を補足し,知識強化深層学習の一般分野における鳥眼研究の展望を提供する。
  論文  参考訳（メタデータ） (2022-11-30T03:44:15Z)
• An information-theoretic perspective on intrinsic motivation in reinforcement learning: a survey [0.0]
  本稿では,これらの研究成果を情報理論に基づく新たな分類法を用いて調査することを提案する。 我々は、サプライズ、ノベルティ、スキル学習の概念を計算的に再考する。 我々の分析は、新規性とサプライズがトランスファー可能なスキルの階層を構築するのに役立つことを示唆している。
  論文  参考訳（メタデータ） (2022-09-19T09:47:43Z)
• Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey [53.73359052511171]
  強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。 本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
  論文  参考訳（メタデータ） (2020-03-10T20:41:24Z)
• Explore, Discover and Learn: Unsupervised Discovery of State-Covering Skills [155.11646755470582]
  情報理論的スキル発見の代替手法として,'Explore, Discover and Learn'(EDL)がある。 本稿では,EDLがカバレッジ問題を克服し,学習スキルの初期状態への依存を減らし,ユーザが学習すべき行動について事前定義できるようにするなど,大きなメリットがあることを示す。
  論文  参考訳（メタデータ） (2020-02-10T10:49:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。