論文の概要: Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor

• arxiv url: http://arxiv.org/abs/2204.13349v1
• Date: Thu, 28 Apr 2022 08:41:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 23:35:22.440533
• Title: Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor
• Title（参考訳）: 固定事前学習特徴抽出器を用いたベイズモデルによる連続学習
• Authors: Yang Yang, Zhiying Cui, Junjie Xu, Changhong Zhong, Wei-Shi Zheng, Ruixuan Wang
• Abstract要約: 現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
• 参考スコア（独自算出の注目度）: 55.9023096444383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has shown its human-level performance in various applications. However, current deep learning models are characterised by catastrophic forgetting of old knowledge when learning new classes. This poses a challenge particularly in intelligent diagnosis systems where initially only training data of a limited number of diseases are available. In this case, updating the intelligent system with data of new diseases would inevitably downgrade its performance on previously learned diseases. Inspired by the process of learning new knowledge in human brains, we propose a Bayesian generative model for continual learning built on a fixed pre-trained feature extractor. In this model, knowledge of each old class can be compactly represented by a collection of statistical distributions, e.g. with Gaussian mixture models, and naturally kept from forgetting in continual learning over time. Unlike existing class-incremental learning methods, the proposed approach is not sensitive to the continual learning process and can be additionally well applied to the data-incremental learning scenario. Experiments on multiple medical and natural image classification tasks showed that the proposed approach outperforms state-of-the-art approaches which even keep some images of old classes during continual learning of new classes.
• Abstract（参考訳）: ディープラーニングは、さまざまなアプリケーションで人間レベルのパフォーマンスを示している。 しかし、現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を忘れることによって特徴付けられる。 これは、当初は限られた病気のトレーニングデータしか利用できない知的診断システムにおいて、特に課題となる。 この場合、新しい疾患のデータでインテリジェントなシステムを更新することは、学習済みの疾患のパフォーマンスを必然的に低下させる。 人間の脳における新しい知識の学習プロセスに触発されて,固定された訓練済み特徴抽出器上に構築された連続学習のためのベイズ生成モデルを提案する。 このモデルでは、各古いクラスの知識は、例えばガウス混合モデルのような統計分布の集合でコンパクトに表現することができ、時間とともに連続的な学習を忘れないように自然に保たれる。 既存のクラス増分学習法とは異なり,提案手法は継続学習プロセスに敏感ではなく,データ増分学習シナリオにも適用可能である。 複数の医学的・自然的な画像分類タスクにおける実験により,提案手法は,新しい授業の連続学習中に古いクラスのイメージを保ち続けるような最先端のアプローチよりも優れていることが示された。

関連論文リスト

• From Uncertainty to Clarity: Uncertainty-Guided Class-Incremental Learning for Limited Biomedical Samples via Semantic Expansion [0.0]
  バイオメディカル分野における限られたサンプルの下でのクラスインクリメンタル学習手法を提案する。 提案手法は,最先端の手法を最大53.54%の精度で上回り,最適性能を実現する。
  論文  参考訳（メタデータ） (2024-09-12T05:22:45Z)
• Continual Learning in Medical Image Analysis: A Comprehensive Review of Recent Advancements and Future Prospects [5.417947115749931]
  継続的学習は、統一的で持続可能な深層モデルを開発するための重要なアプローチとして現れてきた。 本稿では,医用画像解析に応用した継続的学習技術の現状を概観する。
  論文  参考訳（メタデータ） (2023-12-28T13:16:03Z)
• Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
  ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。 ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
  論文  参考訳（メタデータ） (2023-05-28T05:38:28Z)
• SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
  クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。 本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。 CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2023-05-09T05:04:35Z)
• Adapter Learning in Pretrained Feature Extractor for Continual Learning of Diseases [66.27889778566734]
  現在、インテリジェント診断システムには、デプロイされたばかりの新しい病気を継続的に診断する能力がない。 特に、新しい疾患のトレーニングデータを用いたインテリジェント診断システムの更新は、古い疾患の知識を壊滅的に忘れてしまう可能性がある。 ACLと呼ばれるアダプタベースの連続学習フレームワークは、新しい病気の集合を効果的に学習するために提案されている。
  論文  参考訳（メタデータ） (2023-04-18T15:01:45Z)
• LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
  MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。 タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。 クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
  論文  参考訳（メタデータ） (2022-04-12T12:25:05Z)
• Relational Subsets Knowledge Distillation for Long-tailed Retinal Diseases Recognition [65.77962788209103]
  本研究では,長尾データを知識に基づいて複数のクラスサブセットに分割し,クラスサブセット学習を提案する。 モデルがサブセット固有の知識の学習に集中するように強制する。 提案手法は長期網膜疾患認識タスクに有効であることが判明した。
  論文  参考訳（メタデータ） (2021-04-22T13:39:33Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
  クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。 クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。 本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-06-10T15:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。