論文の概要: Adapter Learning in Pretrained Feature Extractor for Continual Learning of Diseases

• arxiv url: http://arxiv.org/abs/2304.09042v2
• Date: Sun, 6 Aug 2023 12:53:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 23:09:25.753099
• Title: Adapter Learning in Pretrained Feature Extractor for Continual Learning of Diseases
• Title（参考訳）: 疾患の連続学習のための事前学習特徴抽出器におけるアダプタ学習
• Authors: Wentao Zhang, Yujun Huang, Tong Zhang, Qingsong Zou, Wei-Shi Zheng, Ruixuan Wang
• Abstract要約: 現在、インテリジェント診断システムには、デプロイされたばかりの新しい病気を継続的に診断する能力がない。 特に、新しい疾患のトレーニングデータを用いたインテリジェント診断システムの更新は、古い疾患の知識を壊滅的に忘れてしまう可能性がある。 ACLと呼ばれるアダプタベースの連続学習フレームワークは、新しい病気の集合を効果的に学習するために提案されている。
• 参考スコア（独自算出の注目度）: 66.27889778566734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Currently intelligent diagnosis systems lack the ability of continually learning to diagnose new diseases once deployed, under the condition of preserving old disease knowledge. In particular, updating an intelligent diagnosis system with training data of new diseases would cause catastrophic forgetting of old disease knowledge. To address the catastrophic forgetting issue, an Adapter-based Continual Learning framework called ACL is proposed to help effectively learn a set of new diseases at each round (or task) of continual learning, without changing the shared feature extractor. The learnable lightweight task-specific adapter(s) can be flexibly designed (e.g., two convolutional layers) and then added to the pretrained and fixed feature extractor. Together with a specially designed task-specific head which absorbs all previously learned old diseases as a single "out-of-distribution" category, task-specific adapter(s) can help the pretrained feature extractor more effectively extract discriminative features between diseases. In addition, a simple yet effective fine-tuning is applied to collaboratively fine-tune multiple task-specific heads such that outputs from different heads are comparable and consequently the appropriate classifier head can be more accurately selected during model inference. Extensive empirical evaluations on three image datasets demonstrate the superior performance of ACL in continual learning of new diseases. The source code is available at https://github.com/GiantJun/CL_Pytorch.
• Abstract（参考訳）: 現在、インテリジェントな診断システムは、古い疾患の知識を保存する条件下で、デプロイされた新しい疾患の診断を継続的に学習する能力が欠けている。 特に、新しい疾患の訓練データでインテリジェントな診断システムを更新すると、古い病気の知識を壊滅的に忘れてしまう。 ACLと呼ばれるアダプタベースの連続学習フレームワークが提案され、共有特徴抽出器を変更することなく、連続学習の各ラウンド(またはタスク)において、新しい病気の集合を効果的に学習する。 学習可能な軽量なタスク固有アダプタを柔軟に設計し(例えば2つの畳み込み層)、事前訓練された固定された特徴抽出器に追加することができる。 以前に学習したすべての古い病気を単一の「アウト・オブ・ディストリビューション」カテゴリとして吸収する特別に設計されたタスク特異的ヘッドとともに、タスク特異的アダプタは、予め訓練された特徴抽出器が疾患間の識別的特徴をより効果的に抽出するのに役立つ。 さらに、複数のタスク固有のヘッドを協調的に微調整し、異なるヘッドからの出力を同等にすることで、モデル推論時に適切な分類器ヘッドをより正確に選択することができる。 3つの画像データセットの広範な経験的評価は、新しい疾患の継続的な学習においてaclの優れた性能を示している。 ソースコードはhttps://github.com/giantjun/cl_pytorchで入手できる。

関連論文リスト

• Deep Reinforcement Learning Framework for Thoracic Diseases Classification via Prior Knowledge Guidance [49.87607548975686]
  関連疾患に対するラベル付きデータの不足は、正確な診断にとって大きな課題となる。 本稿では,診断エージェントの学習を指導するための事前知識を導入する,新しい深層強化学習フレームワークを提案する。 提案手法の性能はNIHX-ray 14とCheXpertデータセットを用いて実証した。
  論文  参考訳（メタデータ） (2023-06-02T01:46:31Z)
• Leveraging Old Knowledge to Continually Learn New Classes in Medical Images [16.730335437094592]
  我々は、破滅的なことを忘れずに新しいクラスを学ぶために、いかに古い知識を活用できるかに焦点を当てる。 我々のソリューションは、最先端のベースラインよりも、クラスの正確さと忘れやすさにおいて優れたパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2023-03-24T02:10:53Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
  MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。 タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。 クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
  論文  参考訳（メタデータ） (2022-04-12T12:25:05Z)
• A Novel TSK Fuzzy System Incorporating Multi-view Collaborative Transfer Learning for Personalized Epileptic EEG Detection [20.11589208667256]
  マルチビュー協調移動学習を統合したTSKファジィシステムに基づくてんかん検出アルゴリズムを提案する。 提案手法はてんかん性脳波を効果的に検出する能力を有する。
  論文  参考訳（メタデータ） (2021-11-11T12:15:55Z)
• Lifelong Learning based Disease Diagnosis on Clinical Notes [24.146567779632107]
  本稿では,医学的実体と文脈の融合,エピソディクス記憶の埋め込み,知識の保持に注意を払うことを提案する。 各種病院から収集した臨床記録を含む新しいベンチマークjarvis-40を樹立した。 提案手法は,提案するベンチマークで最先端の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-02-27T09:23:57Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。