論文の概要: Low-Rank Mixture-of-Experts for Continual Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2406.13583v1
• Date: Wed, 19 Jun 2024 14:19:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 19:24:08.031862
• Title: Low-Rank Mixture-of-Experts for Continual Medical Image Segmentation
• Title（参考訳）: 連続的医用画像分割のための低域混合技術
• Authors: Qian Chen, Lei Zhu, Hangzhou He, Xinliang Zhang, Shuang Zeng, Qiushi Ren, Yanye Lu,
• Abstract要約: 破滅的な忘れ」問題は、モデルが新しいカテゴリやタスクに拡張された際に、以前に学習した特徴を忘れたときに発生する。 本稿では,データ固有のMixture of Experts構造を導入して,新しいタスクやカテゴリを扱うネットワークを提案する。 クラスレベルおよびタスクレベルの連続学習課題に対して,本手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 18.984447545932706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The primary goal of continual learning (CL) task in medical image segmentation field is to solve the "catastrophic forgetting" problem, where the model totally forgets previously learned features when it is extended to new categories (class-level) or tasks (task-level). Due to the privacy protection, the historical data labels are inaccessible. Prevalent continual learning methods primarily focus on generating pseudo-labels for old datasets to force the model to memorize the learned features. However, the incorrect pseudo-labels may corrupt the learned feature and lead to a new problem that the better the model is trained on the old task, the poorer the model performs on the new tasks. To avoid this problem, we propose a network by introducing the data-specific Mixture of Experts (MoE) structure to handle the new tasks or categories, ensuring that the network parameters of previous tasks are unaffected or only minimally impacted. To further overcome the tremendous memory costs caused by introducing additional structures, we propose a Low-Rank strategy which significantly reduces memory cost. We validate our method on both class-level and task-level continual learning challenges. Extensive experiments on multiple datasets show our model outperforms all other methods.
• Abstract（参考訳）: 医用画像セグメンテーション分野における継続学習(CL)タスクの第一の目的は、「破滅的な忘れ」問題を解決することであり、モデルは新しいカテゴリ(クラスレベル)やタスク(タスクレベル)に拡張された際に、以前に学習した特徴を完全に忘れることである。 プライバシー保護のため、歴史的なデータラベルはアクセスできない。 一般的な連続学習手法は、学習した特徴を記憶させるためにモデルを強制するために、古いデータセットの擬似ラベルを生成することに重点を置いている。 しかし、誤った擬似ラベルは学習した特徴を損なう可能性があり、モデルが古いタスクで訓練されるほど、モデルは新しいタスクで実行する貧弱になるという新たな問題を引き起こす可能性がある。 この問題を回避するため,新たなタスクやカテゴリを扱うために,データ固有のMixture of Experts(MoE)構造を導入し,従来のタスクのネットワークパラメータが影響を受けないか,最小限の影響しか与えないネットワークを提案する。 追加構造の導入によるメモリコストの増大を克服するため,メモリコストを大幅に削減する低ランク戦略を提案する。 クラスレベルおよびタスクレベルの連続学習課題に対して,本手法の有効性を検証した。 複数のデータセットに対する大規模な実験は、我々のモデルが他のすべての方法より優れていることを示している。

関連論文リスト

• MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning for Multimodal Video Captioning [10.95493493610559]
  マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの軽減手法を提案する。 特徴レベルでの旧タスクと新タスクの知識特性をよりよく制約するために,2段階知識蒸留(TsKD)を作成した。 公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
  論文  参考訳（メタデータ） (2024-02-27T16:54:08Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
  本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。 PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。 実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
  論文  参考訳（メタデータ） (2023-10-16T13:59:56Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
  モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。 古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。 我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-03-31T13:46:41Z)
• Continual Learning via Bit-Level Information Preserving [88.32450740325005]
  我々は情報理論のレンズを通して連続学習過程を研究する。 モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。 BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
  論文  参考訳（メタデータ） (2021-05-10T15:09:01Z)
• Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
  クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。 クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。 本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-06-10T15:15:27Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。