Fugu-MT 論文翻訳(概要): DynaMMo: Dynamic Model Merging for Efficient Class Incremental Learning for Medical Images

論文の概要: DynaMMo: Dynamic Model Merging for Efficient Class Incremental Learning for Medical Images

arxiv url: http://arxiv.org/abs/2404.14099v1
Date: Mon, 22 Apr 2024 11:37:35 GMT
ステータス: 処理完了
システム内更新日: 2024-04-23 14:06:38.306490
Title: DynaMMo: Dynamic Model Merging for Efficient Class Incremental Learning for Medical Images
Title（参考訳）: DynaMMo: 医用画像のための効率的な授業増分学習のための動的モデルマージ
Authors: Mohammad Areeb Qazi, Ibrahim Almakky, Anees Ur Rehman Hashmi, Santosh Sanjeev, Mohammad Yaqub,
Abstract要約: 継続学習は、学習した情報を保持しながら新しいデータから知識を得る能力であり、機械学習における根本的な課題である。本研究では,モデル学習の異なる段階で複数のネットワークをマージし,より優れた計算効率を実現するDynaMMOを提案する。我々はDynaMMoを3つの公開データセット上で評価し、既存のアプローチと比較してその効果を実証した。
参考スコア（独自算出の注目度）: 0.8213829427624407
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Continual learning, the ability to acquire knowledge from new data while retaining previously learned information, is a fundamental challenge in machine learning. Various approaches, including memory replay, knowledge distillation, model regularization, and dynamic network expansion, have been proposed to address this issue. Thus far, dynamic network expansion methods have achieved state-of-the-art performance at the cost of incurring significant computational overhead. This is due to the need for additional model buffers, which makes it less feasible in resource-constrained settings, particularly in the medical domain. To overcome this challenge, we propose Dynamic Model Merging, DynaMMo, a method that merges multiple networks at different stages of model training to achieve better computational efficiency. Specifically, we employ lightweight learnable modules for each task and combine them into a unified model to minimize computational overhead. DynaMMo achieves this without compromising performance, offering a cost-effective solution for continual learning in medical applications. We evaluate DynaMMo on three publicly available datasets, demonstrating its effectiveness compared to existing approaches. DynaMMo offers around 10-fold reduction in GFLOPS with a small drop of 2.76 in average accuracy when compared to state-of-the-art dynamic-based approaches. The code implementation of this work will be available upon the acceptance of this work at https://github.com/BioMedIA-MBZUAI/DynaMMo.
Abstract（参考訳）: 継続学習は、学習した情報を保持しながら新しいデータから知識を得る能力であり、機械学習における根本的な課題である。メモリリプレイ、知識蒸留、モデル正規化、動的ネットワーク拡張など、様々な手法が提案されている。これまでのところ、動的ネットワーク拡張法は、計算オーバーヘッドを著しく増大させるコストで最先端の性能を実現している。これは、追加のモデルバッファが必要であるためであり、特に医療領域において、リソース制約のある設定では実現不可能である。この課題を克服するために、モデルトレーニングの異なる段階で複数のネットワークをマージし、より優れた計算効率を実現する方法であるDynamic Model Merging, DynaMMoを提案する。具体的には、各タスクに軽量な学習可能なモジュールを使用し、計算オーバーヘッドを最小限に抑えるためにそれらを統一モデルに組み合わせる。 DynaMMoはパフォーマンスを損なうことなくこれを実現し、医療応用における継続的な学習のためのコスト効率の高いソリューションを提供する。我々はDynaMMoを3つの公開データセット上で評価し、既存のアプローチと比較してその効果を実証した。 DynaMMoは、最先端の動的アプローチと比較して、GFLOPSを約10倍削減し、平均精度は2.76滴である。この作業のコード実装は、https://github.com/BioMedIA-MBZUAI/DynaMMo.comでこの作業が受け入れられる。

関連論文リスト

Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
論文参考訳（メタデータ） (2024-05-31T08:19:44Z)
DIMAT: Decentralized Iterative Merging-And-Training for Deep Learning Models [21.85879890198875]
Decentralized Iterative Merging-And-Training (DIMAT) は、新しい分散深層学習アルゴリズムである。 DIMATは, 独立・同一分散(IID)および非IIDデータを用いて, 通信オーバヘッドの低減を図ることにより, より高速かつ高い初期ゲインが得られることを示す。このDIMATパラダイムは未来の分散学習に新たな機会を与え、疎結合な通信計算で現実世界への適応性を高める。
論文参考訳（メタデータ） (2024-04-11T18:34:29Z)
Adaptive Affinity-Based Generalization For MRI Imaging Segmentation Across Resource-Limited Settings [1.5703963908242198]
本稿では,適応親和性に基づく蒸留とカーネルベースの蒸留をシームレスに組み合わせた,新しい関係に基づく知識フレームワークを提案する。革新的アプローチを検証するために,我々は公開されている複数ソースのMRIデータについて実験を行った。
論文参考訳（メタデータ） (2024-04-03T13:35:51Z)
Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
論文参考訳（メタデータ） (2024-03-18T08:00:23Z)
Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
論文参考訳（メタデータ） (2023-10-08T15:01:54Z)
AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文参考訳（メタデータ） (2023-10-04T04:26:33Z)
Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
論文参考訳（メタデータ） (2023-06-06T02:24:41Z)
An Empirical Study of Multimodal Model Merging [148.48412442848795]
モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
論文参考訳（メタデータ） (2023-04-28T15:43:21Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
Multi-Domain Learning by Meta-Learning: Taking Optimal Steps in Multi-Domain Loss Landscapes by Inner-Loop Learning [5.490618192331097]
マルチモーダルアプリケーションのためのマルチドメイン学習問題に対するモデル非依存の解法を考える。我々の手法はモデルに依存しないため、追加のモデルパラメータやネットワークアーキテクチャの変更は不要である。特に、ホワイトマター高輝度の自動セグメンテーションにおける医療画像のフィッティング問題に対するソリューションを実証します。
論文参考訳（メタデータ） (2021-02-25T19:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。