論文の概要: MedMerge: Merging Models for Effective Transfer Learning to Medical Imaging Tasks

• arxiv url: http://arxiv.org/abs/2403.11646v1
• Date: Mon, 18 Mar 2024 10:42:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 15:47:44.277890
• Title: MedMerge: Merging Models for Effective Transfer Learning to Medical Imaging Tasks
• Title（参考訳）: MedMerge: 医用画像タスクへの効果的な移行学習のためのマージモデル
• Authors: Ibrahim Almakky, Santosh Sanjeev, Anees Ur Rehman Hashmi, Mohammad Areeb Qazi, Mohammad Yaqub,
• Abstract要約: 医用画像解析領域では、異なる初期化から始まるモデルを統合する機会がある。 異なるモデルの重みをマージする手法であるMedMergeを提案する。 統合モデルではF1スコアが最大3%向上し,大幅な性能向上が達成できることを示す。
• 参考スコア（独自算出の注目度）: 0.8213829427624407
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Transfer learning has become a powerful tool to initialize deep learning models to achieve faster convergence and higher performance. This is especially useful in the medical imaging analysis domain, where data scarcity limits possible performance gains for deep learning models. Some advancements have been made in boosting the transfer learning performance gain by merging models starting from the same initialization. However, in the medical imaging analysis domain, there is an opportunity in merging models starting from different initialisations, thus combining the features learnt from different tasks. In this work, we propose MedMerge, a method whereby the weights of different models can be merged, and their features can be effectively utilized to boost performance on a new task. With MedMerge, we learn kernel-level weights that can later be used to merge the models into a single model, even when starting from different initializations. Testing on various medical imaging analysis tasks, we show that our merged model can achieve significant performance gains, with up to 3% improvement on the F1 score. The code implementation of this work will be available at www.github.com/BioMedIA-MBZUAI/MedMerge.
• Abstract（参考訳）: トランスファーラーニングは、より高速な収束とより高いパフォーマンスを達成するために、ディープラーニングモデルを初期化する強力なツールとなっている。 これは、データ不足がディープラーニングモデルの性能向上を制限している医療画像分析領域で特に有用である。 同じ初期化から始まるモデルをマージすることで、転送学習性能の向上が達成されている。 しかし、医用画像解析領域では、異なる初期化から始まるモデルを統合する機会があり、異なるタスクから学習した特徴を組み合わせることができる。 本稿では,異なるモデルの重みをマージする手法であるMedMergeを提案する。 MedMergeでは、異なる初期化から始める場合でも、後にモデルを単一のモデルにマージするために使用できるカーネルレベルの重みを学習します。 各種医用画像解析タスクを用いて,F1スコアが最大3%向上し,統合モデルにより大幅な性能向上が期待できることを示す。 この作業のコード実装はwww.github.com/BioMedIA-MBzuAI/MedMergeで利用可能である。

関連論文リスト

• MedVisionLlama: Leveraging Pre-Trained Large Language Model Layers to Enhance Medical Image Segmentation [0.8437187555622164]
  本研究では、予め訓練されたLCMトランスブロックを統合することで、医用画像セグメンテーションのためのビジョントランス(ViT)の強化について検討する。 凍結LDM変換器ブロックをViTモデルエンコーダに組み込んだ手法により,セグメント化性能が大幅に向上した。 改良されたモデルでは、平均Diceスコアが0.74から0.79に向上し、精度、精度、ジャカード指数が向上した。
  論文  参考訳（メタデータ） (2024-10-03T14:50:33Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• DynaMMo: Dynamic Model Merging for Efficient Class Incremental Learning for Medical Images [0.8213829427624407]
  継続学習は、学習した情報を保持しながら新しいデータから知識を得る能力であり、機械学習における根本的な課題である。 本研究では,モデル学習の異なる段階で複数のネットワークをマージし,より優れた計算効率を実現するDynaMMOを提案する。 我々はDynaMMoを3つの公開データセット上で評価し、既存のアプローチと比較してその効果を実証した。
  論文  参考訳（メタデータ） (2024-04-22T11:37:35Z)
• How to build the best medical image segmentation algorithm using foundation models: a comprehensive empirical study with Segment Anything Model [12.051904886550956]
  この研究は、様々なバックボーンアーキテクチャ、モデルコンポーネント、および18の組み合わせにわたる微調整アルゴリズムによる既存の微調整戦略をまとめたものである。 一般的な放射線学のモダリティを網羅した17のデータセットで評価した。 コードとMRI特有の微調整ウェイトをリリースし、元のSAMよりも一貫して優れた性能を得た。
  論文  参考訳（メタデータ） (2024-04-15T17:31:32Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• MedSegDiff-V2: Diffusion based Medical Image Segmentation with Transformer [53.575573940055335]
  我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。 画像の異なる20種類の画像分割作業において,その有効性を検証する。
  論文  参考訳（メタデータ） (2023-01-19T03:42:36Z)
• Understanding the Tricks of Deep Learning in Medical Image Segmentation: Challenges and Future Directions [66.40971096248946]
  本稿では,モデル実装の異なるフェーズに対して,MedISegの一連のトリックを収集する。 本稿では,これらの手法の有効性を一貫したベースライン上で実験的に検討する。 私たちはまた、それぞれのコンポーネントがプラグインとプレイの利点を持つ強力なMedISegリポジトリをオープンソースにしました。
  論文  参考訳（メタデータ） (2022-09-21T12:30:05Z)
• Predicting Scores of Medical Imaging Segmentation Methods with Meta-Learning [0.30458514384586394]
  異なる臓器とモダリティの10つのデータセットにまたがるセグメンテーションのメタラーニングについて検討した。 我々は,メタ機能と先行モデルの性能の関係を学習するために,ベクトル回帰とディープニューラルネットワークをサポートする。 これらの結果は,医療画像におけるメタラーニングの可能性を示している。
  論文  参考訳（メタデータ） (2020-05-08T07:47:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。