論文の概要: LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models

• arxiv url: http://arxiv.org/abs/2409.19540v1
• Date: Sun, 29 Sep 2024 03:56:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:04:21.370514
• Title: LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models
• Title（参考訳）: LoRKD:医療ファウンデーションモデルのための低レベル知識分割
• Authors: Haolin Li, Yuhang Zhou, Ziheng Zhao, Siyuan Du, Jiangchao Yao, Weidi Xie, Ya Zhang, Yanfeng Wang,
• Abstract要約: 知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。 我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。 LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
• 参考スコア（独自算出の注目度）: 59.961172635689664
• License:
• Abstract: The widespread adoption of large-scale pre-training techniques has significantly advanced the development of medical foundation models, enabling them to serve as versatile tools across a broad range of medical tasks. However, despite their strong generalization capabilities, medical foundation models pre-trained on large-scale datasets tend to suffer from domain gaps between heterogeneous data, leading to suboptimal performance on specific tasks compared to specialist models, as evidenced by previous studies. In this paper, we explore a new perspective called "Knowledge Decomposition" to improve the performance on specific medical tasks, which deconstructs the foundation model into multiple lightweight expert models, each dedicated to a particular anatomical region, with the aim of enhancing specialization and simultaneously reducing resource consumption. To accomplish the above objective, we propose a novel framework named Low-Rank Knowledge Decomposition (LoRKD), which explicitly separates gradients from different tasks by incorporating low-rank expert modules and efficient knowledge separation convolution. The low-rank expert modules resolve gradient conflicts between heterogeneous data from different anatomical regions, providing strong specialization at lower costs. The efficient knowledge separation convolution significantly improves algorithm efficiency by achieving knowledge separation within a single forward propagation. Extensive experimental results on segmentation and classification tasks demonstrate that our decomposed models not only achieve state-of-the-art performance but also exhibit superior transferability on downstream tasks, even surpassing the original foundation models in task-specific evaluations. The code is available at here.
• Abstract（参考訳）: 大規模プレトレーニング技術の普及により、医療基盤モデルの開発が大幅に進展し、幅広い医療タスクにおいて汎用的なツールとして機能することができるようになった。 しかし、その強力な一般化能力にもかかわらず、大規模なデータセットで事前訓練された医療基礎モデルは、異種データ間のドメインギャップに悩まされがちであり、以前の研究で証明されたように、専門的なモデルと比較して特定のタスクに対する準最適性能をもたらす。 本稿では, 特定の医療課題における「知識分解」と呼ばれる新たな視点を探求し, 基礎モデルを複数の軽量専門家モデルに分解し, それぞれが特定の解剖学的領域に特化して, 専門性を高め, 資源消費を同時に低減することを目的としている。 この目的を達成するために,ローランク知識分解(LoRKD)と呼ばれる新しいフレームワークを提案する。 低ランクの専門家モジュールは、異なる解剖学的領域の異種データ間の勾配の衝突を解消し、低コストで強力な特殊化を提供する。 効率的な知識分離畳み込みは、単一の前方伝播における知識分離を達成することにより、アルゴリズム効率を著しく向上させる。 セグメンテーションおよび分類タスクに関する大規模な実験結果から, 分割されたモデルが最先端の性能を達成するだけでなく, 下流タスクに優れた伝達性を示すことが示され, タスク固有の評価において, 元の基礎モデルを上回る結果が得られた。 コードはここにある。

関連論文リスト

• Low-Rank Knowledge Decomposition for Medical Foundation Models [37.52464627899668]
  我々は、特定の医療課題におけるパフォーマンスを改善するために、「知識分解」と呼ばれる新しい視点を開発する。 Low-Rank Knowledge Decomposition (LoRKD)は、低ランクの専門家モジュールと効率的な知識分離畳み込みを取り入れている。 実験により、分解されたモデルは、元の基礎モデルを超え、性能と伝達性の観点からも良好に機能することが示された。
  論文  参考訳（メタデータ） (2024-04-26T06:30:47Z)
• Rethinking Model Prototyping through the MedMNIST+ Dataset Collection [0.11999555634662634]
  本研究は,MedMNIST+データベースに対する評価環境の多様化のためのベンチマークを示す。 我々は、医用画像分類のための共通畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースのアーキテクチャを徹底的に分析する。 この結果から,計算効率のよいトレーニングスキームと最新の基礎モデルは,高額なエンドツーエンドトレーニングとリソース強化アプローチのギャップを埋める上で有望であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-24T10:19:25Z)
• On the Out of Distribution Robustness of Foundation Models in Medical Image Segmentation [47.95611203419802]
  視覚と言語の基礎は、様々な自然画像とテキストデータに基づいて事前訓練されており、有望なアプローチとして現れている。 一般化性能を,同じ分布データセット上で微調整した後,事前学習した各種モデルの未確認領域と比較した。 さらに,凍結モデルに対する新しいベイズ不確実性推定法を開発し,分布外データに基づくモデルの性能評価指標として利用した。
  論文  参考訳（メタデータ） (2023-11-18T14:52:10Z)
• ArSDM: Colonoscopy Images Synthesis with Adaptive Refinement Semantic Diffusion Models [69.9178140563928]
  大腸内視鏡検査は臨床診断や治療に不可欠である。 注釈付きデータの不足は、既存の手法の有効性と一般化を制限する。 本稿では, 下流作業に有用な大腸内視鏡画像を生成するために, 適応Refinement Semantic Diffusion Model (ArSDM)を提案する。
  論文  参考訳（メタデータ） (2023-09-03T07:55:46Z)
• Learning Through Guidance: Knowledge Distillation for Endoscopic Image Classification [40.366659911178964]
  内視鏡は消化管(GI)の根底にある異常を同定する上で重要な役割を担っている。 ディープラーニング、特にCNN(Convolution Neural Networks)は、従来の機能エンジニアリングを使わずに自動機能学習を実行するように設計されている。 KDに基づく3つの学習フレームワーク、応答ベース、特徴ベース、関係ベースメカニズムについて検討し、関係ベース学習を支援するために、新しい多面的注意型特徴融合機構を導入する。
  論文  参考訳（メタデータ） (2023-08-17T02:02:11Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
  我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。 提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。 その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-04-10T17:58:22Z)
• Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
  医療画像分割のための新しい手法を提案する。 深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。 深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
  論文  参考訳（メタデータ） (2020-12-10T04:01:07Z)
• Siloed Federated Learning for Multi-Centric Histopathology Datasets [0.17842332554022694]
  本稿では,医学領域における深層学習アーキテクチャのための新しいフェデレーション学習手法を提案する。 局所統計バッチ正規化(BN)層が導入され、協調的に訓練されるが中心に固有のモデルが作られる。 本研究では,Camelyon16およびCamelyon17データセットから抽出した腫瘍組織像の分類法についてベンチマークを行った。
  論文  参考訳（メタデータ） (2020-08-17T15:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。