論文の概要: MedDiff-FM: A Diffusion-based Foundation Model for Versatile Medical Image Applications
- arxiv url: http://arxiv.org/abs/2410.15432v1
- Date: Sun, 20 Oct 2024 16:03:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:18:40.552207
- Title: MedDiff-FM: A Diffusion-based Foundation Model for Versatile Medical Image Applications
- Title(参考訳): MedDiff-FM:Versatile Medical Imageアプリケーションのための拡散ベース基礎モデル
- Authors: Yongrui Yu, Yannian Gu, Shaoting Zhang, Xiaofan Zhang,
- Abstract要約: 本稿では,MedDiff-FMという,様々な医療画像課題に対処するための拡散基盤モデルを提案する。
MedDiff-FMは、頭から腹部まで解剖学的領域をカバーする複数の公開データセットから3D CT画像を活用し、拡散基盤モデルを事前訓練する。
MedDiff-FMが下流の様々な医療画像タスクに有効であることを示す実験結果が得られた。
- 参考スコア(独自算出の注目度): 10.321593505248341
- License:
- Abstract: Diffusion models have achieved significant success in both the natural image and medical image domains, encompassing a wide range of applications. Previous investigations in medical images have often been constrained to specific anatomical regions, particular applications, and limited datasets, resulting in isolated diffusion models. This paper introduces a diffusion-based foundation model to address a diverse range of medical image tasks, namely MedDiff-FM. MedDiff-FM leverages 3D CT images from multiple publicly available datasets, covering anatomical regions from head to abdomen, to pre-train a diffusion foundation model, and explores the capabilities of the diffusion foundation model across a variety of application scenarios. The diffusion foundation model handles multi-level image processing both at the image-level and patch-level, and utilizes position embedding to establish multi-level spatial relationships as well as anatomical structures and region classes to control certain anatomical regions. MedDiff-FM manages several downstream tasks seamlessly, including image denoising, anomaly detection, and image synthesis. MedDiff-FM is also capable of performing lesion generation and lesion inpainting by rapidly fine-tuning the diffusion foundation model using ControlNet with task-specific conditions. Experimental results demonstrate the effectiveness of MedDiff-FM in addressing diverse downstream medical image tasks.
- Abstract(参考訳): 拡散モデルは自然画像領域と医用画像領域の両方で大きな成功を収めており、幅広い応用がある。
医学画像の以前の調査は、しばしば特定の解剖学的領域、特定の応用、限られたデータセットに制約され、孤立した拡散モデルをもたらす。
本稿では,MedDiff-FMという,様々な医療画像課題に対処するための拡散基盤モデルを提案する。
MedDiff-FMは、頭から腹部までの解剖学的領域をカバーし、拡散基盤モデルを事前訓練するために、複数の公開データセットから3D CT画像を活用する。
拡散基盤モデルは、画像レベルとパッチレベルの両方でマルチレベル画像処理を処理し、位置埋め込みを利用して、複数のレベルの空間的関係を確立するとともに、解剖学的構造や領域クラスを用いて特定の解剖学的領域を制御する。
MedDiff-FMは、画像のノイズ化、異常検出、画像合成など、いくつかの下流タスクをシームレスに管理する。
また、MedDiff-FMは、タスク固有の条件でControlNetを用いて拡散基盤モデルを高速に微調整することにより、病変の発生と病変の塗装を行うことができる。
MedDiff-FMが下流の様々な医療画像タスクに有効であることを示す実験結果が得られた。
関連論文リスト
- LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。
我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。
LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
論文 参考訳(メタデータ) (2024-09-29T03:56:21Z) - Do Vision Foundation Models Enhance Domain Generalization in Medical Image Segmentation? [10.20366295974822]
本稿では,2つの最先端デコーダヘッドであるHSAMとHQSAMの要素を統合し,セグメンテーション性能を向上させる新しいデコーダヘッドアーキテクチャであるHQHSAMを紹介する。
種々の解剖学やモダリティを含む複数のデータセットに対する実験により,FM,特にHQHSAMデコードヘッドを用いて,医用画像分割のための領域一般化が向上したことが明らかとなった。
論文 参考訳(メタデータ) (2024-09-12T11:41:35Z) - FEDKIM: Adaptive Federated Knowledge Injection into Medical Foundation Models [54.09244105445476]
本研究は,フェデレート・ラーニング・フレームワーク内で医療基盤モデルを拡張するための新しい知識注入手法であるFedKIMを紹介する。
FedKIMは軽量なローカルモデルを活用して、プライベートデータから医療知識を抽出し、この知識を集中基盤モデルに統合する。
7つのモードで12タスクを対象に実験を行い,FedKIMの有効性について検討した。
論文 参考訳(メタデータ) (2024-08-17T15:42:29Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳(メタデータ) (2024-03-27T02:42:52Z) - Towards Large-Scale Training of Pathology Foundation Models [1.5861468117231254]
我々は、オープンアクセスTCGA全体のスライドイメージに基づいてトレーニングされた、私たちの病理FMの最初のバッチを公開し、公開します。
実験により,我々のモデルが様々なパッチレベル下流タスクにおける最先端の性能に達することを示す。
本稿では,様々な下流タスクを対象としたFMの一貫性のある評価を目的としたオープンソースフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-24T21:34:36Z) - FeaInfNet: Diagnosis in Medical Image with Feature-Driven Inference and
Visual Explanations [4.022446255159328]
解釈可能なディープラーニングモデルは、画像認識の分野で広く注目を集めている。
提案されている多くの解釈可能性モデルは、医用画像診断の精度と解釈性に問題がある。
これらの問題を解決するために,機能駆動型推論ネットワーク(FeaInfNet)を提案する。
論文 参考訳(メタデータ) (2023-12-04T13:09:00Z) - Introducing Shape Prior Module in Diffusion Model for Medical Image
Segmentation [7.7545714516743045]
拡散確率モデル(DDPM)を利用したVerseDiff-UNetというエンドツーエンドフレームワークを提案する。
我々のアプローチは拡散モデルを標準のU字型アーキテクチャに統合する。
本手法はX線画像から得られた脊椎画像の1つのデータセットを用いて評価する。
論文 参考訳(メタデータ) (2023-09-12T03:05:00Z) - Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。
提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。
その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-04-10T17:58:22Z) - DiffMIC: Dual-Guidance Diffusion Network for Medical Image
Classification [32.67098520984195]
一般医用画像分類のための拡散モデル(DiffMIC)を提案する。
実験の結果,DiffMICは最先端の手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2023-03-19T09:15:45Z) - MedSegDiff-V2: Diffusion based Medical Image Segmentation with
Transformer [53.575573940055335]
我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。
画像の異なる20種類の画像分割作業において,その有効性を検証する。
論文 参考訳(メタデータ) (2023-01-19T03:42:36Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳(メタデータ) (2020-12-10T04:01:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。