論文の概要: Medical diffusion on a budget: Textual Inversion for medical image generation
- arxiv url: http://arxiv.org/abs/2303.13430v2
- Date: Wed, 11 Sep 2024 14:40:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 22:28:06.294334
- Title: Medical diffusion on a budget: Textual Inversion for medical image generation
- Title(参考訳): 予算上の医療拡散:医療画像生成のためのテキスト・インバージョン
- Authors: Bram de Wilde, Anindo Saha, Maarten de Rooij, Henkjan Huisman, Geert Litjens,
- Abstract要約: スクラッチからトレーニングするには、大きなキャプション付きデータセットと重要な計算リソースが必要である。
本研究は, 予め訓練した安定拡散モデルを医用画像モダリティに適応させることが, テキスト埋め込みの訓練によって達成可能であることを示す。
トレーニングされた埋め込みはコンパクト(1MB未満)で、プライバシー上の懸念を減らしてデータ共有を容易にする。
- 参考スコア(独自算出の注目度): 3.0826983115939823
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models for text-to-image generation, known for their efficiency, accessibility, and quality, have gained popularity. While inference with these systems on consumer-grade GPUs is increasingly feasible, training from scratch requires large captioned datasets and significant computational resources. In medical image generation, the limited availability of large, publicly accessible datasets with text reports poses challenges due to legal and ethical concerns. This work shows that adapting pre-trained Stable Diffusion models to medical imaging modalities is achievable by training text embeddings using Textual Inversion. In this study, we experimented with small medical datasets (100 samples each from three modalities) and trained within hours to generate diagnostically accurate images, as judged by an expert radiologist. Experiments with Textual Inversion training and inference parameters reveal the necessity of larger embeddings and more examples in the medical domain. Classification experiments show an increase in diagnostic accuracy (AUC) for detecting prostate cancer on MRI, from 0.78 to 0.80. Further experiments demonstrate embedding flexibility through disease interpolation, combining pathologies, and inpainting for precise disease appearance control. The trained embeddings are compact (less than 1 MB), enabling easy data sharing with reduced privacy concerns.
- Abstract(参考訳): テキスト・画像生成のための拡散モデルは、その効率、アクセシビリティ、品質で知られており、人気を集めている。
コンシューマグレードのGPU上のこれらのシステムによる推論は、ますます実現可能になっているが、スクラッチからのトレーニングには、大きなキャプション付きデータセットと重要な計算リソースが必要である。
医用画像生成では、テキストレポート付き大規模で一般公開されたデータセットの可用性が制限されているため、法的および倫理的懸念による課題が生じる。
本研究は,テキストインバージョンを用いたテキスト埋め込みのトレーニングにより,事前学習した安定拡散モデルを医用画像モダリティに適応させることが可能であることを示す。
本研究では,3つのモダリティからそれぞれ100サンプルの小さな医療データセットを実験し,診断精度の高い画像を生成するために数時間以内に訓練を行った。
テキスト・インバージョン・トレーニングと推論・パラメータを用いた実験は、より大きな埋め込みや医療領域におけるより多くの例の必要性を明らかにしている。
前立腺癌をMRIで検出するための診断精度(AUC)は0.78から0.80に増加した。
さらなる実験では、病気の補間、病態の組み合わせ、および正確な病気の外観制御のための塗布による埋め込み柔軟性が実証された。
トレーニングされた埋め込みはコンパクト(1MB未満)で、プライバシー上の懸念を減らしてデータ共有を容易にする。
関連論文リスト
- Unsupervised Training of Neural Cellular Automata on Edge Devices [2.5462695047893025]
携帯電話上でのセルラーオートマタトレーニングを, アクセス可能なX線肺セグメンテーションのために直接実施する。
5つのAndroidデバイスにこれらの高度なモデルをデプロイし、トレーニングする実用性と実現可能性を確認します。
デジタルコピーが入手できず、X線ライトボックスやモニターから画像を撮影しなければならない極端な場合、VWSLはDiceの精度を5-20%向上させる。
論文 参考訳(メタデータ) (2024-07-25T15:21:54Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Understanding the Tricks of Deep Learning in Medical Image Segmentation:
Challenges and Future Directions [66.40971096248946]
本稿では,モデル実装の異なるフェーズに対して,MedISegの一連のトリックを収集する。
本稿では,これらの手法の有効性を一貫したベースライン上で実験的に検討する。
私たちはまた、それぞれのコンポーネントがプラグインとプレイの利点を持つ強力なMedISegリポジトリをオープンソースにしました。
論文 参考訳(メタデータ) (2022-09-21T12:30:05Z) - Metadata-enhanced contrastive learning from retinal optical coherence
tomography images [9.618704558885069]
従来のコントラストフレームワークを新しいメタデータ強化戦略で拡張する。
本手法では,画像間のコントラスト関係の真のセットを近似するために,患者メタデータを広く活用する。
提案手法は、6つの画像レベル下流タスクのうち5つにおいて、標準コントラスト法と網膜画像基盤モデルの両方に優れる。
論文 参考訳(メタデータ) (2022-08-04T08:53:15Z) - When Accuracy Meets Privacy: Two-Stage Federated Transfer Learning
Framework in Classification of Medical Images on Limited Data: A COVID-19
Case Study [77.34726150561087]
新型コロナウイルスのパンデミックが急速に広がり、世界の医療資源が不足している。
CNNは医療画像の解析に広く利用され、検証されている。
論文 参考訳(メタデータ) (2022-03-24T02:09:41Z) - Generative Adversarial U-Net for Domain-free Medical Image Augmentation [49.72048151146307]
注釈付き医用画像の不足は、医用画像コンピューティングの分野における最大の課題の1つだ。
本稿では,生成逆U-Netという新しい生成手法を提案する。
当社の新しいモデルは、ドメインフリーで、さまざまな医療画像に汎用性があります。
論文 参考訳(メタデータ) (2021-01-12T23:02:26Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T20:05:35Z) - Convolutional-LSTM for Multi-Image to Single Output Medical Prediction [55.41644538483948]
発展途上国の一般的なシナリオは、複数の理由からボリュームメタデータが失われることである。
ヒトの診断過程を模倣したマルチイメージから単一診断モデルを得ることが可能である。
論文 参考訳(メタデータ) (2020-10-20T04:30:09Z) - Discriminative Cross-Modal Data Augmentation for Medical Imaging
Applications [24.06277026586584]
深層学習法は医用画像解析において大きな成功を収めており、訓練には多くの医用画像が必要である。
データプライバシの懸念と医療アノテータの有効性のため、モデルトレーニングのためにラベル付き医療画像を得るのは非常に困難であることが多い。
本稿では,画像のソースモダリティを目標モダリティに変換する画像対画像変換モデルを提案する。
論文 参考訳(メタデータ) (2020-10-07T15:07:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。