論文の概要: Fair Text to Medical Image Diffusion Model with Subgroup Distribution Aligned Tuning
- arxiv url: http://arxiv.org/abs/2406.14847v1
- Date: Fri, 21 Jun 2024 03:23:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 14:52:36.133667
- Title: Fair Text to Medical Image Diffusion Model with Subgroup Distribution Aligned Tuning
- Title（参考訳）: サブグループ分布を考慮した医用画像拡散モデル
- Authors: Xu Han, Fangfang Fan, Jingzhao Rong, Xiaofeng Liu,
- Abstract要約: 医用画像へのテキスト・トゥ・メディカル・イメージ (T2MedI) の潜伏拡散モデルは, 医用画像データの不足を緩和する大きな可能性を秘めている。
しかし、自然画像モデルへのテキストとして、T2MedIモデルは一部のサブグループにも偏りがあり、トレーニングセットの少数派を見渡すことができる。
そこで本研究では,まず,CLIPテキストエンコーダを固定した,事前学習型 Imagen モデルに基づく T2MedI モデルを構築した。
そのデコーダは、C.のRadiology Objectsの医療画像に微調整されている。
- 参考スコア（独自算出の注目度）: 12.064840522920251
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The text to medical image (T2MedI) with latent diffusion model has great potential to alleviate the scarcity of medical imaging data and explore the underlying appearance distribution of lesions in a specific patient status description. However, as the text to nature image models, we show that the T2MedI model can also bias to some subgroups to overlook the minority ones in the training set. In this work, we first build a T2MedI model based on the pre-trained Imagen model, which has the fixed contrastive language-image pre-training (CLIP) text encoder, while its decoder has been fine-tuned on medical images from the Radiology Objects in COntext (ROCO) dataset. Its gender bias is analyzed qualitatively and quantitatively. Toward this issue, we propose to fine-tune the T2MedI toward the target application dataset to align their sensitive subgroups distribution probability. Specifically, the alignment loss for fine-tuning is guided by an off-the-shelf sensitivity-subgroup classifier to match the classification probability between the generated images and the expected target dataset. In addition, the image quality is maintained by a CLIP-consistency regularization term following a knowledge distillation scheme. For evaluation, we set the target dataset to be enhanced as the BraST18 dataset, and trained a brain magnetic resonance (MR) slice-based gender classifier from it. With our method, the generated MR image can markedly reduce the inconsistency with the gender proportion in the BraTS18 dataset.
- Abstract（参考訳）: 潜伏拡散モデルを用いたテキスト・トゥ・メディカル・イメージ (T2MedI) は, 医用画像データの不足を軽減し, 特定の患者の状態記述において, 病変の出現分布を解明する大きな可能性を秘めている。
しかし、自然画像モデルへのテキストとして、T2MedIモデルは一部のサブグループにも偏りがあり、トレーニングセットの少数派を見渡すことができる。
本研究は,まず,固定コントラスト言語画像事前学習(CLIP)テキストエンコーダを備えた事前学習画像モデルに基づくT2MedIモデルを構築し,そのデコーダは,COCOデータセット内の放射線画像から医用画像に微調整されている。
その性別バイアスは質的かつ定量的に分析される。
そこで本研究では,T2MedIを対象のアプリケーションデータセットに向けて微調整し,その機密部分群分布確率を調整することを提案する。
特に、微調整のためのアライメント損失は、生成された画像と予測対象データセットとの分類確率に一致するように、オフザシェルフ感度サブグループ分類器によって誘導される。
また、知識蒸留方式に従って、CLIP整合正則化項により画質を維持できる。
評価のために、ターゲットデータセットをBraST18データセットとして拡張するように設定し、脳磁気共鳴(MR)スライスに基づく性別分類器をトレーニングした。
この手法により、生成したMR画像はBraTS18データセットの性別比と矛盾を著しく低減できる。
関連論文リスト
- Cross-model Mutual Learning for Exemplar-based Medical Image Segmentation [25.874281336821685]
Exemplar-based Medical Image(CMEMS)のためのクロスモデル相互学習フレームワーク
外来医用画像のためのクロスモデル相互学習フレームワーク(CMEMS)について紹介する。
論文 参考訳（メタデータ） (2024-04-18T00:18:07Z) - FDDM: Unsupervised Medical Image Translation with a Frequency-Decoupled Diffusion Model [2.2726755789556794]
MR-CT変換のための周波数分離拡散モデルを提案する。
我々のモデルは低周波・高周波情報に二重経路逆拡散法を用いる。
翻訳された解剖学的構造の精度を維持しつつ、高品質なターゲットドメイン画像を生成することができる。
論文 参考訳（メタデータ） (2023-11-19T19:44:44Z) - Semi-Supervised Medical Image Segmentation with Co-Distribution
Alignment [16.038016822861092]
本稿では,半教師型医用画像分割のためのCo-Distribution Alignment(Co-DA)を提案する。
Co-DAはラベル付きデータの辺縁予測とラベル付きデータの辺縁予測をクラスワイズで調整する。
提案手法は既存の半教師付き医用画像分割法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-24T09:08:30Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:20:00Z) - Learning to Exploit Temporal Structure for Biomedical Vision-Language
Processing [53.89917396428747]
視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。
トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。
我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
論文 参考訳（メタデータ） (2023-01-11T16:35:33Z) - HealthyGAN: Learning from Unannotated Medical Images to Detect Anomalies
Associated with Human Disease [13.827062843105365]
現在の医療画像学における典型的な手法は、健康な被験者のみから診断モデルを導出することに集中している。
HealthyGANは、混合データセットから正常な画像のみに変換することを学習する。
1方向であるHealthyGANは、既存の未ペア画像から画像への変換方法のサイクル一貫性の要求を緩和する。
論文 参考訳（メタデータ） (2022-09-05T08:10:52Z) - Mixing-AdaSIN: Constructing a de-biased dataset using Adaptive
Structural Instance Normalization and texture Mixing [6.976822832216875]
本論文では,生成モデルを用いたバイアス低減手法であるMixing-AdaSINを提案する。
本手法の有効性を示すため,細菌性肺炎データセットに対するバイアス付きCOVID-19を構築した。
論文 参考訳（メタデータ） (2021-03-26T04:40:14Z) - G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for
Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。
2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文 参考訳（メタデータ） (2021-01-27T19:28:04Z) - Improved Slice-wise Tumour Detection in Brain MRIs by Computing
Dissimilarities between Latent Representations [68.8204255655161]
磁気共鳴画像(MRI)の異常検出は教師なし手法で行うことができる。
本研究では,変分オートエンコーダの潜伏空間における相似関数の計算に基づいて,腫瘍検出のためのスライスワイズ半教師法を提案する。
本研究では,高解像度画像上でのモデルをトレーニングし,再現の質を向上させることにより,異なるベースラインに匹敵する結果が得られることを示す。
論文 参考訳（メタデータ） (2020-07-24T14:02:09Z) - ATSO: Asynchronous Teacher-Student Optimization for Semi-Supervised
Medical Image Segmentation [99.90263375737362]
教師-学生最適化の非同期版であるATSOを提案する。
ATSOはラベルのないデータを2つのサブセットに分割し、モデルの微調整に1つのサブセットを交互に使用し、他のサブセットのラベルを更新する。
医用画像のセグメンテーションデータセットを2つ評価し,様々な半教師付き環境において優れた性能を示す。
論文 参考訳（メタデータ） (2020-06-24T04:05:12Z) - Semi-supervised Medical Image Classification with Relation-driven
Self-ensembling Model [71.80319052891817]
医用画像分類のための関係駆動型半教師付きフレームワークを提案する。
これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。
本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
論文 参考訳（メタデータ） (2020-05-15T06:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。