論文の概要: BiomedJourney: Counterfactual Biomedical Image Generation by
Instruction-Learning from Multimodal Patient Journeys
- arxiv url: http://arxiv.org/abs/2310.10765v1
- Date: Mon, 16 Oct 2023 18:59:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 19:18:00.811501
- Title: BiomedJourney: Counterfactual Biomedical Image Generation by
Instruction-Learning from Multimodal Patient Journeys
- Title（参考訳）: BiomedJourney:マルチモーダル患者からの指導学習によるバイオメディカル画像生成
- Authors: Yu Gu, Jianwei Yang, Naoto Usuyama, Chunyuan Li, Sheng Zhang, Matthew
P. Lungren, Jianfeng Gao, Hoifung Poon
- Abstract要約: 本稿では,インストラクション学習によるバイオメディカル画像生成のための新しい手法であるBiomedJourneyを紹介する。
我々は、GPT-4を用いて、対応する画像レポートを処理し、疾患進行の自然言語記述を生成する。
得られた三重項は、反現実的なバイオメディカル画像生成のための潜伏拡散モデルを訓練するために使用される。
- 参考スコア（独自算出の注目度）: 99.7082441544384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rapid progress has been made in instruction-learning for image editing with
natural-language instruction, as exemplified by InstructPix2Pix. In
biomedicine, such methods can be applied to counterfactual image generation,
which helps differentiate causal structure from spurious correlation and
facilitate robust image interpretation for disease progression modeling.
However, generic image-editing models are ill-suited for the biomedical domain,
and counterfactual biomedical image generation is largely underexplored. In
this paper, we present BiomedJourney, a novel method for counterfactual
biomedical image generation by instruction-learning from multimodal patient
journeys. Given a patient with two biomedical images taken at different time
points, we use GPT-4 to process the corresponding imaging reports and generate
a natural language description of disease progression. The resulting triples
(prior image, progression description, new image) are then used to train a
latent diffusion model for counterfactual biomedical image generation. Given
the relative scarcity of image time series data, we introduce a two-stage
curriculum that first pretrains the denoising network using the much more
abundant single image-report pairs (with dummy prior image), and then continues
training using the counterfactual triples. Experiments using the standard
MIMIC-CXR dataset demonstrate the promise of our method. In a comprehensive
battery of tests on counterfactual medical image generation, BiomedJourney
substantially outperforms prior state-of-the-art methods in instruction image
editing and medical image generation such as InstructPix2Pix and RoentGen. To
facilitate future study in counterfactual medical generation, we plan to
release our instruction-learning code and pretrained models.
- Abstract（参考訳）: InstructPix2Pixの例のように、自然言語による画像編集のためのインストラクション学習が急速に進歩している。
バイオメディシンでは, 因果構造と突発的相関とを区別し, 疾患進行モデルのための堅牢な画像解釈を容易にする, 反ファクト画像生成に適用することができる。
しかし、汎用的な画像編集モデルは生体医学領域に不適合であり、反事実的生体医学的画像生成は概ね過小評価されている。
本稿では,マルチモーダル患者からの指導学習によるバイオメディカル画像生成のための新しい手法であるBiomedJourneyを提案する。
異なる地点で2つの生体医用画像が撮影された場合,gpt-4を用いて対応する画像報告を処理し,疾患進展の自然言語記述を生成する。
得られたトリプル(優先画像、進行記述、新しい画像)は、反事実的生物医学的画像生成のための潜在拡散モデルを訓練するために使用される。
画像時系列データの相対的不足を考慮し,より豊富な単一画像レポートペア(ダミー先行画像を含む)を用いてデノナイジングネットワークを事前訓練し,次いで,デノナイジングネットワークを用いたトレーニングを継続する2段階カリキュラムを導入する。
標準MIMIC-CXRデータセットを用いた実験により,提案手法の可能性を実証した。
InstructPix2PixやRoentGenのような命令画像編集や医用画像生成において、BiomedJourneyは従来の最先端の手法を大幅に上回っている。
偽医療生成における今後の研究を促進するため,我々は,教育学習コードと事前学習モデルをリリースする予定である。
関連論文リスト
- MGI: Multimodal Contrastive pre-training of Genomic and Medical Imaging [16.325123491357203]
本稿では,下流タスクにゲノムと医用画像を併用したマルチモーダル事前学習フレームワークを提案する。
我々は,マンバを遺伝子エンコーダとして,ビジョントランスフォーマー(ViT)を医用画像エンコーダとして組み合わせた,自己指導型コントラスト学習アプローチを用いて医用画像と遺伝子を調整した。
論文 参考訳（メタデータ） (2024-06-02T06:20:45Z) - Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training [99.2891802841936]
我々は,空間的・時間的微粒なモデリングのためのMed-STフレームワークを提案する。
空間モデリングでは、Med-STはMixture of View Expert (MoVE)アーキテクチャを使用して、正面と横の両方のビューから異なる視覚的特徴を統合する。
時間的モデリングのために,フォワードマッピング分類 (FMC) とリバースマッピング回帰 (RMR) による新たな双方向サイクル整合性目標を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:15:09Z) - LLaVA-Med: Training a Large Language-and-Vision Assistant for
Biomedicine in One Day [85.19963303642427]
本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。
モデルはまず、フィギュア・キャプションのペアを使ってバイオメディカル・ボキャブラリをアライメントし、その後、オープンエンドの会話意味論を習得する。
これにより、バイオメディジンのための大規模言語と視覚アシスタントを15時間以内で(8つのA100で)訓練することができる。
論文 参考訳（メタデータ） (2023-06-01T16:50:07Z) - BiomedCLIP: a multimodal biomedical foundation model pretrained from
fifteen million scientific image-text pairs [48.376109878173956]
PMC-15Mは,既存のバイオメディカル・マルチモーダル・データセットよりも2桁大きい新しいデータセットである。
PMC-15Mは440万の科学論文から収集された1500万のバイオメディカル画像テキスト対を含んでいる。
PMC-15Mに基づいて,生物医学的視覚言語処理に適したドメイン固有適応を備えた多モーダル基礎モデルであるBiomedCLIPを事前訓練した。
論文 参考訳（メタデータ） (2023-03-02T02:20:04Z) - Learning to Exploit Temporal Structure for Biomedical Vision-Language
Processing [53.89917396428747]
視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。
トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。
我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
論文 参考訳（メタデータ） (2023-01-11T16:35:33Z) - MMV_Im2Im: An Open Source Microscopy Machine Vision Toolbox for
Image-to-Image Transformation [0.571097144710995]
バイオイメージングアプリケーションにおける画像・画像変換のための新しいオープンソースpythonパッケージMMV_Im2Imを導入する。
パッケージ全体は汎用的なイメージからイメージへの変換フレームワークで設計されている。
MMV_Im2Imの10種以上の生体医学的問題に対する有効性を示した。
論文 参考訳（メタデータ） (2022-09-06T13:42:17Z) - Metadata-enhanced contrastive learning from retinal optical coherence tomography images [7.932410831191909]
従来のコントラストフレームワークを新しいメタデータ強化戦略で拡張する。
本手法では,画像間のコントラスト関係の真のセットを近似するために,患者メタデータを広く活用する。
提案手法は、6つの画像レベル下流タスクのうち5つにおいて、標準コントラスト法と網膜画像基盤モデルの両方に優れる。
論文 参考訳（メタデータ） (2022-08-04T08:53:15Z) - A Survey on Training Challenges in Generative Adversarial Networks for
Biomedical Image Analysis [0.6308539010172307]
GAN(Generative Adversarial Networks)は、合成バイオメディカル画像の生成を通じて、データ制限に対処するために広く利用されている。
GANは、適切な合成画像の生成を妨げるいくつかの技術的課題を経験することができる。
本研究は, バイオメディカルイメージング領域におけるGANのトレーニング問題に対する解決策に基づく, レビューと分類について述べる。
論文 参考訳（メタデータ） (2022-01-19T15:23:46Z) - Generative Adversarial U-Net for Domain-free Medical Image Augmentation [49.72048151146307]
注釈付き医用画像の不足は、医用画像コンピューティングの分野における最大の課題の1つだ。
本稿では,生成逆U-Netという新しい生成手法を提案する。
当社の新しいモデルは、ドメインフリーで、さまざまな医療画像に汎用性があります。
論文 参考訳（メタデータ） (2021-01-12T23:02:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。