論文の概要: SADM: Sequence-Aware Diffusion Model for Longitudinal Medical Image
Generation
- arxiv url: http://arxiv.org/abs/2212.08228v1
- Date: Fri, 16 Dec 2022 01:35:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 14:08:48.732926
- Title: SADM: Sequence-Aware Diffusion Model for Longitudinal Medical Image
Generation
- Title(参考訳): SADM:経時的医用画像生成のための系列認識拡散モデル
- Authors: Jee Seok Yoon, Chenghao Zhang, Heung-Il Suk, Jia Guo, Xiaoxiao Li
- Abstract要約: 縦断的医用画像生成のためのシーケンス認識拡散モデル(SADM)を提案する。
本手法は,拡散モデルにおける条件付きモジュールとしてシーケンス対応トランスフォーマーを導入することにより,この新しい手法を拡張した。
3次元縦断的医用画像を用いた実験は,ベースラインや代替手法と比較してSADMの有効性を示した。
- 参考スコア(独自算出の注目度): 23.174391810184602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human organs constantly undergo anatomical changes due to a complex mix of
short-term (e.g., heartbeat) and long-term (e.g., aging) factors. Evidently,
prior knowledge of these factors will be beneficial when modeling their future
state, i.e., via image generation. However, most of the medical image
generation tasks only rely on the input from a single image, thus ignoring the
sequential dependency even when longitudinal data is available. Sequence-aware
deep generative models, where model input is a sequence of ordered and
timestamped images, are still underexplored in the medical imaging domain that
is featured by several unique challenges: 1) Sequences with various lengths; 2)
Missing data or frame, and 3) High dimensionality. To this end, we propose a
sequence-aware diffusion model (SADM) for the generation of longitudinal
medical images. Recently, diffusion models have shown promising results on
high-fidelity image generation. Our method extends this new technique by
introducing a sequence-aware transformer as the conditional module in a
diffusion model. The novel design enables learning longitudinal dependency even
with missing data during training and allows autoregressive generation of a
sequence of images during inference. Our extensive experiments on 3D
longitudinal medical images demonstrate the effectiveness of SADM compared with
baselines and alternative methods.
- Abstract(参考訳): ヒトの臓器は、短期(心拍など)と長期(老化など)の複雑な混合により、常に解剖学的変化を起こす。
これらの因子の事前知識は、将来の状態、すなわち画像生成をモデル化する際に有用である。
しかし、ほとんどの医療画像生成タスクは、単一の画像からの入力にのみ依存するため、長手データでもシーケンシャルな依存を無視している。
モデル入力が順序付きおよびタイムスタンプされた画像のシーケンスであるシーケンスアウェア深層生成モデルは、いくつかのユニークな課題を特徴とする医療画像領域ではまだ過小評価されている。
1) 長さの異なる配列
2)データ又はフレームの欠如,及び
3)高次元化。
そこで本研究では,縦断的医用画像生成のためのシーケンスアウェア拡散モデル(SADM)を提案する。
近年,拡散モデルが高忠実度画像生成に有望な結果を示している。
本手法は,拡散モデルにおける条件付きモジュールとしてシーケンス対応トランスフォーマーを導入することにより,この新しい手法を拡張した。
新しい設計では、トレーニング中にデータ不足であっても、縦依存性を学習でき、推論中に画像列を自己回帰的に生成できる。
3次元縦断的医用画像に対する広範な実験により,SADMの有効性がベースラインや代替手法と比較された。
関連論文リスト
- BiomedJourney: Counterfactual Biomedical Image Generation by
Instruction-Learning from Multimodal Patient Journeys [99.7082441544384]
本稿では,インストラクション学習によるバイオメディカル画像生成のための新しい手法であるBiomedJourneyを紹介する。
我々は、GPT-4を用いて、対応する画像レポートを処理し、疾患進行の自然言語記述を生成する。
得られた三重項は、反現実的なバイオメディカル画像生成のための潜伏拡散モデルを訓練するために使用される。
論文 参考訳(メタデータ) (2023-10-16T18:59:31Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳(メタデータ) (2023-09-30T02:03:22Z) - Generative AI for Medical Imaging: extending the MONAI Framework [29.152928147704507]
我々は、研究者や開発者が生成モデルを簡単に訓練し、評価し、デプロイできるオープンソースプラットフォームであるMONAI Generative Modelsを紹介します。
我々のプラットフォームは、異なるアーキテクチャを含む標準化された方法で最先端の研究を再現します。
我々はこれらのモデルを一般化可能な方法で実装し、その結果を2次元または3次元のシナリオに拡張できることを示した。
論文 参考訳(メタデータ) (2023-07-27T21:58:26Z) - Explicit Temporal Embedding in Deep Generative Latent Models for
Longitudinal Medical Image Synthesis [1.1339580074756188]
本稿では,GANの潜在空間に時間的依存を埋め込む新しい共同学習手法を提案する。
これにより、監督が限定された連続的、滑らかで高品質な音量データを合成できる。
提案手法の有効性を,異なる長さ依存を含む3つのデータセットに対して示す。
論文 参考訳(メタデータ) (2023-01-13T10:31:27Z) - Learning to Exploit Temporal Structure for Biomedical Vision-Language
Processing [53.89917396428747]
視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。
トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。
我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
論文 参考訳(メタデータ) (2023-01-11T16:35:33Z) - Multitask Brain Tumor Inpainting with Diffusion Models: A Methodological
Report [0.0]
インペイントアルゴリズムは、入力画像の1つ以上の領域を変更することができるDL生成モデルのサブセットである。
これらのアルゴリズムの性能は、その限られた出力量のために、しばしば準最適である。
拡散確率モデル(DDPM)は、GANに匹敵する品質の結果を生成することができる、最近導入された生成ネットワークのファミリーである。
論文 参考訳(メタデータ) (2022-10-21T17:13:14Z) - Diffusion Deformable Model for 4D Temporal Medical Image Generation [47.03842361418344]
3D+t(4D)情報を持つ時間体積画像は、時間動態を統計的に分析したり、病気の進行を捉えるためにしばしば医療画像に使用される。
本稿では,ソースボリュームとターゲットボリュームの中間時間ボリュームを生成する新しいディープラーニングモデルを提案する。
論文 参考訳(メタデータ) (2022-06-27T13:37:57Z) - Generative Adversarial U-Net for Domain-free Medical Image Augmentation [49.72048151146307]
注釈付き医用画像の不足は、医用画像コンピューティングの分野における最大の課題の1つだ。
本稿では,生成逆U-Netという新しい生成手法を提案する。
当社の新しいモデルは、ドメインフリーで、さまざまな医療画像に汎用性があります。
論文 参考訳(メタデータ) (2021-01-12T23:02:26Z) - Convolutional-LSTM for Multi-Image to Single Output Medical Prediction [55.41644538483948]
発展途上国の一般的なシナリオは、複数の理由からボリュームメタデータが失われることである。
ヒトの診断過程を模倣したマルチイメージから単一診断モデルを得ることが可能である。
論文 参考訳(メタデータ) (2020-10-20T04:30:09Z) - RADIOGAN: Deep Convolutional Conditional Generative adversarial Network
To Generate PET Images [3.947298454012977]
MIPポジトロン放射トモグラフィー画像(PET)を生成するための深層畳み込み条件生成対向ネットワークを提案する。
提案手法の利点は,1種類の病変に対して,小さな標本サイズで訓練した病変の異なるクラスを生成できるモデルから成り立っている。
また,画像評価ツールとして,潜伏空間を歩行できることを示す。
論文 参考訳(メタデータ) (2020-03-19T10:14:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。