論文の概要: Fundus to Fluorescein Angiography Video Generation as a Retinal Generative Foundation Model
- arxiv url: http://arxiv.org/abs/2410.13242v2
- Date: Fri, 18 Oct 2024 15:41:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-21 10:25:35.185993
- Title: Fundus to Fluorescein Angiography Video Generation as a Retinal Generative Foundation Model
- Title(参考訳): 網膜生成基盤モデルとしてのフルオレセイン血管造影ビデオ生成への資金提供
- Authors: Weiyi Zhang, Jiancheng Yang, Ruoyu Chen, Siyu Huang, Pusheng Xu, Xiaolan Chen, Shanfu Lu, Hongyu Cao, Mingguang He, Danli Shi,
- Abstract要約: 本稿では,単一のCF画像から動的FFAビデオを生成するGANモデルであるFundus2Videoを紹介する。
FVDは1497.12、PSNRは11.77である。
これらの結果から,Fundus2VideoはFFA検査の強力な非侵襲的代替品であり,多彩な網膜生成基盤モデルであると考えられた。
- 参考スコア(独自算出の注目度): 13.378309762602095
- License:
- Abstract: Fundus fluorescein angiography (FFA) is crucial for diagnosing and monitoring retinal vascular issues but is limited by its invasive nature and restricted accessibility compared to color fundus (CF) imaging. Existing methods that convert CF images to FFA are confined to static image generation, missing the dynamic lesional changes. We introduce Fundus2Video, an autoregressive generative adversarial network (GAN) model that generates dynamic FFA videos from single CF images. Fundus2Video excels in video generation, achieving an FVD of 1497.12 and a PSNR of 11.77. Clinical experts have validated the fidelity of the generated videos. Additionally, the model's generator demonstrates remarkable downstream transferability across ten external public datasets, including blood vessel segmentation, retinal disease diagnosis, systemic disease prediction, and multimodal retrieval, showcasing impressive zero-shot and few-shot capabilities. These findings position Fundus2Video as a powerful, non-invasive alternative to FFA exams and a versatile retinal generative foundation model that captures both static and temporal retinal features, enabling the representation of complex inter-modality relationships.
- Abstract(参考訳): Fundus fluorescein angiography (FFA) は網膜血管障害の診断とモニタリングに重要であるが, 浸潤性, アクセシビリティに制限がある。
CF画像をFFAに変換する既存の方法は静的画像生成に限られており、ダイナミックな病変の変化が欠如している。
本稿では,単一のCF画像から動的FFAビデオを生成するGANモデルであるFundus2Videoを紹介する。
FVDは1497.12、PSNRは11.77である。
臨床専門家は、生成されたビデオの忠実さを検証した。
さらに、モデルジェネレータは、血管のセグメンテーション、網膜疾患の診断、全身性疾患の予測、マルチモーダル検索、印象的なゼロショット機能と少数ショット機能を含む、10の外部公開データセットにわたって、顕著なダウンストリーム転送性を示す。
これらの知見は、Fundus2VideoをFFA試験の強力な非侵襲的代替品であり、静的および側頭葉網膜の特徴を捉える多目的網膜生成基盤モデルであり、複雑なモダリティ間関係の表現を可能にする。
関連論文リスト
- Disentangling representations of retinal images with generative models [12.547633373232026]
患者属性をカメラ効果から切り離す網膜基底画像の新しい集団モデルを提案する。
以上の結果から,網膜基底画像生成における患者属性と技術共同創設者との複雑な関係について,新たな視点が得られた。
論文 参考訳(メタデータ) (2024-02-29T14:11:08Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳(メタデータ) (2024-01-10T23:26:41Z) - ViT-DAE: Transformer-driven Diffusion Autoencoder for Histopathology
Image Analysis [4.724009208755395]
高品質な病理画像合成のための視覚変換器(ViT)と拡散オートエンコーダを統合したViT-DAEを提案する。
提案手法は, 実写画像生成におけるGAN法とバニラDAE法より優れている。
論文 参考訳(メタデータ) (2023-04-03T15:00:06Z) - Video Probabilistic Diffusion Models in Projected Latent Space [75.4253202574722]
我々は、PVDM(Latent Video diffusion model)と呼ばれる新しいビデオ生成モデルを提案する。
PVDMは低次元の潜伏空間で映像配信を学習し、限られた資源で高解像度映像を効率的に訓練することができる。
論文 参考訳(メタデータ) (2023-02-15T14:22:34Z) - VIDM: Video Implicit Diffusion Models [75.90225524502759]
拡散モデルは、高品質で多様な画像の集合を合成するための強力な生成方法として登場した。
本研究では,移動の効果を暗黙の条件でモデル化する拡散モデルに基づく映像生成手法を提案する。
我々は,空間トランケーションのサンプリング,ロバストネスペナルティ,位置群正規化などの複数の戦略を提案することにより,生成されたビデオの品質を向上させる。
論文 参考訳(メタデータ) (2022-12-01T02:58:46Z) - VTGAN: Semi-supervised Retinal Image Synthesis and Disease Prediction
using Vision Transformers [0.0]
Fluorescein Angiography(FA)では、注射された染料を血流に注入して網膜の血管構造を画像化します。
眼底イメージングは網膜の撮影に用いられる非侵襲的な技術であるが、その血管構造を撮影するのに十分な忠実性は持たない。
本稿では,眼底画像からFA画像を同時に合成し,網膜変性を予測できる新しい条件生成対向ネットワーク(GAN)を提案する。
論文 参考訳(メタデータ) (2021-04-14T10:32:36Z) - Data-driven generation of plausible tissue geometries for realistic
photoacoustic image synthesis [53.65837038435433]
光音響トモグラフィ(pat)は形態的および機能的組織特性を回復する可能性がある。
我々は,PATデータシミュレーションの新たなアプローチを提案し,これを「シミュレーションの学習」と呼ぶ。
我々は、意味的注釈付き医療画像データに基づいて訓練されたGAN(Generative Adversarial Networks)の概念を活用して、可塑性組織ジオメトリを生成する。
論文 参考訳(メタデータ) (2021-03-29T11:30:18Z) - Attention2AngioGAN: Synthesizing Fluorescein Angiography from Retinal
Fundus Images using Generative Adversarial Networks [0.0]
フルオレセイン血管造影(Fluorescein Angiography, FA)は、Fundusの写真撮影に、励起フィルターとバリアフィルターを取り入れた指定カメラを用いる技術である。
FAはまた、静脈注射されるフルオレセイン色素を必要としており、吐き気、吐き気、さらに致命的なアナフィラキシーに悪影響を及ぼす可能性がある。
本稿では,Fundus画像からFluorescein Angiographyを合成できるアテンションベースの生成ネットワークを提案する。
論文 参考訳(メタデータ) (2020-07-17T18:58:44Z) - Diffusion-Weighted Magnetic Resonance Brain Images Generation with
Generative Adversarial Networks and Variational Autoencoders: A Comparison
Study [55.78588835407174]
本研究では,高画質,多彩で現実的な拡散重み付き磁気共鳴画像が深部生成モデルを用いて合成可能であることを示す。
Introspective Variational AutoencoderとStyle-Based GANの2つのネットワークを医療分野におけるデータ拡張の資格として提示する。
論文 参考訳(メタデータ) (2020-06-24T18:00:01Z) - Modeling and Enhancing Low-quality Retinal Fundus Images [167.02325845822276]
低画質の眼底画像は臨床観察における不確実性を高め、誤診のリスクを引き起こす。
本稿では,グローバルな劣化要因を抑えるために,臨床指向の基盤拡張ネットワーク(cofe-Net)を提案する。
合成画像と実画像の両方の実験により、我々のアルゴリズムは網膜の細部を失うことなく、低品質の眼底画像を効果的に補正することを示した。
論文 参考訳(メタデータ) (2020-05-12T08:01:16Z) - Fundus2Angio: A Conditional GAN Architecture for Generating Fluorescein
Angiography Images from Retinal Fundus Photography [0.0]
フルオレセイン血管造影画像を生成する非侵襲的なシステムはない。
ファンドス撮影は、数秒で完了する非侵襲的なイメージング技術である。
本稿では,基礎画像からFA画像へ変換する条件付き生成対向ネットワーク(GAN)を提案する。
論文 参考訳(メタデータ) (2020-05-11T17:09:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。