論文の概要: Medical Image Synthesis via Fine-Grained Image-Text Alignment and
Anatomy-Pathology Prompting
- arxiv url: http://arxiv.org/abs/2403.06835v1
- Date: Mon, 11 Mar 2024 15:56:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 18:24:26.235700
- Title: Medical Image Synthesis via Fine-Grained Image-Text Alignment and
Anatomy-Pathology Prompting
- Title（参考訳）: 微細画像-テキストアライメントと解剖病理プロンプトによる医用画像合成
- Authors: Wenting Chen, Pengyu Wang, Hui Ren, Lichao Sun, Quanzheng Li, Yixuan
Yuan, and Xiang Li
- Abstract要約: データ不足とプライバシーの懸念により、公共利用のための高品質な医療画像の入手が制限される。
本稿では,微細な画像テキストアライメントと解剖学・病理学のプロンプトを活用する新しい医用画像合成モデルを提案する。
- 参考スコア（独自算出の注目度）: 38.141870313084226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data scarcity and privacy concerns limit the availability of high-quality
medical images for public use, which can be mitigated through medical image
synthesis. However, current medical image synthesis methods often struggle to
accurately capture the complexity of detailed anatomical structures and
pathological conditions. To address these challenges, we propose a novel
medical image synthesis model that leverages fine-grained image-text alignment
and anatomy-pathology prompts to generate highly detailed and accurate
synthetic medical images. Our method integrates advanced natural language
processing techniques with image generative modeling, enabling precise
alignment between descriptive text prompts and the synthesized images'
anatomical and pathological details. The proposed approach consists of two key
components: an anatomy-pathology prompting module and a fine-grained
alignment-based synthesis module. The anatomy-pathology prompting module
automatically generates descriptive prompts for high-quality medical images. To
further synthesize high-quality medical images from the generated prompts, the
fine-grained alignment-based synthesis module pre-defines a visual codebook for
the radiology dataset and performs fine-grained alignment between the codebook
and generated prompts to obtain key patches as visual clues, facilitating
accurate image synthesis. We validate the superiority of our method through
experiments on public chest X-ray datasets and demonstrate that our synthetic
images preserve accurate semantic information, making them valuable for various
medical applications.
- Abstract（参考訳）: データ不足とプライバシに関する懸念は、医用画像合成によって緩和できる高品質な医用画像の公開を制限している。
しかし、現在の医用画像合成法は、しばしば詳細な解剖学的構造と病理状態の複雑さを正確に捉えるのに苦労している。
これらの課題に対処するために, 微細な画像テキストアライメントと解剖学・病理学のプロンプトを利用した医用画像合成モデルを提案する。
本手法は,高度な自然言語処理技術と画像生成モデルを統合し,記述テキストプロンプトと合成画像の解剖学的および病理的詳細との正確なアライメントを可能にする。
提案手法は,解剖病理学的プロンピングモジュールと細粒度アライメントに基づく合成モジュールの2つの主成分から構成される。
解剖病理プロンプトモジュールは、高品質の医用画像に対して記述的なプロンプトを自動的に生成する。
生成したプロンプトから高品質な医用画像をさらに合成する。細粒度アライメントベース合成モジュールは、放射線データセット用のビジュアルコードブックを予め定義し、コードブックと生成されたプロンプトとの細粒度アライメントを実行し、視覚的な手掛かりとしてキーパッチを得ることができ、正確な画像合成を容易にする。
胸部x線データを用いた実験により,提案手法の優位性を検証し,合成画像が正確な意味情報を保存し,様々な医療用途に有用であることを実証した。
関連論文リスト
- Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。
我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
論文 参考訳（メタデータ） (2024-09-13T10:19:10Z) - Vision-Language Synthetic Data Enhances Echocardiography Downstream Tasks [4.1942958779358674]
本稿では,近年の視覚言語モデルを用いて,多彩でリアルな人工心エコー画像データを作成する。
合成データに含まれるリッチな文脈情報は、下流タスクの精度と解釈可能性を高める可能性があることを示す。
論文 参考訳（メタデータ） (2024-03-28T23:26:45Z) - Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。
その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
論文 参考訳（メタデータ） (2024-03-21T17:58:56Z) - Navigating the Synthetic Realm: Harnessing Diffusion-based Models for
Laparoscopic Text-to-Image Generation [3.2039076408339353]
拡散型生成モデルを用いて短いテキストプロンプトから合成腹腔鏡画像を生成するための直感的なアプローチを提案する。
画像ガイド下手術の分野では,拡散モデルがスタイルやセマンティクスの知識を得ることができた。
論文 参考訳（メタデータ） (2023-12-05T16:20:22Z) - Sam-Guided Enhanced Fine-Grained Encoding with Mixed Semantic Learning
for Medical Image Captioning [12.10183458424711]
本稿では, セグメンション・アプライス・モデル (SAM) でガイドされた新しい医用画像キャプション法について述べる。
本手法では, 医用画像の総合的情報と細部を同時に捉えるために, セマンティック学習を併用した独特な事前学習戦略を採用している。
論文 参考訳（メタデータ） (2023-11-02T05:44:13Z) - Utilizing Synthetic Data for Medical Vision-Language Pre-training: Bypassing the Need for Real Images [9.86468773903613]
Medical Vision-Language Pre-Trainingは、医用画像とペアの放射線学レポートから、共同で表現を学習する。
我々は、本物の医療報告から生成された、本物の医療画像と、その合成等価物とを置き換える。
我々の経験的評価は、合成データによって達成された性能が実画像と同等かそれ以上であることを示している。
論文 参考訳（メタデータ） (2023-10-10T21:29:41Z) - MedSyn: Text-guided Anatomy-aware Synthesis of High-Fidelity 3D CT Images [22.455833806331384]
本稿では,テキスト情報によって誘導される高品質な3次元肺CT画像を作成するための革新的な手法を提案する。
現在の最先端のアプローチは、低解像度の出力に限られており、放射線学レポートの豊富な情報を不活用している。
論文 参考訳（メタデータ） (2023-10-05T14:16:22Z) - Improving Radiology Summarization with Radiograph and Anatomy Prompts [60.30659124918211]
本稿では,印象生成を促進するために,新しい解剖学的拡張型マルチモーダルモデルを提案する。
より詳しくは、まず、解剖学を抽出する一連のルールを構築し、各文にこれらのプロンプトを配置し、解剖学的特徴を強調する。
コントラスト学習モジュールを用いて、これらの2つの表現を全体レベルで整列させ、コアテンションを用いて文レベルで融合させる。
論文 参考訳（メタデータ） (2022-10-15T14:05:03Z) - SIAN: Style-Guided Instance-Adaptive Normalization for Multi-Organ
Histopathology Image Synthesis [63.845552349914186]
本研究では,異なる臓器に対して,現実的な色分布とテクスチャを合成するためのスタイル誘導型インスタンス適応正規化(SIAN)を提案する。
4つのフェーズは一緒に動作し、生成ネットワークに統合され、イメージセマンティクス、スタイル、インスタンスレベルのバウンダリを埋め込む。
論文 参考訳（メタデータ） (2022-09-02T16:45:46Z) - More Control for Free! Image Synthesis with Semantic Diffusion Guidance [79.88929906247695]
制御可能な画像合成モデルは、サンプル画像からテキスト命令やガイダンスに基づいて多様な画像を作成することができる。
セマンティックな拡散誘導のための新しい統合フレームワークを導入し、言語や画像の誘導、あるいはその両方を可能にした。
FFHQとLSUNのデータセットで実験を行い、微細なテキスト誘導画像合成結果を示す。
論文 参考訳（メタデータ） (2021-12-10T18:55:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。