論文の概要: Panoptic Segmentation of Mammograms with Text-To-Image Diffusion Model
- arxiv url: http://arxiv.org/abs/2407.14326v1
- Date: Fri, 19 Jul 2024 14:04:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 17:15:09.232547
- Title: Panoptic Segmentation of Mammograms with Text-To-Image Diffusion Model
- Title（参考訳）: テキスト・画像拡散モデルによるマンモグラムのパノプティカルセグメンテーション
- Authors: Kun Zhao, Jakub Prokop, Javier Montalt Tordera, Sadegh Mohammadi,
- Abstract要約: 視覚言語拡散モデルは、様々な下流タスクに対する画像生成と転送性において顕著な性能を示した。
本稿では,安定拡散モデルから最新のパン光学セグメントアーキテクチャへの入力として,事前学習した特徴を活用することを提案する。
- 参考スコア（独自算出の注目度）: 1.2130800774416757
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Mammography is crucial for breast cancer surveillance and early diagnosis. However, analyzing mammography images is a demanding task for radiologists, who often review hundreds of mammograms daily, leading to overdiagnosis and overtreatment. Computer-Aided Diagnosis (CAD) systems have been developed to assist in this process, but their capabilities, particularly in lesion segmentation, remained limited. With the contemporary advances in deep learning their performance may be improved. Recently, vision-language diffusion models emerged, demonstrating outstanding performance in image generation and transferability to various downstream tasks. We aim to harness their capabilities for breast lesion segmentation in a panoptic setting, which encompasses both semantic and instance-level predictions. Specifically, we propose leveraging pretrained features from a Stable Diffusion model as inputs to a state-of-the-art panoptic segmentation architecture, resulting in accurate delineation of individual breast lesions. To bridge the gap between natural and medical imaging domains, we incorporated a mammography-specific MAM-E diffusion model and BiomedCLIP image and text encoders into this framework. We evaluated our approach on two recently published mammography datasets, CDD-CESM and VinDr-Mammo. For the instance segmentation task, we noted 40.25 AP0.1 and 46.82 AP0.05, as well as 25.44 PQ0.1 and 26.92 PQ0.05. For the semantic segmentation task, we achieved Dice scores of 38.86 and 40.92, respectively.
- Abstract（参考訳）: 乳がんの監視と早期診断にはマンモグラフィーが不可欠である。
しかし、マンモグラフィー画像の解析は、毎日何百ものマンモグラフィーをレビューし、過剰な診断と過剰な治療に繋がる放射線医にとって、要求される課題である。
CAD(Computer-Aided Diagnosis)システムは,このプロセスを支援するために開発されたが,特に病変のセグメンテーションにおいて,その能力は限定的であった。
ディープラーニングの現代的進歩により、パフォーマンスが向上する可能性がある。
近年、視覚言語拡散モデルが登場し、様々な下流タスクに対する画像生成と転送性に優れた性能を示した。
本研究の目的は,乳房病変のセグメンテーションにおいて,意味的およびインスタンスレベルの予測を包含する機能を利用することである。
具体的には、安定拡散モデルからの事前学習した特徴を、最先端の汎視的セグメンテーションアーキテクチャへの入力として活用し、個々の乳房病変の正確なデライン化を実現することを提案する。
自然画像領域と医用画像領域のギャップを埋めるために,マンモグラフィー固有のMAM-E拡散モデルとBiomedCLIP画像とテキストエンコーダをこのフレームワークに組み込んだ。
最近発表された2つのマンモグラフィーデータセットであるCDD-CESMとVinDr-Mammoについて検討した。
事例分割作業では40.25 AP0.1,46.82 AP0.05,25.44 PQ0.1,26.92 PQ0.05が報告された。
セマンティックセグメンテーションタスクでは,それぞれ38.86点,40.92点のDiceスコアを得た。
関連論文リスト
- Deep BI-RADS Network for Improved Cancer Detection from Mammograms [3.686808512438363]
テキスト型BI-RADS病変記述子と視覚マンモグラムを併用した新しいマルチモーダル手法を提案する。
提案手法は,これらの異なるモダリティを効果的に融合させるために,反復的な注意層を用いる。
CBIS-DDSMデータセットの実験では、すべてのメトリクスで大幅に改善されている。
論文 参考訳（メタデータ） (2024-11-16T21:32:51Z) - Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。
本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
論文 参考訳（メタデータ） (2024-07-08T09:08:42Z) - QUBIQ: Uncertainty Quantification for Biomedical Image Segmentation Challenge [93.61262892578067]
医用画像分割作業の不確実性、特にラター間変動性は重要な課題である。
この可変性は、自動セグメンテーションアルゴリズムの開発と評価に直接影響を及ぼす。
バイオメディカル画像量化チャレンジ(QUBIQ)における不確実性の定量化のベンチマーク結果を報告する。
論文 参考訳（メタデータ） (2024-03-19T17:57:24Z) - VALD-MD: Visual Attribution via Latent Diffusion for Medical Diagnostics [0.0]
医用画像における視覚的属性は、医用画像の診断関連成分を明確にすることを目指している。
本稿では、潜在拡散モデルとドメイン固有大言語モデルを組み合わせた新しい生成的視覚属性手法を提案する。
結果として生じるシステムは、ゼロショット局所化疾患誘導を含む様々な潜在能力を示す。
論文 参考訳（メタデータ） (2024-01-02T19:51:49Z) - Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report
Generation [47.250147322130545]
画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。
既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。
胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
論文 参考訳（メタデータ） (2023-11-18T14:37:53Z) - Introducing Shape Prior Module in Diffusion Model for Medical Image
Segmentation [7.7545714516743045]
拡散確率モデル(DDPM)を利用したVerseDiff-UNetというエンドツーエンドフレームワークを提案する。
我々のアプローチは拡散モデルを標準のU字型アーキテクチャに統合する。
本手法はX線画像から得られた脊椎画像の1つのデータセットを用いて評価する。
論文 参考訳（メタデータ） (2023-09-12T03:05:00Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - XrayGPT: Chest Radiographs Summarization using Medical Vision-Language
Models [60.437091462613544]
我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。
胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。
自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
論文 参考訳（メタデータ） (2023-06-13T17:59:59Z) - FetReg2021: A Challenge on Placental Vessel Segmentation and
Registration in Fetoscopy [52.3219875147181]
2-Twin Transfusion Syndrome (TTTS) に対するレーザー光凝固法が広く採用されている。
このプロシージャは、視野が限られたこと、フェトスコープの操作性が悪いこと、視認性が悪いこと、照明の変動性のために特に困難である。
コンピュータ支援介入(CAI)は、シーン内の重要な構造を特定し、ビデオモザイクを通して胎児の視野を広げることで、外科医に意思決定支援と文脈認識を提供する。
7つのチームがこの課題に参加し、そのモデルパフォーマンスを、6フェットから658ピクセルの注釈付き画像の見当たらないテストデータセットで評価した。
論文 参考訳（メタデータ） (2022-06-24T23:44:42Z) - VinDr-Mammo: A large-scale benchmark dataset for computer-aided
diagnosis in full-field digital mammography [0.5452925161262461]
VinDr-Mammoはフルフィールドデジタルマンモグラフィー(FFDM)の新しいベンチマークデータセットである
データセットは5000のマンモグラフィー試験で構成され、それぞれが4つの標準ビューを持ち、意見の相違を伴って読み上げられている。
乳房画像報告・データシステム(BI-RADS)と乳房レベルの密度を評価するために作成される。
論文 参考訳（メタデータ） (2022-03-20T18:17:42Z) - MammoGANesis: Controlled Generation of High-Resolution Mammograms for
Radiology Education [0.0]
我々は,512×512高分解能マンモグラムを合成するために,GAN(Generative Adversarial Network)を訓練する。
結果として得られるモデルは、教師なしの高レベルの特徴の分離につながる。
両盲検で平均AUC0.54を達成し,医療関連マンモグラムの生成能力を示す。
論文 参考訳（メタデータ） (2020-10-11T06:47:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。