論文の概要: Privacy-Preserving Chest X-ray Report Generation via Multimodal Federated Learning with ViT and GPT-2
- arxiv url: http://arxiv.org/abs/2505.21715v1
- Date: Tue, 27 May 2025 20:01:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-29 17:35:50.262178
- Title: Privacy-Preserving Chest X-ray Report Generation via Multimodal Federated Learning with ViT and GPT-2
- Title(参考訳): ViTとGPT-2を用いたマルチモーダルフェデレーション学習による胸部X線画像のプライバシ保存
- Authors: Md. Zahid Hossain, Mustofa Ahmed, Most. Sharmin Sultana Samu, Md. Rakibul Islam,
- Abstract要約: IU-Xrayデータセットを用いた胸部X線レポート生成のためのマルチモーダルフェデレートラーニングフレームワークを提案する。
このシステムは、ヴィジュアルトランスフォーマー(ViT)をエンコーダとして、GPT-2をレポートジェネレータとして使用し、生データを共有せずに分散トレーニングを可能にする。
その結果、FLは臨床的に関連性があり、セマンティックにリッチな放射線学レポートを作成する際に、集中型モデルと一致または超えることができることがわかった。
- 参考スコア(独自算出の注目度): 0.1874930567916036
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The automated generation of radiology reports from chest X-ray images holds significant promise in enhancing diagnostic workflows while preserving patient privacy. Traditional centralized approaches often require sensitive data transfer, posing privacy concerns. To address this, the study proposes a Multimodal Federated Learning framework for chest X-ray report generation using the IU-Xray dataset. The system utilizes a Vision Transformer (ViT) as the encoder and GPT-2 as the report generator, enabling decentralized training without sharing raw data. Three Federated Learning (FL) aggregation strategies: FedAvg, Krum Aggregation and a novel Loss-aware Federated Averaging (L-FedAvg) were evaluated. Among these, Krum Aggregation demonstrated superior performance across lexical and semantic evaluation metrics such as ROUGE, BLEU, BERTScore and RaTEScore. The results show that FL can match or surpass centralized models in generating clinically relevant and semantically rich radiology reports. This lightweight and privacy-preserving framework paves the way for collaborative medical AI development without compromising data confidentiality.
- Abstract(参考訳): 胸部X線画像からの放射線診断レポートの自動生成は、患者のプライバシを保ちながら診断ワークフローを向上する上で大きな可能性を秘めている。
従来の集中型アプローチでは、プライバシの懸念を抱くため、機密性の高いデータ転送が必要になることが多い。
そこで本研究では,IU-Xrayデータセットを用いた胸部X線レポート生成のためのマルチモーダル・フェデレート学習フレームワークを提案する。
このシステムは、ヴィジュアルトランスフォーマー(ViT)をエンコーダとして、GPT-2をレポートジェネレータとして使用し、生データを共有せずに分散トレーニングを可能にする。
また,FedAvg,Krum Aggregation,Los-aware Federated Averaging(L-FedAvg)の3つのFedAvgアグリゲーション戦略を評価した。
これらのうち、Krum AggregationはROUGE、BLEU、BERTScore、RaTEScoreといった語彙的および意味的評価指標よりも優れたパフォーマンスを示した。
その結果、FLは臨床的に関連性があり、セマンティックにリッチな放射線学レポートを作成する際に、集中型モデルと一致または超えることができることがわかった。
この軽量でプライバシー保護のフレームワークは、データの機密性を損なうことなく、協力的な医療AI開発を可能にする。
関連論文リスト
- Reason Like a Radiologist: Chain-of-Thought and Reinforcement Learning for Verifiable Report Generation [13.580272788409092]
BoxMed-RLは、空間的に検証可能な説明可能な放射線学レポートを生成するための、画期的な統合トレーニングフレームワークである。
大きなビジョン言語モデルに基づいて構築されたBoxMed-RLは、2つの統合フェーズを通じてレポート生成に革命をもたらす。
BoxMed-RLは、最先端の手法と比較して、METEORとROUGE-Lの両方で平均7%改善されている。
論文 参考訳(メタデータ) (2025-04-25T16:05:06Z) - The Devil is in the Prompts: De-Identification Traces Enhance Memorization Risks in Synthetic Chest X-Ray Generation [0.0]
生成モデル、特にテキスト画像拡散モデル(T2I)は、医療画像解析において重要な役割を果たす。
これらのモデルは、データの記憶をトレーニングする傾向があり、患者のプライバシに重大なリスクをもたらす。
本研究は,データ記憶のトレーニングに最も寄与するプロンプトを同定するための最初の体系的試みである。
論文 参考訳(メタデータ) (2025-02-11T12:36:00Z) - Federated Learning for Coronary Artery Plaque Detection in Atherosclerosis Using IVUS Imaging: A Multi-Hospital Collaboration [8.358846277772779]
経皮的冠動脈インターベンション(PCI)における血管内超音波(IVUS)画像の従来的解釈は時間集約的かつ矛盾する。
多段階セグメンテーションアーキテクチャを持つ並列2次元U-Netモデルを開発した。
0.706のDice similarity Coefficient (DSC) は、プラークを効果的に識別し、リアルタイムで円形の境界を検出する。
論文 参考訳(メタデータ) (2024-12-19T13:06:28Z) - FeDETR: a Federated Approach for Stenosis Detection in Coronary Angiography [0.3823356975862007]
冠動脈狭窄は心不全の根底にある因子である。
冠動脈病変の診断にはいくつかの欠点がある。
深層学習法は、FFR/iFR値の自動推定において、心臓科医を支援するために登場した。
論文 参考訳(メタデータ) (2024-09-21T23:52:05Z) - Summarizing Radiology Reports Findings into Impressions [1.8964110318127383]
本稿では,最新の放射線学報告による要約性能のモデルを提案する。
また、モデル限界と放射線学知識の獲得について分析する。
我々の最高の性能モデルは、58.75/100 ROUGE-L F1で調整されたBERT-to-BERTエンコーダデコーダであった。
論文 参考訳(メタデータ) (2024-05-10T20:29:25Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites:
A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。
我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。
また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
論文 参考訳(メタデータ) (2023-08-31T00:36:10Z) - Source-Free Collaborative Domain Adaptation via Multi-Perspective
Feature Enrichment for Functional MRI Analysis [55.03872260158717]
安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。
ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。
しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。
我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
論文 参考訳(メタデータ) (2023-08-24T01:30:18Z) - Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。
提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
論文 参考訳(メタデータ) (2022-09-28T10:27:10Z) - Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。
CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。
大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
論文 参考訳(メタデータ) (2022-06-04T13:16:30Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳(メタデータ) (2021-02-26T02:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。