論文の概要: RadCLIP: Enhancing Radiologic Image Analysis through Contrastive Language-Image Pre-training
- arxiv url: http://arxiv.org/abs/2403.09948v1
- Date: Fri, 15 Mar 2024 01:18:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 20:46:21.402473
- Title: RadCLIP: Enhancing Radiologic Image Analysis through Contrastive Language-Image Pre-training
- Title(参考訳): RadCLIP: コントラスト言語による事前学習による放射線画像解析の強化
- Authors: Zhixiu Lu, Hailong Li, Lili He,
- Abstract要約: RadCLIPは、X線画像解析を洗練させるために、コントラスト言語-画像事前学習を利用するクロスモーダル基礎モデルである。
評価の結果,RadCLIPは放射線画像と対応するテキストアノテーションを効果的に一致させることがわかった。
- 参考スコア(独自算出の注目度): 0.16385815610837165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integration of artificial intelligence (AI) with radiology has marked a transformative era in medical diagnostics. Vision foundation models have been adopted to enhance radiologic imaging analysis. However, the distinct complexities of radiological imaging, including the interpretation of 2D and 3D radiological data, pose unique challenges that existing models, trained on general non-medical images, fail to address adequately. To bridge this gap and capitalize on the diagnostic precision required in medical imaging, we introduce RadCLIP: a pioneering cross-modal foundational model that harnesses Contrastive Language-Image Pre-training (CLIP) to refine radiologic image analysis. RadCLIP incorporates a novel 3D slice pooling mechanism tailored for volumetric image analysis and is trained using a comprehensive and diverse dataset of radiologic image-text pairs. Our evaluations demonstrate that RadCLIP effectively aligns radiological images with their corresponding textual annotations, and in the meantime, offers a robust vision backbone for radiologic imagery with significant promise.
- Abstract(参考訳): 人工知能(AI)と放射線学の統合は、医学診断における転換期を象徴している。
放射線画像解析を強化するために、視覚基盤モデルが採用されている。
しかし、2Dおよび3Dの放射線学的データの解釈を含む放射線画像の複雑さは、一般的な非医学的画像に基づいて訓練された既存のモデルが適切に対処できないという固有の課題を生じさせる。
このギャップを埋め、医用画像診断に必要な診断精度を活かすため、X線画像解析を洗練させるためにContrastive Language- Image Pre-Training(CLIP)を利用する先駆的なクロスモーダル基盤モデルであるRadCLIPを紹介した。
RadCLIPには、ボリューム画像解析に適した新しい3Dスライスプーリング機構が組み込まれており、無線画像テキストペアの包括的で多様なデータセットを使用して訓練されている。
評価の結果,RadCLIPは,放射線画像と対応するテキストアノテーションを効果的に整合させ,その一方で,ラジオグラフィ画像の堅牢なバックボーンを有望に提供できることが示唆された。
関連論文リスト
- Mining Gaze for Contrastive Learning toward Computer-Assisted Diagnosis [61.089776864520594]
医用画像のテキストレポートの代替としてアイトラッキングを提案する。
医用画像を読み,診断する際に放射線科医の視線を追跡することにより,その視覚的注意と臨床的理由を理解することができる。
対照的な学習フレームワークのためのプラグイン・アンド・プレイモジュールとして,McGIP (McGIP) を導入した。
論文 参考訳(メタデータ) (2023-12-11T02:27:45Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - UMedNeRF: Uncertainty-aware Single View Volumetric Rendering for Medical
Neural Radiance Fields [38.62191342903111]
生成した放射場に基づく不確実性を考慮したMedNeRF(UMedNeRF)ネットワークを提案する。
我々は,CTプロジェクションレンダリングの結果を1つのX線で示し,生成した放射場に基づく他の手法との比較を行った。
論文 参考訳(メタデータ) (2023-11-10T02:47:15Z) - Generation of Radiology Findings in Chest X-Ray by Leveraging
Collaborative Knowledge [6.792487817626456]
医学的イメージを解釈する認知的タスクは、放射線学のワークフローにおいて最も重要であり、しばしば時間を要するステップである。
この研究は、ほとんどの時間をFindingsの執筆またはナレーションに費やしている放射線学者の作業量を削減することに焦点を当てている。
単段階画像キャプションタスクとして放射線学レポートを生成する過去の研究とは異なり、CXR画像の解釈の複雑さを考慮に入れている。
論文 参考訳(メタデータ) (2023-06-18T00:51:28Z) - XrayGPT: Chest Radiographs Summarization using Medical Vision-Language
Models [60.437091462613544]
我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。
胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。
自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
論文 参考訳(メタデータ) (2023-06-13T17:59:59Z) - Local Contrastive Learning for Medical Image Recognition [0.0]
Local Region Contrastive Learning(LRCLR)は、画像領域の選択と相互モダリティの相互作用のためのレイヤを追加するフレキシブルな微調整フレームワークである。
胸部X線検査の結果から,LRCLRは重要な局所画像領域を同定し,放射線学的テキストに対して有意義な解釈を提供する可能性が示唆された。
論文 参考訳(メタデータ) (2023-03-24T17:04:26Z) - Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。
提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
論文 参考訳(メタデータ) (2022-09-28T10:27:10Z) - Generative Residual Attention Network for Disease Detection [51.60842580044539]
本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。
我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。
次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
論文 参考訳(メタデータ) (2021-10-25T14:15:57Z) - XraySyn: Realistic View Synthesis From a Single Radiograph Through CT
Priors [118.27130593216096]
放射線写真は、X線を用いて患者の内部解剖を視覚化し、3D情報を2次元平面に投影する。
私たちの知る限りでは、ラジオグラフィビューの合成に関する最初の研究である。
本手法は,3次元空間におけるX線撮影の理解を得ることにより,地中骨ラベルを使わずに,X線撮影による骨抽出と骨抑制に応用できることが示唆された。
論文 参考訳(メタデータ) (2020-12-04T05:08:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。