論文の概要: RadCLIP: Enhancing Radiologic Image Analysis through Contrastive Language-Image Pre-training
- arxiv url: http://arxiv.org/abs/2403.09948v2
- Date: Thu, 5 Sep 2024 18:13:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 20:23:44.381528
- Title: RadCLIP: Enhancing Radiologic Image Analysis through Contrastive Language-Image Pre-training
- Title（参考訳）: RadCLIP: コントラスト言語による事前学習による放射線画像解析の強化
- Authors: Zhixiu Lu, Hailong Li, Nehal A. Parikh, Jonathan R. Dillman, Lili He,
- Abstract要約: RadCLIP(Radlogic Contrastive Language- Image Pre-Training)は、Vision Language Pre-Trainingフレームワークを利用した視覚言語基礎モデルである。
RadCLIPは、放射線画像と対応するテキストアノテーションを合わせるために事前訓練され、放射線画像のための堅牢な視覚バックボーンを形成した。
主なコントリビューションは,多種多様なラジオロジックな2D/3D画像テキストペアを用いた大規模データセットのキュレーション,2D画像の統合のための注意機構を用いたスライスプールアダプタ,および様々なラジオロジック下流タスクにおけるRadCLIPの総合評価である。
- 参考スコア（独自算出の注目度）: 0.1398098625978622
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integration of artificial intelligence (AI) with radiology marks a transformative era in medicine. Vision foundation models have been adopted to enhance radiologic imaging analysis. However, the distinct complexities of radiologic 2D and 3D radiologic data pose unique challenges that existing models, pre-trained on general non-medical images, fail to address adequately. To bridge this gap and capitalize on the diagnostic precision required in radiologic imaging, we introduce Radiologic Contrastive Language-Image Pre-training (RadCLIP): a cross-modal vision-language foundational model that harnesses Vision Language Pre-training (VLP) framework to improve radiologic image analysis. Building upon Contrastive Language-Image Pre-training (CLIP), RadCLIP incorporates a slice pooling mechanism tailored for volumetric image analysis and is pre-trained using a large and diverse dataset of radiologic image-text pairs. The RadCLIP was pre-trained to effectively align radiologic images with their corresponding text annotations, creating a robust vision backbone for radiologic images. Extensive experiments demonstrate RadCLIP's superior performance in both uni-modal radiologic image classification and cross-modal image-text matching, highlighting its significant promise for improving diagnostic accuracy and efficiency in clinical settings. Our Key contributions include curating a large dataset with diverse radiologic 2D/3D radiologic image-text pairs, a slice pooling adapter using an attention mechanism for integrating 2D images, and comprehensive evaluations of RadCLIP on various radiologic downstream tasks.
- Abstract（参考訳）: 人工知能(AI)と放射線学の統合は医学における変革の時代を象徴している。
放射線画像解析を強化するために、視覚基盤モデルが採用されている。
しかし、X線学的2Dおよび3Dラジオロジカルデータの複雑さは、既存のモデルが一般的な非医学的画像で事前訓練されているが、適切に対処できないという固有の課題を生んでいる。
このギャップを埋め, 放射線画像診断に必要な診断精度を活かすために, 視覚言語事前訓練(VLP)フレームワークを利用した無線コントラスト言語画像前訓練(RadCLIP)を導入した。
CLIP(Contrastive Language- Image Pre-training)に基づいて構築されたRadCLIPには,ボリューム画像解析に適したスライスプーリング機構が組み込まれている。
RadCLIPは、放射性画像と対応するテキストアノテーションを効果的に整合させ、放射性画像の堅牢なビジョンバックボーンを作成するために事前訓練された。
広汎な実験により、RadCLIPは単モードのX線画像分類とクロスモーダルな画像テキストマッチングの両方において優れた性能を示し、臨床環境での診断精度と効率を向上させるための重要な約束を強調した。
主なコントリビューションは,多種多様なラジオロジックな2D/3D画像テキストペアを用いた大規模データセットのキュレーション,2D画像の統合のための注意機構を用いたスライスプールアダプタ,および様々なラジオロジック下流タスクにおけるRadCLIPの総合評価である。
関連論文リスト
- Expert-level vision-language foundation model for real-world radiology and comprehensive evaluation [27.05259342502574]
本稿では,放射線学に適した視覚言語基盤モデルRadFoundを紹介する。
8100万枚以上の画像と25万枚の画像テキストのペアからなる、最も広範なデータセットでトレーニングされている。
専門家レベルのマルチモーダル認識と生成能力を確立するために、RadFoundは拡張された視覚エンコーダを導入した。
論文 参考訳（メタデータ） (2024-09-24T15:31:49Z) - D-Rax: Domain-specific Radiologic assistant leveraging multi-modal data and eXpert model predictions [8.50767187405446]
ドメイン固有の対話型無線支援ツールD-Raxを提案する。
我々は胸部X線(CXR)画像の会話解析を強化し,放射線学的報告を支援する。
オープン・エンド・会話とクローズド・会話の双方において,反応の統計的に有意な改善が認められた。
論文 参考訳（メタデータ） (2024-07-02T18:43:10Z) - RAD-DINO: Exploring Scalable Medical Image Encoders Beyond Text
Supervision [44.00149519249467]
言語による事前学習は、画像から意味論的に意味のある特徴を抽出する貴重な方法であることが証明されている。
生体画像エンコーダRAD-DINOについて検討した。
論文 参考訳（メタデータ） (2024-01-19T17:02:17Z) - Freeze the backbones: A Parameter-Efficient Contrastive Approach to
Robust Medical Vision-Language Pre-training [15.790435273150083]
本稿では,事前に訓練した画像やテキストエンコーダの医療知識を凍結保存して保存するバックボーン非依存型適応フレームワークを提案する。
当社のフレームワークは,既存の事前トレーニングアプローチと比較して,トレーニング可能なパラメータを90%以上削減しながら,競争力のあるパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2024-01-02T12:14:41Z) - RaDialog: A Large Vision-Language Model for Radiology Report Generation
and Conversational Assistance [53.20640629352422]
会話型AIツールは、所定の医療画像に対して臨床的に正しい放射線学レポートを生成し、議論することができる。
RaDialogは、ラジオロジーレポート生成と対話ダイアログのための、初めて徹底的に評価され、公開された大きな視覚言語モデルである。
本手法は,報告生成における最先端の臨床的正確性を実現し,報告の修正や質問への回答などのインタラクティブなタスクにおいて,印象的な能力を示す。
論文 参考訳（メタデータ） (2023-11-30T16:28:40Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳（メタデータ） (2023-11-18T14:52:26Z) - XrayGPT: Chest Radiographs Summarization using Medical Vision-Language
Models [60.437091462613544]
我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。
胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。
自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
論文 参考訳（メタデータ） (2023-06-13T17:59:59Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:20:00Z) - Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。
提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
論文 参考訳（メタデータ） (2022-09-28T10:27:10Z) - XraySyn: Realistic View Synthesis From a Single Radiograph Through CT
Priors [118.27130593216096]
放射線写真は、X線を用いて患者の内部解剖を視覚化し、3D情報を2次元平面に投影する。
私たちの知る限りでは、ラジオグラフィビューの合成に関する最初の研究である。
本手法は,3次元空間におけるX線撮影の理解を得ることにより,地中骨ラベルを使わずに,X線撮影による骨抽出と骨抑制に応用できることが示唆された。
論文 参考訳（メタデータ） (2020-12-04T05:08:53Z) - XRayGAN: Consistency-preserving Generation of X-ray Images from
Radiology Reports [19.360283053558604]
我々は,X線画像から高精細・高精細・高精細・高精細なX線画像を生成する手法を開発した。
この研究は、放射線学報告から一貫した高解像度のX線画像を生成する最初のものである。
論文 参考訳（メタデータ） (2020-06-17T05:32:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。