論文の概要: RadCLIP: Enhancing Radiologic Image Analysis through Contrastive Language-Image Pre-training

• arxiv url: http://arxiv.org/abs/2403.09948v1
• Date: Fri, 15 Mar 2024 01:18:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-18 20:46:21.402473
• Title: RadCLIP: Enhancing Radiologic Image Analysis through Contrastive Language-Image Pre-training
• Title（参考訳）: RadCLIP: コントラスト言語による事前学習による放射線画像解析の強化
• Authors: Zhixiu Lu, Hailong Li, Lili He,
• Abstract要約: RadCLIPは、X線画像解析を洗練させるために、コントラスト言語-画像事前学習を利用するクロスモーダル基礎モデルである。 評価の結果,RadCLIPは放射線画像と対応するテキストアノテーションを効果的に一致させることがわかった。
• 参考スコア（独自算出の注目度）: 0.16385815610837165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of artificial intelligence (AI) with radiology has marked a transformative era in medical diagnostics. Vision foundation models have been adopted to enhance radiologic imaging analysis. However, the distinct complexities of radiological imaging, including the interpretation of 2D and 3D radiological data, pose unique challenges that existing models, trained on general non-medical images, fail to address adequately. To bridge this gap and capitalize on the diagnostic precision required in medical imaging, we introduce RadCLIP: a pioneering cross-modal foundational model that harnesses Contrastive Language-Image Pre-training (CLIP) to refine radiologic image analysis. RadCLIP incorporates a novel 3D slice pooling mechanism tailored for volumetric image analysis and is trained using a comprehensive and diverse dataset of radiologic image-text pairs. Our evaluations demonstrate that RadCLIP effectively aligns radiological images with their corresponding textual annotations, and in the meantime, offers a robust vision backbone for radiologic imagery with significant promise.
• Abstract（参考訳）: 人工知能(AI)と放射線学の統合は、医学診断における転換期を象徴している。 放射線画像解析を強化するために、視覚基盤モデルが採用されている。 しかし、2Dおよび3Dの放射線学的データの解釈を含む放射線画像の複雑さは、一般的な非医学的画像に基づいて訓練された既存のモデルが適切に対処できないという固有の課題を生じさせる。 このギャップを埋め、医用画像診断に必要な診断精度を活かすため、X線画像解析を洗練させるためにContrastive Language- Image Pre-Training(CLIP)を利用する先駆的なクロスモーダル基盤モデルであるRadCLIPを紹介した。 RadCLIPには、ボリューム画像解析に適した新しい3Dスライスプーリング機構が組み込まれており、無線画像テキストペアの包括的で多様なデータセットを使用して訓練されている。 評価の結果,RadCLIPは,放射線画像と対応するテキストアノテーションを効果的に整合させ,その一方で,ラジオグラフィ画像の堅牢なバックボーンを有望に提供できることが示唆された。

関連論文リスト

• AutoRad-Lung: A Radiomic-Guided Prompting Autoregressive Vision-Language Model for Lung Nodule Malignancy Prediction [5.736781475109306]
  肺がんは、世界中でがん関連死亡の原因の1つとなっている。 臨床実践では、放射線技師はCT画像から抽出した定量的で手作りの放射線学的特徴に頼っている。 本稿では,手作りラジオミクスから発生するプロンプトと,自己回帰的に事前訓練されたVLMを結合したAutoRad-Lungを紹介する。
  論文  参考訳（メタデータ） (2025-03-26T15:56:48Z)
• UniCrossAdapter: Multimodal Adaptation of CLIP for Radiology Report Generation [31.72930277939111]
  画像とテキスト間のクロスモーダルセマンティクスをよりよく捉えるために,大規模な事前学習型視覚言語モデルであるCLIPから表現を転送することを提案する。 効率的な適応を実現するために、CLIPに組み込まれ、ターゲットタスクに微調整される軽量アダプタモジュールであるUniCrossAdapterを導入する。
  論文  参考訳（メタデータ） (2025-03-20T08:28:53Z)
• Expert-level vision-language foundation model for real-world radiology and comprehensive evaluation [27.05259342502574]
  本稿では,放射線学に適した視覚言語基盤モデルRadFoundを紹介する。 8100万枚以上の画像と25万枚の画像テキストのペアからなる、最も広範なデータセットでトレーニングされている。 専門家レベルのマルチモーダル認識と生成能力を確立するために、RadFoundは拡張された視覚エンコーダを導入した。
  論文  参考訳（メタデータ） (2024-09-24T15:31:49Z)
• D-Rax: Domain-specific Radiologic assistant leveraging multi-modal data and eXpert model predictions [8.50767187405446]
  ドメイン固有の対話型無線支援ツールD-Raxを提案する。 我々は胸部X線(CXR)画像の会話解析を強化し,放射線学的報告を支援する。 オープン・エンド・会話とクローズド・会話の双方において,反応の統計的に有意な改善が認められた。
  論文  参考訳（メタデータ） (2024-07-02T18:43:10Z)
• CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
  我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。 本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
  論文  参考訳（メタデータ） (2024-04-23T17:59:01Z)
• RAD-DINO: Exploring Scalable Medical Image Encoders Beyond Text Supervision [44.00149519249467]
  言語による事前学習は、画像から意味論的に意味のある特徴を抽出する貴重な方法であることが証明されている。 生体画像エンコーダRAD-DINOについて検討した。
  論文  参考訳（メタデータ） (2024-01-19T17:02:17Z)
• Freeze the backbones: A Parameter-Efficient Contrastive Approach to Robust Medical Vision-Language Pre-training [15.790435273150083]
  本稿では,事前に訓練した画像やテキストエンコーダの医療知識を凍結保存して保存するバックボーン非依存型適応フレームワークを提案する。 当社のフレームワークは,既存の事前トレーニングアプローチと比較して,トレーニング可能なパラメータを90%以上削減しながら,競争力のあるパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-01-02T12:14:41Z)
• RaDialog: A Large Vision-Language Model for Radiology Report Generation and Conversational Assistance [53.20640629352422]
  会話型AIツールは、所定の医療画像に対して臨床的に正しい放射線学レポートを生成し、議論することができる。 RaDialogは、ラジオロジーレポート生成と対話ダイアログのための、初めて徹底的に評価され、公開された大きな視覚言語モデルである。 本手法は,報告生成における最先端の臨床的正確性を実現し,報告の修正や質問への回答などのインタラクティブなタスクにおいて,印象的な能力を示す。
  論文  参考訳（メタデータ） (2023-11-30T16:28:40Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
  我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。 胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。 自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
  論文  参考訳（メタデータ） (2023-06-13T17:59:59Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
  我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。 提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
  論文  参考訳（メタデータ） (2022-09-28T10:27:10Z)
• XraySyn: Realistic View Synthesis From a Single Radiograph Through CT Priors [118.27130593216096]
  放射線写真は、X線を用いて患者の内部解剖を視覚化し、3D情報を2次元平面に投影する。 私たちの知る限りでは、ラジオグラフィビューの合成に関する最初の研究である。 本手法は,3次元空間におけるX線撮影の理解を得ることにより,地中骨ラベルを使わずに,X線撮影による骨抽出と骨抑制に応用できることが示唆された。
  論文  参考訳（メタデータ） (2020-12-04T05:08:53Z)
• XRayGAN: Consistency-preserving Generation of X-ray Images from Radiology Reports [19.360283053558604]
  我々は,X線画像から高精細・高精細・高精細・高精細なX線画像を生成する手法を開発した。 この研究は、放射線学報告から一貫した高解像度のX線画像を生成する最初のものである。
  論文  参考訳（メタデータ） (2020-06-17T05:32:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。