論文の概要: MedImageInsight: An Open-Source Embedding Model for General Domain Medical Imaging

• arxiv url: http://arxiv.org/abs/2410.06542v1
• Date: Wed, 9 Oct 2024 04:36:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 05:09:09.758591
• Title: MedImageInsight: An Open-Source Embedding Model for General Domain Medical Imaging
• Title（参考訳）: MedImageInsight: 一般領域の医療画像のためのオープンソースの埋め込みモデル
• Authors: Noel C. F. Codella, Ying Jin, Shrey Jain, Yu Gu, Ho Hin Lee, Asma Ben Abacha, Alberto Santamaria-Pang, Will Guyman, Naiteek Sangani, Sheng Zhang, Hoifung Poon, Stephanie Hyland, Shruthi Bannur, Javier Alvarez-Valle, Xue Li, John Garrett, Alan McMillan, Gaurav Rajguru, Madhu Maddi, Nilesh Vijayrania, Rehaan Bhimai, Nick Mecklenburg, Rupal Jain, Daniel Holstein, Naveen Gaur, Vijay Aski, Jenq-Neng Hwang, Thomas Lin, Ivan Tarapov, Matthew Lungren, Mu Wei,
• Abstract要約: 我々は、オープンソースの医療画像埋め込みモデルであるMedImageInsightを紹介する。 MedImageInsightは、さまざまなドメインのコレクションに関連付けられたテキストとラベルを持つ医療画像に基づいて訓練されている。 厳密な評価は、MedImageInsightが最先端(SOTA)または人間の専門家レベルのパフォーマンスを、分類、画像画像検索、微調整タスクで達成する能力を示している。
• 参考スコア（独自算出の注目度）: 27.112065477092905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we present MedImageInsight, an open-source medical imaging embedding model. MedImageInsight is trained on medical images with associated text and labels across a diverse collection of domains, including X-Ray, CT, MRI, dermoscopy, OCT, fundus photography, ultrasound, histopathology, and mammography. Rigorous evaluations demonstrate MedImageInsight's ability to achieve state-of-the-art (SOTA) or human expert level performance across classification, image-image search, and fine-tuning tasks. Specifically, on public datasets, MedImageInsight achieves SOTA in CT 3D medical image retrieval, as well as SOTA in disease classification and search for chest X-ray, dermatology, and OCT imaging. Furthermore, MedImageInsight achieves human expert performance in bone age estimation (on both public and partner data), as well as AUC above 0.9 in most other domains. When paired with a text decoder, MedImageInsight achieves near SOTA level single image report findings generation with less than 10\% the parameters of other models. Compared to fine-tuning GPT-4o with only MIMIC-CXR data for the same task, MedImageInsight outperforms in clinical metrics, but underperforms on lexical metrics where GPT-4o sets a new SOTA. Importantly for regulatory purposes, MedImageInsight can generate ROC curves, adjust sensitivity and specificity based on clinical need, and provide evidence-based decision support through image-image search (which can also enable retrieval augmented generation). In an independent clinical evaluation of image-image search in chest X-ray, MedImageInsight outperformed every other publicly available foundation model evaluated by large margins (over 6 points AUC), and significantly outperformed other models in terms of AI fairness (across age and gender). We hope releasing MedImageInsight will help enhance collective progress in medical imaging AI research and development.
• Abstract（参考訳）: 本稿では,オープンソース医療画像埋め込みモデルであるMedImageInsightを紹介する。 MedImageInsightは、X線、CT、MRI、皮膚内視鏡、OCT、眼底写真、超音波、病理組織学、マンモグラフィーなど、さまざまな領域にまたがる関連テキストやラベルの医療画像に基づいて訓練されている。 厳密な評価は、MedImageInsightが最先端(SOTA)または人間の専門家レベルのパフォーマンスを、分類、画像画像検索、微調整タスクで達成する能力を示している。 具体的には, 胸部X線, 皮膚科, OCT画像の検索において, CT 3D 画像検索における SOTA と, 疾患分類および検索における SOTA を達成している。 さらに、MedImageInsightは、他のほとんどのドメインの0.9以上のAUCと同様に、骨年齢推定(パブリックデータとパートナーデータの両方)において、人間の専門家のパフォーマンスを達成する。 テキストデコーダと組み合わせると、MedImageInsightは、他のモデルのパラメータの10倍未満のSOTAレベルの単一画像レポート結果を生成する。 MedImageInsight はMIMIC-CXRデータのみを用いた細調整 GPT-4o と比較して臨床指標では優れていたが,GPT-4o が新しい SOTA をセットする語彙指標では性能が劣る。 重要な目的として、MedImageInsightはROC曲線を生成し、臨床ニーズに応じて感度と特異性を調整し、画像画像検索によるエビデンスに基づく意思決定支援を提供する。 胸部X線画像検索の独立した臨床評価において、MedImageInsightは、大きなマージン(6点以上のAUC)で評価された他の公開基盤モデルよりも優れており、AIフェアネス(年齢と性別)において他のモデルよりも著しく優れていた。 MedImageInsightをリリースすることで、医療画像AIの研究と開発における総合的な進歩が促進されることを願っている。

関連論文リスト

• UnSegMedGAT: Unsupervised Medical Image Segmentation using Graph Attention Networks Clustering [10.862430265350804]
  事前学習したDino-ViTを用いた教師なしセグメンテーションフレームワークを提案する。 医用画像のセグメンテーションにおける顕著な性能向上を実現するために,画像内のグラフ構造を利用する。 提案手法は,MedSAM などの既存の(セミ)手法をはるかに上回ったり,マッチさせたりすることで,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-11-04T10:42:21Z)
• Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
  本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。 提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。 医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2024-03-19T09:28:19Z)
• 3D-MIR: A Benchmark and Empirical Study on 3D Medical Image Retrieval in Radiology [6.851500027718433]
  3D画像検索の分野はまだ発展途上であり、確立された評価ベンチマーク、包括的なデータセット、徹底的な研究が欠如している。 本稿では,3次元医用画像検索のための新しいベンチマーク(3D-MIR)を提案する。 このベンチマークを用いて,一般的なマルチモーダル基礎モデルの2次元スライス,3次元ボリューム,マルチモーダル埋め込みをクエリとして利用する,多様な検索戦略を探索する。
  論文  参考訳（メタデータ） (2023-11-23T00:57:35Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• BMAD: Benchmarks for Medical Anomaly Detection [51.22159321912891]
  異常検出(AD)は、機械学習とコンピュータビジョンの基本的な研究課題である。 医用画像では、ADはまれな疾患や病態を示す可能性のある異常の検出と診断に特に重要である。 医用画像の異常検出方法を評価するための総合評価ベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-06-20T20:23:46Z)
• Generalist Vision Foundation Models for Medical Imaging: A Case Study of Segment Anything Model on Zero-Shot Medical Segmentation [5.547422331445511]
  9つの医用画像セグメンテーションベンチマークにおいて,定量および定性的ゼロショットセグメンテーションの結果を報告する。 本研究は,医用画像における一般視基盤モデルの汎用性を示すものである。
  論文  参考訳（メタデータ） (2023-04-25T08:07:59Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders [50.689585476660554]
  本稿では,正対損失緩和とランダムな文サンプリングを含む新たな微調整手法を提案する。 提案手法は,胸部X線データセットと3つの事前訓練モデル間のゼロショット病理分類を一貫して改善する。
  論文  参考訳（メタデータ） (2022-12-14T06:04:18Z)
• SAG-GAN: Semi-Supervised Attention-Guided GANs for Data Augmentation on Medical Images [47.35184075381965]
  本稿では,GAN(Cycle-Consistency Generative Adversarial Networks)を用いた医用画像生成のためのデータ拡張手法を提案する。 提案モデルでは,正常画像から腫瘍画像を生成することができ,腫瘍画像から正常画像を生成することもできる。 本研究では,従来のデータ拡張手法と合成画像を用いた分類モデルを用いて,実画像を用いた分類モデルを訓練する。
  論文  参考訳（メタデータ） (2020-11-15T14:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。