論文の概要: MedPix 2.0: A Comprehensive Multimodal Biomedical Data set for Advanced AI Applications with Retrieval Augmented Generation and Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2407.02994v2
• Date: Wed, 08 Jan 2025 13:35:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:53:11.681823
• Title: MedPix 2.0: A Comprehensive Multimodal Biomedical Data set for Advanced AI Applications with Retrieval Augmented Generation and Knowledge Graphs
• Title（参考訳）: MedPix 2.0: 検索生成と知識グラフを備えた高度なAIアプリケーションのための総合的マルチモーダルバイオメディカルデータセット
• Authors: Irene Siragusa, Salvatore Contino, Massimo La Ciura, Rosario Alicata, Roberto Pirrone,
• Abstract要約: 本稿では,MedPix 2.0データセット構築のワークフロー全体について述べる。 結果として得られるアーキテクチャは、医療意思決定支援システムとしてエンドツーエンドでクエリすることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The increasing interest in developing Artificial Intelligence applications in the medical domain, suffers from the lack of high-quality data set, mainly due to privacy-related issues. In addition, the recent increase in large multimodal models (LMM) leads to the need for multimodal medical data sets, where clinical reports and findings are attached to the corresponding CT or MRI scans. This paper illustrates the entire workflow for building the MedPix 2.0 data set. Starting with the well-known multimodal data set MedPix\textsuperscript{\textregistered}, mainly used by physicians, nurses, and healthcare students for Continuing Medical Education purposes, a semi-automatic pipeline was developed to extract visual and textual data followed by a manual curing procedure in which noisy samples were removed, thus creating a MongoDB database. Along with the data set, we developed a GUI aimed at navigating efficiently the MongoDB instance and obtaining the raw data that can be easily used for training and/or fine-tuning LMMs. To enforce this point, in this work, we first recall DR-Minerva, a RAG-based LMM trained using MedPix 2.0. DR-Minerva predicts the body part and the modality used to scan its input image. We also propose the extension of DR-Minerva with a Knowledge Graph that uses Llama 3.1 Instruct 8B, and leverages MedPix 2.0. The resulting architecture can be queried in a end-to-end manner, as a medical decision support system. MedPix 2.0 is available on GitHub. \url{https://github.com/CHILab1/MedPix-2.0}
• Abstract（参考訳）: 医療分野における人工知能アプリケーションの開発に対する関心が高まり、プライバシー関連の問題による高品質なデータセットの欠如に悩まされている。 さらに、近年の大型マルチモーダルモデル(LMM)の増加により、臨床報告や所見が対応するCTやMRIスキャンに添付されるマルチモーダル医療データセットの必要性が高まっている。 本稿では,MedPix 2.0データセット構築のワークフロー全体について述べる。 MedPix\textsuperscript{\textregistered} という有名なマルチモーダルデータセットから始まり、主に医師、看護師、医療学生が継続医療教育目的で使用している。 データセットとともに、MongoDBインスタンスを効率的にナビゲートし、トレーニングや微調整に簡単に使用できる生データを取得するためのGUIを開発しました。 この点を強制するために、我々はまず、MedPix 2.0を使って訓練されたRAGベースのLMMであるDR-Minervaを思い出す。 DR-Minervaは体の部分と入力画像のスキャンに使われるモダリティを予測する。 また、Llama 3.1 Instruct 8Bを使用し、MedPix 2.0を活用する知識グラフによるDR-Minervaの拡張を提案する。 結果として得られるアーキテクチャは、医療意思決定支援システムとしてエンドツーエンドでクエリすることができる。 MedPix 2.0はGitHubで入手できる。 \url{https://github.com/CHILab1/MedPix-2.0}

関連論文リスト

• MMXU: A Multi-Modal and Multi-X-ray Understanding Dataset for Disease Progression [9.739199023618042]
  MedVQAのための新しいデータセットであるMMXUを導入する。 シングルイメージの質問に主に対処する以前のデータセットとは異なり、MMXUは現在の患者データと歴史的な患者データの両方を取り入れたマルチイメージの質問を可能にする。 実験の結果,過去の記録の統合は診断精度を少なくとも20%向上させ,現在のLVLMと人的専門家のパフォーマンスのギャップを埋めることを示した。
  論文  参考訳（メタデータ） (2025-02-17T10:43:38Z)
• UniMed-CLIP: Towards a Unified Image-Text Pretraining Paradigm for Diverse Medical Imaging Modalities [68.12889379702824]
  対照的な学習によって訓練された視覚言語モデル(VLM)は、自然画像タスクにおいて顕著な成功を収めた。 UniMedは530万以上の画像テキストペアからなる、大規模でオープンソースのマルチモーダル医療データセットである。 我々は、6つのモダリティのための統一VLMであるUniMed-CLIPを訓練し、ゼロショット評価において顕著な利益を得た。
  論文  参考訳（メタデータ） (2024-12-13T18:59:40Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• All-in-one platform for AI R&D in medical imaging, encompassing data collection, selection, annotation, and pre-processing [0.6291643559814802]
  Deep Learningは医療画像研究開発(R&D)を推進しており、AI/MLベースの医療機器の頻繁な臨床利用につながっている。 しかし、AIR&Dを前進させるためには、1) ヨーロッパ/アメリカ、そしてアジアからの10%未満のデータを含む重要なデータ不均衡、2) 世界の人口の60%を占めること、2) 商用利用のためにデータセットをキュレートするために必要な時間と投資の2つの課題が生じる。 そこで我々は,1)データ収集,2)データ選択,3)アノテーション,および4)事前処理などのステップを含む,最初の商用医用イメージングプラットフォームを構築した。
  論文  参考訳（メタデータ） (2024-03-10T09:24:53Z)
• Towards Generalist Foundation Model for Radiology by Leveraging Web-scale 2D&3D Medical Data [66.9359934608229]
  この研究はRadFMと呼ばれるRadlogy Foundation Modelの開発を開始することを目的としている。 われわれの知る限りでは、これは2Dスキャンと3Dスキャンによる、最初の大規模で高品質な医療用ビジュアル言語データセットである。 本稿では,モダリティ認識,疾患診断,視覚的質問応答,レポート生成,合理的診断の5つのタスクからなる新しい評価ベンチマークRadBenchを提案する。
  論文  参考訳（メタデータ） (2023-08-04T17:00:38Z)
• Med-Flamingo: a Multimodal Medical Few-shot Learner [58.85676013818811]
  医療領域に適応したマルチモーダル・数ショット学習者であるMed-Flamingoを提案する。 OpenFlamingo-9Bに基づいて、出版物や教科書からの医療画像テキストデータのペア化とインターリーブ化を継続する。 本研究は,医療用VQA(ジェネレーティブ医療用VQA)の最初の人間評価である。
  論文  参考訳（メタデータ） (2023-07-27T20:36:02Z)
• medigan: A Python Library of Pretrained Generative Models for Enriched Data Access in Medical Imaging [3.8568465270960264]
  mediganは、オープンソースのフレームワークに依存しないPythonライブラリとして実装された、事前訓練された生成モデルのワンストップショップである。 研究者や開発者は、ほんの数行のコードでトレーニングデータを作成し、拡大し、ドメインに適応することができる。 ライブラリのスケーラビリティと設計は、統合され、容易に利用できる事前訓練された生成モデルの増加によって実証される。
  論文  参考訳（メタデータ） (2022-09-28T23:45:33Z)
• Understanding the Tricks of Deep Learning in Medical Image Segmentation: Challenges and Future Directions [66.40971096248946]
  本稿では,モデル実装の異なるフェーズに対して,MedISegの一連のトリックを収集する。 本稿では,これらの手法の有効性を一貫したベースライン上で実験的に検討する。 私たちはまた、それぞれのコンポーネントがプラグインとプレイの利点を持つ強力なMedISegリポジトリをオープンソースにしました。
  論文  参考訳（メタデータ） (2022-09-21T12:30:05Z)
• MedMNIST v2: A Large-Scale Lightweight Benchmark for 2D and 3D Biomedical Image Classification [59.10015984688104]
  MedMNIST v2は、MNISTに似た大規模データセットコレクションである。 得られたデータセットは708,069個の2D画像と10,214個の3D画像で構成されている。
  論文  参考訳（メタデータ） (2021-10-27T22:02:04Z)
• MedMNIST Classification Decathlon: A Lightweight AutoML Benchmark for Medical Image Analysis [46.02653153307692]
  MedMNIST(MedMNIST)は、医療用オープンデータセット10の集合体である。 MedMNISTは、軽量28x28画像の分類タスクを実行するために標準化されている。 MedMNISTは、医療画像解析において、教育目的、迅速なプロトタイピング、マルチモーダル機械学習、AutoMLに使用できる。
  論文  参考訳（メタデータ） (2020-10-28T12:41:18Z)
• ivadomed: A Medical Imaging Deep Learning Toolbox [3.6064670806006647]
  ivadomedは、ディープラーニングモデルを設計、エンドツーエンドのトレーニング、評価するためのオープンソースのPythonパッケージである。 パッケージにはAPI、コマンドラインツール、ドキュメント、チュートリアルが含まれている。
  論文  参考訳（メタデータ） (2020-10-20T03:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。