論文の概要: MedPix 2.0: A Comprehensive Multimodal Biomedical Data set for Advanced AI Applications with Retrieval Augmented Generation and Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2407.02994v2
• Date: Wed, 08 Jan 2025 13:35:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 16:10:19.333104
• Title: MedPix 2.0: A Comprehensive Multimodal Biomedical Data set for Advanced AI Applications with Retrieval Augmented Generation and Knowledge Graphs
• Title（参考訳）: MedPix 2.0: 検索生成と知識グラフを備えた高度なAIアプリケーションのための総合的マルチモーダルバイオメディカルデータセット
• Authors: Irene Siragusa, Salvatore Contino, Massimo La Ciura, Rosario Alicata, Roberto Pirrone,
• Abstract要約: 本稿では,MedPix 2.0データセット構築のワークフロー全体について述べる。 結果として得られるアーキテクチャは、医療意思決定支援システムとしてエンドツーエンドでクエリすることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing interest in developing Artificial Intelligence applications in the medical domain, suffers from the lack of high-quality data set, mainly due to privacy-related issues. In addition, the recent increase in large multimodal models (LMM) leads to the need for multimodal medical data sets, where clinical reports and findings are attached to the corresponding CT or MRI scans. This paper illustrates the entire workflow for building the MedPix 2.0 data set. Starting with the well-known multimodal data set MedPix\textsuperscript{\textregistered}, mainly used by physicians, nurses, and healthcare students for Continuing Medical Education purposes, a semi-automatic pipeline was developed to extract visual and textual data followed by a manual curing procedure in which noisy samples were removed, thus creating a MongoDB database. Along with the data set, we developed a GUI aimed at navigating efficiently the MongoDB instance and obtaining the raw data that can be easily used for training and/or fine-tuning LMMs. To enforce this point, in this work, we first recall DR-Minerva, a RAG-based LMM trained using MedPix 2.0. DR-Minerva predicts the body part and the modality used to scan its input image. We also propose the extension of DR-Minerva with a Knowledge Graph that uses Llama 3.1 Instruct 8B, and leverages MedPix 2.0. The resulting architecture can be queried in a end-to-end manner, as a medical decision support system. MedPix 2.0 is available on GitHub. \url{https://github.com/CHILab1/MedPix-2.0}
• Abstract（参考訳）: 医療分野における人工知能アプリケーションの開発に対する関心が高まり、プライバシー関連の問題による高品質なデータセットの欠如に悩まされている。 さらに、近年の大型マルチモーダルモデル(LMM)の増加により、臨床報告や所見が対応するCTやMRIスキャンに添付されるマルチモーダル医療データセットの必要性が高まっている。 本稿では,MedPix 2.0データセット構築のワークフロー全体について述べる。 MedPix\textsuperscript{\textregistered} という有名なマルチモーダルデータセットから始まり、主に医師、看護師、医療学生が継続医療教育目的で使用している。 データセットとともに、MongoDBインスタンスを効率的にナビゲートし、トレーニングや微調整に簡単に使用できる生データを取得するためのGUIを開発しました。 この点を強制するために、我々はまず、MedPix 2.0を使って訓練されたRAGベースのLMMであるDR-Minervaを思い出す。 DR-Minervaは体の部分と入力画像のスキャンに使われるモダリティを予測する。 また、Llama 3.1 Instruct 8Bを使用し、MedPix 2.0を活用する知識グラフによるDR-Minervaの拡張を提案する。 結果として得られるアーキテクチャは、医療意思決定支援システムとしてエンドツーエンドでクエリすることができる。 MedPix 2.0はGitHubで入手できる。 \url{https://github.com/CHILab1/MedPix-2.0}

関連論文リスト

• MedCoDi-M: A Multi-Prompt Foundation Model for Multimodal Medical Data Generation [22.908801443059758]
  マルチモーダル医療データ生成モデルであるMedCoDi-Mを提案する。 MIMIC-CXRデータセット上の5つの競合と比較した。 MedCoDi-Mの医療分野における課題に対する有効性について検討した。
  論文  参考訳（メタデータ） (2025-01-08T16:53:56Z)
• MedMax: Mixed-Modal Instruction Tuning for Training Biomedical Assistants [28.04215981636089]
  混合モーダル基礎モデルのための大規模マルチモーダルバイオメディカルインストラクションチューニングデータセットであるMedMaxについて述べる。 1.47万のインスタンスを持つMedMaxは、インターリーブ画像テキスト生成、バイオメディカル画像キャプションと生成、ビジュアルチャット、レポート理解など、さまざまなタスクを含んでいる。 我々は、MedMaxデータセットの混合モーダル基礎モデルを微調整し、大幅なパフォーマンス改善を実現した。
  論文  参考訳（メタデータ） (2024-12-17T08:30:00Z)
• UniMed-CLIP: Towards a Unified Image-Text Pretraining Paradigm for Diverse Medical Imaging Modalities [68.12889379702824]
  対照的な学習によって訓練された視覚言語モデル(VLM)は、自然画像タスクにおいて顕著な成功を収めた。 UniMedは530万以上の画像テキストペアからなる、大規模でオープンソースのマルチモーダル医療データセットである。 我々は、6つのモダリティのための統一VLMであるUniMed-CLIPを訓練し、ゼロショット評価において顕著な利益を得た。
  論文  参考訳（メタデータ） (2024-12-13T18:59:40Z)
• LoGra-Med: Long Context Multi-Graph Alignment for Medical Vision-Language Model [55.80651780294357]
  最新の医療用マルチモーダル大規模言語モデル(med-MLLM)は、事前訓練において命令追従データを活用する。 LoGra-Medは新しいマルチグラフアライメントアルゴリズムで、画像のモダリティ、会話ベースの記述、拡張キャプション間でのトリプルト相関を強制する。 以上の結果から,LoGra-Medは医療用VQAの600K画像テキスト対に対してLAVA-Medと一致し,その10%でトレーニングした場合に有意に優れていた。
  論文  参考訳（メタデータ） (2024-10-03T15:52:03Z)
• MedTrinity-25M: A Large-scale Multimodal Dataset with Multigranular Annotations for Medicine [53.01393667775077]
  本稿では,医療用大規模マルチモーダルデータセットであるMedTrinity-25Mを紹介する。 10のモダリティで2500万枚以上の画像をカバーしており、65以上の疾患に対する多彩なアノテーションがある。 画像テキストペアの可用性によって制限された既存のアプローチとは異なり、私たちは最初の自動パイプラインを開発しました。
  論文  参考訳（メタデータ） (2024-08-06T02:09:35Z)
• HoneyBee: A Scalable Modular Framework for Creating Multimodal Oncology Datasets with Foundational Embedding Models [16.567468717846676]
  HoneyBeeは、マルチモーダルオンコロジーデータセットを構築するためのスケーラブルなモジュラーフレームワークである。 生の医療データに欠かせない特徴や関係を捉えた埋め込みを生成する。 HoneyBeeは、現在進行中のオープンソース活動であり、コード、データセット、モデルは、プロジェクトリポジトリで利用可能である。
  論文  参考訳（メタデータ） (2024-05-13T04:35:14Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Towards Generalist Foundation Model for Radiology by Leveraging Web-scale 2D&3D Medical Data [66.9359934608229]
  この研究はRadFMと呼ばれるRadlogy Foundation Modelの開発を開始することを目的としている。 われわれの知る限りでは、これは2Dスキャンと3Dスキャンによる、最初の大規模で高品質な医療用ビジュアル言語データセットである。 本稿では,モダリティ認識,疾患診断,視覚的質問応答,レポート生成,合理的診断の5つのタスクからなる新しい評価ベンチマークRadBenchを提案する。
  論文  参考訳（メタデータ） (2023-08-04T17:00:38Z)
• Med-Flamingo: a Multimodal Medical Few-shot Learner [58.85676013818811]
  医療領域に適応したマルチモーダル・数ショット学習者であるMed-Flamingoを提案する。 OpenFlamingo-9Bに基づいて、出版物や教科書からの医療画像テキストデータのペア化とインターリーブ化を継続する。 本研究は,医療用VQA(ジェネレーティブ医療用VQA)の最初の人間評価である。
  論文  参考訳（メタデータ） (2023-07-27T20:36:02Z)
• DeepMediX: A Deep Learning-Driven Resource-Efficient Medical Diagnosis Across the Spectrum [15.382184404673389]
  この作業では,この課題に大きく対処する,画期的な,リソース効率の高いモデルである textttDeepMediX が紹介されている。 MobileNetV2アーキテクチャ上に構築されたDeepMediXは、脳MRIスキャンと皮膚がん画像の分類に長けている。 DeepMediXの設計にはフェデレートラーニングの概念も含まれている。
  論文  参考訳（メタデータ） (2023-07-01T12:30:58Z)
• medigan: A Python Library of Pretrained Generative Models for Enriched Data Access in Medical Imaging [3.8568465270960264]
  mediganは、オープンソースのフレームワークに依存しないPythonライブラリとして実装された、事前訓練された生成モデルのワンストップショップである。 研究者や開発者は、ほんの数行のコードでトレーニングデータを作成し、拡大し、ドメインに適応することができる。 ライブラリのスケーラビリティと設計は、統合され、容易に利用できる事前訓練された生成モデルの増加によって実証される。
  論文  参考訳（メタデータ） (2022-09-28T23:45:33Z)
• Understanding the Tricks of Deep Learning in Medical Image Segmentation: Challenges and Future Directions [66.40971096248946]
  本稿では,モデル実装の異なるフェーズに対して,MedISegの一連のトリックを収集する。 本稿では,これらの手法の有効性を一貫したベースライン上で実験的に検討する。 私たちはまた、それぞれのコンポーネントがプラグインとプレイの利点を持つ強力なMedISegリポジトリをオープンソースにしました。
  論文  参考訳（メタデータ） (2022-09-21T12:30:05Z)
• MedMNIST v2: A Large-Scale Lightweight Benchmark for 2D and 3D Biomedical Image Classification [59.10015984688104]
  MedMNIST v2は、MNISTに似た大規模データセットコレクションである。 得られたデータセットは708,069個の2D画像と10,214個の3D画像で構成されている。
  論文  参考訳（メタデータ） (2021-10-27T22:02:04Z)
• MedMNIST Classification Decathlon: A Lightweight AutoML Benchmark for Medical Image Analysis [46.02653153307692]
  MedMNIST(MedMNIST)は、医療用オープンデータセット10の集合体である。 MedMNISTは、軽量28x28画像の分類タスクを実行するために標準化されている。 MedMNISTは、医療画像解析において、教育目的、迅速なプロトタイピング、マルチモーダル機械学習、AutoMLに使用できる。
  論文  参考訳（メタデータ） (2020-10-28T12:41:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。