論文の概要: Incorporating Clinical Guidelines through Adapting Multi-modal Large Language Model for Prostate Cancer PI-RADS Scoring
- arxiv url: http://arxiv.org/abs/2405.08786v1
- Date: Tue, 14 May 2024 17:35:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 13:08:43.145591
- Title: Incorporating Clinical Guidelines through Adapting Multi-modal Large Language Model for Prostate Cancer PI-RADS Scoring
- Title（参考訳）: 前立腺癌PI-RADSスコーリングにおける多モード大言語モデルの適用による臨床ガイドラインの組み入れ
- Authors: Tiantian Zhang, Manxi Lin, Hongda Guo, Xiaofan Zhang, Ka Fung Peter Chiu, Aasa Feragen, Qi Dou,
- Abstract要約: 前立腺画像報告・データシステム(PI-RADS)はMRIによる臨床上重要な前立腺癌の診断において重要である。
近年の深層学習に基づく PI-RADS 評価法は,本質的な PI-RADS 臨床ガイドラインの組み入れを欠いていることが多い。
本稿では,マルチモーダルな大規模言語モデル(MLLM)を用いてPICGをPI-RADSスコアに組み込む手法を提案する。
- 参考スコア（独自算出の注目度）: 14.804269296760712
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The Prostate Imaging Reporting and Data System (PI-RADS) is pivotal in the diagnosis of clinically significant prostate cancer through MRI imaging. Current deep learning-based PI-RADS scoring methods often lack the incorporation of essential PI-RADS clinical guidelines~(PICG) utilized by radiologists, potentially compromising scoring accuracy. This paper introduces a novel approach that adapts a multi-modal large language model (MLLM) to incorporate PICG into PI-RADS scoring without additional annotations and network parameters. We present a two-stage fine-tuning process aimed at adapting MLLMs originally trained on natural images to the MRI data domain while effectively integrating the PICG. In the first stage, we develop a domain adapter layer specifically tailored for processing 3D MRI image inputs and design the MLLM instructions to differentiate MRI modalities effectively. In the second stage, we translate PICG into guiding instructions for the model to generate PICG-guided image features. Through feature distillation, we align scoring network features with the PICG-guided image feature, enabling the scoring network to effectively incorporate the PICG information. We develop our model on a public dataset and evaluate it in a real-world challenging in-house dataset. Experimental results demonstrate that our approach improves the performance of current scoring networks.
- Abstract（参考訳）: 前立腺画像報告・データシステム(PI-RADS)はMRIによる臨床上重要な前立腺癌の診断において重要である。
現在の深層学習に基づくPI-RADSスコアリング法は, 放射線技師が活用する本質的なPI-RADSガイドライン~(PICG)を欠いていることが多い。
本稿では,マルチモーダルな大規模言語モデル(MLLM)を用いてPICGをPI-RADSスコアに組み込む手法を提案する。
本稿では,自然画像に基づいて訓練されたMLLMをMRIデータ領域に適応させ,PICGを効果的に統合することを目的とした2段階の微調整プロセスを提案する。
最初の段階では、3次元MRI画像入力の処理に適したドメインアダプタ層を開発し、MLLM命令を設計し、MRIのモダリティを効果的に識別する。
第2段階では、PICGをモデルのための指導命令に変換し、PICG誘導画像の特徴を生成する。
特徴蒸留により、スコアリングネットワークの特徴をPICG誘導画像の特徴と整合させ、スコアリングネットワークがPICG情報を効果的に活用できるようにする。
当社のモデルを公開データセット上で開発し,現実の挑戦的な社内データセットで評価する。
実験により,本手法が現在のスコアリングネットワークの性能を向上させることを示す。
関連論文リスト
- A Mutual Inclusion Mechanism for Precise Boundary Segmentation in Medical Images [2.9137615132901704]
医用画像の正確な境界セグメンテーションのための新しい深層学習手法MIPC-Netを提案する。
位置特徴抽出時のチャネル情報に重点を置くMIPCモジュールを提案する。
また,エンコーダとデコーダの統合性を高めるグローバルな残差接続であるGL-MIPC-Residueを提案する。
論文 参考訳（メタデータ） (2024-04-12T02:14:35Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳（メタデータ） (2024-03-27T02:42:52Z) - SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳（メタデータ） (2024-02-27T06:32:56Z) - Enhancing Prostate Cancer Diagnosis with Deep Learning: A Study using
mpMRI Segmentation and Classification [0.0]
前立腺癌(PCa)は世界中の男性の間で重篤な疾患である。早期にPCaを同定し,有効治療のための正確な診断を行うことが重要である。
深層学習(DL)モデルは、医師の関心領域を特定することで、既存の臨床システムを強化し、患者のケアを改善することができる。
本研究は, mpMRI画像の分類とセグメンテーションによく知られたDLモデルを用いてPCaを検出する。
論文 参考訳（メタデータ） (2023-10-09T03:00:15Z) - On the Localization of Ultrasound Image Slices within Point Distribution
Models [84.27083443424408]
甲状腺疾患は高分解能超音波(US)で診断されることが多い
縦断追跡は病理甲状腺形態の変化をモニタリングするための重要な診断プロトコルである。
3次元形状表現におけるUS画像の自動スライスローカライズのためのフレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-01T10:10:46Z) - Explainable unsupervised multi-modal image registration using deep
networks [2.197364252030876]
MRI画像登録は、異なるモダリティ、時間点、スライスから幾何学的に「ペア」診断することを目的としている。
本研究では,我々のDLモデルが完全に説明可能であることを示し,さらなる医用画像データへのアプローチを一般化するための枠組みを構築した。
論文 参考訳（メタデータ） (2023-08-03T19:13:48Z) - Lesion-aware Dynamic Kernel for Polyp Segmentation [49.63274623103663]
ポリープセグメンテーションのための障害対応動的ネットワーク(LDNet)を提案する。
従来のU字型エンコーダ・デコーダ構造であり、動的カーネル生成と更新スキームが組み込まれている。
この単純だが効果的なスキームは、我々のモデルに強力なセグメンテーション性能と一般化能力を与える。
論文 参考訳（メタデータ） (2023-01-12T09:53:57Z) - Z-SSMNet: Zonal-aware Self-supervised Mesh Network for Prostate Cancer Detection and Diagnosis with Bi-parametric MRI [14.101371684361675]
我々はZ-SSMNet(Z-SSMNet)を提案する。
Z-SSMNetは、多次元(2D/2.5D/3D)畳み込みを適応的に統合し、高密度スライス情報と異方性bpMRIのスパースス間情報を学習する。
大規模未ラベルデータを用いてネットワークを事前学習するための自己教師付き学習(SSL)手法を提案する。
論文 参考訳（メタデータ） (2022-12-12T10:08:46Z) - Lung Cancer Lesion Detection in Histopathology Images Using Graph-Based
Sparse PCA Network [93.22587316229954]
ヘマトキシリンとエオシン(H&E)で染色した組織学的肺スライドにおける癌病変の自動検出のためのグラフベーススパース成分分析(GS-PCA)ネットワークを提案する。
我々は,SVM K-rasG12D肺がんモデルから得られたH&Eスライダーの精度・リコール率,Fスコア,谷本係数,レシーバ演算子特性(ROC)の曲線下領域を用いて,提案アルゴリズムの性能評価を行った。
論文 参考訳（メタデータ） (2021-10-27T19:28:36Z) - Optimising Knee Injury Detection with Spatial Attention and Validating
Localisation Ability [0.5772546394254112]
この研究は、膝の外傷検出を最適化するための空間的注意ブロックを備えた、事前訓練された多視点畳み込みニューラルネットワーク(CNN)を用いている。
画像レベルのラベルが付いたオープンソースのMRIデータセットを用いて解析を行った。
論文 参考訳（メタデータ） (2021-08-18T13:24:17Z) - SAG-GAN: Semi-Supervised Attention-Guided GANs for Data Augmentation on
Medical Images [47.35184075381965]
本稿では,GAN(Cycle-Consistency Generative Adversarial Networks)を用いた医用画像生成のためのデータ拡張手法を提案する。
提案モデルでは,正常画像から腫瘍画像を生成することができ,腫瘍画像から正常画像を生成することもできる。
本研究では,従来のデータ拡張手法と合成画像を用いた分類モデルを用いて,実画像を用いた分類モデルを訓練する。
論文 参考訳（メタデータ） (2020-11-15T14:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。