論文の概要: Incorporating Clinical Guidelines through Adapting Multi-modal Large Language Model for Prostate Cancer PI-RADS Scoring
- arxiv url: http://arxiv.org/abs/2405.08786v1
- Date: Tue, 14 May 2024 17:35:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 13:08:43.145591
- Title: Incorporating Clinical Guidelines through Adapting Multi-modal Large Language Model for Prostate Cancer PI-RADS Scoring
- Title(参考訳): 前立腺癌PI-RADSスコーリングにおける多モード大言語モデルの適用による臨床ガイドラインの組み入れ
- Authors: Tiantian Zhang, Manxi Lin, Hongda Guo, Xiaofan Zhang, Ka Fung Peter Chiu, Aasa Feragen, Qi Dou,
- Abstract要約: 前立腺画像報告・データシステム(PI-RADS)はMRIによる臨床上重要な前立腺癌の診断において重要である。
近年の深層学習に基づく PI-RADS 評価法は,本質的な PI-RADS 臨床ガイドラインの組み入れを欠いていることが多い。
本稿では,マルチモーダルな大規模言語モデル(MLLM)を用いてPICGをPI-RADSスコアに組み込む手法を提案する。
- 参考スコア(独自算出の注目度): 14.804269296760712
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The Prostate Imaging Reporting and Data System (PI-RADS) is pivotal in the diagnosis of clinically significant prostate cancer through MRI imaging. Current deep learning-based PI-RADS scoring methods often lack the incorporation of essential PI-RADS clinical guidelines~(PICG) utilized by radiologists, potentially compromising scoring accuracy. This paper introduces a novel approach that adapts a multi-modal large language model (MLLM) to incorporate PICG into PI-RADS scoring without additional annotations and network parameters. We present a two-stage fine-tuning process aimed at adapting MLLMs originally trained on natural images to the MRI data domain while effectively integrating the PICG. In the first stage, we develop a domain adapter layer specifically tailored for processing 3D MRI image inputs and design the MLLM instructions to differentiate MRI modalities effectively. In the second stage, we translate PICG into guiding instructions for the model to generate PICG-guided image features. Through feature distillation, we align scoring network features with the PICG-guided image feature, enabling the scoring network to effectively incorporate the PICG information. We develop our model on a public dataset and evaluate it in a real-world challenging in-house dataset. Experimental results demonstrate that our approach improves the performance of current scoring networks.
- Abstract(参考訳): 前立腺画像報告・データシステム(PI-RADS)はMRIによる臨床上重要な前立腺癌の診断において重要である。
現在の深層学習に基づくPI-RADSスコアリング法は, 放射線技師が活用する本質的なPI-RADSガイドライン~(PICG)を欠いていることが多い。
本稿では,マルチモーダルな大規模言語モデル(MLLM)を用いてPICGをPI-RADSスコアに組み込む手法を提案する。
本稿では,自然画像に基づいて訓練されたMLLMをMRIデータ領域に適応させ,PICGを効果的に統合することを目的とした2段階の微調整プロセスを提案する。
最初の段階では、3次元MRI画像入力の処理に適したドメインアダプタ層を開発し、MLLM命令を設計し、MRIのモダリティを効果的に識別する。
第2段階では、PICGをモデルのための指導命令に変換し、PICG誘導画像の特徴を生成する。
特徴蒸留により、スコアリングネットワークの特徴をPICG誘導画像の特徴と整合させ、スコアリングネットワークがPICG情報を効果的に活用できるようにする。
当社のモデルを公開データセット上で開発し,現実の挑戦的な社内データセットで評価する。
実験により,本手法が現在のスコアリングネットワークの性能を向上させることを示す。
関連論文リスト
- A Mutual Inclusion Mechanism for Precise Boundary Segmentation in Medical Images [2.9137615132901704]
医用画像の正確な境界セグメンテーションのための新しい深層学習手法MIPC-Netを提案する。
位置特徴抽出時のチャネル情報に重点を置くMIPCモジュールを提案する。
また,エンコーダとデコーダの統合性を高めるグローバルな残差接続であるGL-MIPC-Residueを提案する。
論文 参考訳(メタデータ) (2024-04-12T02:14:35Z) - SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳(メタデータ) (2024-02-27T06:32:56Z) - Polar-Net: A Clinical-Friendly Model for Alzheimer's Disease Detection
in OCTA Images [53.235117594102675]
オプティカルコヒーレンス・トモグラフィーは、網膜微小血管の画像化によってアルツハイマー病(AD)を検出するための有望なツールである。
我々はPolar-Netと呼ばれる新しいディープラーニングフレームワークを提案し、解釈可能な結果を提供し、臨床上の事前知識を活用する。
Polar-Netは既存の最先端の手法よりも優れており,網膜血管変化とADとの関連性について,より貴重な病理学的証拠を提供する。
論文 参考訳(メタデータ) (2023-11-10T11:49:49Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳(メタデータ) (2023-11-01T07:24:22Z) - Enhancing Prostate Cancer Diagnosis with Deep Learning: A Study using
mpMRI Segmentation and Classification [0.0]
前立腺癌(PCa)は世界中の男性の間で重篤な疾患である。早期にPCaを同定し,有効治療のための正確な診断を行うことが重要である。
深層学習(DL)モデルは、医師の関心領域を特定することで、既存の臨床システムを強化し、患者のケアを改善することができる。
本研究は, mpMRI画像の分類とセグメンテーションによく知られたDLモデルを用いてPCaを検出する。
論文 参考訳(メタデータ) (2023-10-09T03:00:15Z) - Explainable unsupervised multi-modal image registration using deep
networks [2.197364252030876]
MRI画像登録は、異なるモダリティ、時間点、スライスから幾何学的に「ペア」診断することを目的としている。
本研究では,我々のDLモデルが完全に説明可能であることを示し,さらなる医用画像データへのアプローチを一般化するための枠組みを構築した。
論文 参考訳(メタデータ) (2023-08-03T19:13:48Z) - Z-SSMNet: A Zonal-aware Self-Supervised Mesh Network for Prostate Cancer
Detection and Diagnosis in bpMRI [16.950834401030093]
前立腺癌(PCa)は、男性において最も多いがんの1つであり、世界中の多くの人々が臨床的に重要なPCa(csa)によって死亡した。
バイパラメトリックMRI(bpMRI)におけるcsPCaの早期診断はPCaの精度向上に寄与する。
既存の最先端のAIアルゴリズムは、しばしば3Dボリューム画像のスライス間相関を捉えない2D画像に制限される。
複数2D, 2.5D, 3D CNNを適応的に融合するZ-SSMNetを提案する。
論文 参考訳(メタデータ) (2022-12-12T10:08:46Z) - CNN-LSTM Based Multimodal MRI and Clinical Data Fusion for Predicting
Functional Outcome in Stroke Patients [1.5250925845050138]
脳卒中患者の管理において臨床結果予測は重要な役割を担っている。
機械学習の観点から見ると、大きな課題のひとつは異種データを扱うことだ。
本稿では,長い短期記憶(CNN-LSTM)に基づくアンサンブルモデルを提案する。
論文 参考訳(メタデータ) (2022-05-11T14:46:01Z) - Lung Cancer Lesion Detection in Histopathology Images Using Graph-Based
Sparse PCA Network [93.22587316229954]
ヘマトキシリンとエオシン(H&E)で染色した組織学的肺スライドにおける癌病変の自動検出のためのグラフベーススパース成分分析(GS-PCA)ネットワークを提案する。
我々は,SVM K-rasG12D肺がんモデルから得られたH&Eスライダーの精度・リコール率,Fスコア,谷本係数,レシーバ演算子特性(ROC)の曲線下領域を用いて,提案アルゴリズムの性能評価を行った。
論文 参考訳(メタデータ) (2021-10-27T19:28:36Z) - Explaining Clinical Decision Support Systems in Medical Imaging using
Cycle-Consistent Activation Maximization [112.2628296775395]
ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。
臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。
そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
論文 参考訳(メタデータ) (2020-10-09T14:39:27Z) - Rethinking the Extraction and Interaction of Multi-Scale Features for
Vessel Segmentation [53.187152856583396]
網膜血管と主要動脈を2次元基底画像と3次元CTアンギオグラフィー(CTA)スキャンで分割する,PC-Netと呼ばれる新しいディープラーニングモデルを提案する。
PC-Netでは、ピラミッド圧縮励起(PSE)モジュールが各畳み込みブロックに空間情報を導入し、より効果的なマルチスケール特徴を抽出する能力を高めている。
論文 参考訳(メタデータ) (2020-10-09T08:22:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。