論文の概要: Cross-modal triage network: a multimodal deep learning framework for severity-based triage and visual explainability in chest radiographs
- arxiv url: http://arxiv.org/abs/2609.04357v1
- Date: Thu, 03 Sep 2026 18:19:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.782842
- Title: Cross-modal triage network: a multimodal deep learning framework for severity-based triage and visual explainability in chest radiographs
- Title(参考訳): クロスモーダルトリアージネットワーク:胸部X線写真における重度トリアージと視覚的説明性のための多モードディープラーニングフレームワーク
- Abstract要約: CMTNはMIMIC-CXR-JPGから34,639枚の画像テキストペアで訓練された。
熱マップは盲目の専門医に対して2段階の臨床検査で評価した。
- 参考スコア(独自算出の注目度): 0.3167924351428519
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Purpose: Increased number of chest radiograph (CXR) scans create a triage bottleneck, queueing urgent examinations behind routine ones. Existing AI tools are predominantly unimodal binary classifiers lacking severity awareness, and multimodal systems are rarely benchmarked against expert radiologists. To this end, we developed a multimodal deep learning framework for joint severity triage, pathology detection, and native visual explanation. Approach: We propose the cross-modal triage network (CMTN), fusing a Swin Transformer V2 visual encoder with a PubMedBERT text encoder via gated cross-attention. The CMTN was trained on 34,639 image-text pairs (12,489 patients) from MIMIC-CXR-JPG, optimizing an ordinal focal loss for four-tier severity triage and binary cross-entropy for 14 pathologies. Beyond quantitative benchmarking, attention heatmaps were evaluated against a blinded expert radiologist in a two-phase clinical audit comparing model triage output to expert severity assessment (100 cases) and grading spatial-semantic concordance (116 heatmaps). Results: The CMTN achieved strong ordinal agreement with reference labels (quadratic weighted kappa [QWK] = 0.9341, 95\% CI: 0.9219 to 0.9449) and macro-AUROC of 0.9970 across 14 pathologies, with 34~ms latency, outperforming the state-of-the-art BioViL multimodal baseline (QWK = 0.7679). However, the blinded Phase I clinical audit revealed substantially lower agreement with genuine radiologist judgment (QWK = 0.1399). Phase II found 54.3\% of heatmaps achieved clinically acceptable spatial localization. Conclusions: The CMTN demonstrated an efficient multimodal architecture for CXR triage. The divergence between algorithmic and radiologist agreement demonstrates that benchmark performance against NLP-derived labels is insufficient, highlighting the need for radiologist-labeled ground truth before clinical deployment.
- Abstract(参考訳): 目的: 胸部X線撮影(CXR)スキャンの増加はトリアージボトルネックを発生させ, 定期検査の後方で緊急検査を行う。
既存のAIツールは、重度認識の欠如が主な要因であり、マルチモーダルシステムは、専門家の放射線学者に対してベンチマークされることは滅多にない。
そこで我々は, 関節重度トリアージ, 病理診断, ネイティブビジュアル説明のための多モード深層学習フレームワークを開発した。
提案手法は,Swin Transformer V2ビジュアルエンコーダとPubMedBERTテキストエンコーダをゲート型クロスアテンションで融合したクロスモーダルトリアージネットワーク(CMTN)を提案する。
CMTNはMIMIC-CXR-JPGから34,639枚の画像テキストペア(12,489例)をトレーニングし,4層重度トリアージの経時的焦点損失と14の病態に対する2次交叉エントロピーを最適化した。
定量的な評価の他に,2段階の臨床検査では,有意な評価(100例)と有意な評価(116例)を比較し,有意な評価を行った。
結果: CMTNは基準ラベル(4次重み付きKappa [QWK] = 0.9341, 95\% CI: 0.9219〜0.9449)とマクロAUROCが14の病理で0.9970であり,34~ms遅延,最先端のBioViLマルチモーダルベースライン(QWK = 0.7679)を上回った。
しかし, 盲検第I相臨床試験では, 真の放射線学判定 (QWK=0.1399) と有意に低値であった。
第II相では、54.3 %のヒートマップが臨床的に許容される空間的局在を達成した。
結論: CMTNはCXRトリアージのための効率的なマルチモーダルアーキテクチャを実証した。
アルゴリズムと放射線科医の合意の相違は、NLP由来のラベルに対するベンチマークのパフォーマンスが不十分であることを示し、臨床展開の前に放射線科医がラベル付けした地上の真実の必要性を強調している。
関連論文リスト
- Auditable agentic AI for evidence-grounded thyroid ultrasound diagnosis and reporting [59.709162055944915]
ThyroidXAgentは、特殊な診断ツールをコーディネートし、その出力を監査可能なケースレベルの証拠記録として保存するエージェントAIシステムである。
NHC-MISD-TUSコホート内35施設8,721件を含む,重複しない28,458件の検査を行った。
セグメンテーションでは平均Diceスコアが87.21パーセント、良悪性分類では平均AUROCが0.9466だった。
論文 参考訳(メタデータ) (2026-08-12T21:02:59Z) - A Multi-Center Benchmark for Abdominal Disease Diagnosis and Report Generation from Non-Contrast CT [15.152662172359355]
腹部病変の鑑別には多核性造影CT(CECT)が広く用いられている。
コントラスト誘発性腎症の固有のリスクを負い、取得負担を増大させ、放射線医の作業負荷に大きく貢献する。
多臓器性腹部疾患の診断と自動放射線診断レポート作成のための新しいマルチセンターベンチマークを導入する。
論文 参考訳(メタデータ) (2026-06-15T17:29:32Z) - TriALS: Triphasic-Aided Liver Lesion Segmentation Benchmark in Non-Contrast CT [49.93685997940356]
コントラスト制限条件下での肝病変の自動分節に対するTriALSの課題について述べる。
最高性能は平均静脈圧0.754で, NCCTでは0.57に低下した。
アルゴリズムの性能は、トレーニングデータスケールと事前学習戦略によって最も強く予測された。
論文 参考訳(メタデータ) (2026-05-15T19:23:35Z) - Radiology Report Generation with Layer-Wise Anatomical Attention [35.18016233072556]
我々は胸部X線レポートのFinderingsセクションを生成するコンパクトな画像からテキストへのアーキテクチャを提案する。
このモデルは凍結した自己蒸留とNo Labels v3 (DINOv3) Vision Transformer (ViT)エンコーダとGenerative Pre-trained Transformer 2 (GPT-2)デコーダを組み合わせたものである。
論文 参考訳(メタデータ) (2025-12-18T18:17:57Z) - Neural Discrete Representation Learning for Sparse-View CBCT Reconstruction: From Algorithm Design to Prospective Multicenter Clinical Evaluation [64.42236775544579]
コーンビームCT(CBCT)ガイド下穿刺は胸部腫瘍の診断・治療に確立されたアプローチとなっている。
DeepPriorCBCTは3段階のディープラーニングフレームワークであり、従来の放射線線量の6分の1しか使用せずに診断段階の再構築を実現する。
論文 参考訳(メタデータ) (2025-11-30T12:45:02Z) - Hemorica: A Comprehensive CT Scan Dataset for Automated Brain Hemorrhage Classification, Segmentation, and Detection [0.749500254646884]
Hemoricaは、2012年から2024年の間に取得された372個の頭部CT検査の公開コレクションである。
ICHサブタイプ(EPH)、サブデューラル(SDH)、サブアラキノイド(SAH)、パーレンキマル(IPH)の5つのサブタイプ(EPH)に対して、各スキャンは徹底的に注釈付けされている。
Hemoricaは、マルチタスクとカリキュラム学習をサポートする統一されたきめ細かいベンチマークを提供する。
論文 参考訳(メタデータ) (2025-09-26T23:09:41Z) - Benchmark of Segmentation Techniques for Pelvic Fracture in CT and X-ray: Summary of the PENGWIN 2024 Challenge [20.058385954540082]
PENGWINは自動破折セグメンテーションを推し進めることを目的としていた。
トップパフォーマンスCTアルゴリズムは、平均的なフラグメントワイド結合(IoU)を0.930で達成し、良好な精度を示した。
最も優れたアルゴリズムは0.774のIoUに達し、解剖学的構造が重なり合うことによって生じる大きな課題を浮き彫りにした。
論文 参考訳(メタデータ) (2025-04-03T08:19:36Z) - Domain Transfer Through Image-to-Image Translation for Uncertainty-Aware Prostate Cancer Classification [42.75911994044675]
前立腺MRIの非対位画像翻訳のための新しいアプローチと臨床的に重要なPCaを分類するための不確実性認識トレーニングアプローチを提案する。
提案手法では,無ペアの3.0T多パラメータ前立腺MRIを1.5Tに翻訳し,利用可能なトレーニングデータを増強する。
実験の結果,提案手法は,従来の研究に比べてAUC(Area Under ROC Curve)を20%以上改善することがわかった。
論文 参考訳(メタデータ) (2023-07-02T05:26:54Z) - Accurate Fine-Grained Segmentation of Human Anatomy in Radiographs via
Volumetric Pseudo-Labeling [66.75096111651062]
我々は,10,021個の胸部CTと157個のラベルの大規模データセットを作成した。
解剖学的擬似ラベル抽出のために3次元解剖分類モデルのアンサンブルを適用した。
得られたセグメンテーションモデルはCXRで顕著な性能を示した。
論文 参考訳(メタデータ) (2023-06-06T18:01:08Z) - Attention-based Saliency Maps Improve Interpretability of Pneumothorax
Classification [52.77024349608834]
視覚変換器(ViT)の胸部X線撮影(CXR)分類性能と注意ベース唾液の解釈可能性について検討する。
ViTは、CheXpert、Chest X-Ray 14、MIMIC CXR、VinBigDataの4つの公開データセットを用いて、肺疾患分類のために微調整された。
ViTsは最先端のCNNと比べてCXR分類AUCに匹敵するものであった。
論文 参考訳(メタデータ) (2023-03-03T12:05:41Z) - A Global Benchmark of Algorithms for Segmenting Late Gadolinium-Enhanced
Cardiac Magnetic Resonance Imaging [90.29017019187282]
現在世界最大の心臓LGE-MRIデータセットである154個の3D LGE-MRIを用いた「2018 left Atrium Challenge」。
技術および生物学的指標を用いた提案アルゴリズムの解析を行った。
その結果, 最上部法は93.2%, 平均表面は0.7mmであった。
論文 参考訳(メタデータ) (2020-04-26T08:49:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。