論文の概要: HGT: A Hierarchical GCN-Based Transformer for Multimodal Periprosthetic
Joint Infection Diagnosis Using CT Images and Text
- arxiv url: http://arxiv.org/abs/2305.18022v2
- Date: Sat, 15 Jul 2023 14:55:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 22:10:22.928878
- Title: HGT: A Hierarchical GCN-Based Transformer for Multimodal Periprosthetic
Joint Infection Diagnosis Using CT Images and Text
- Title(参考訳): HGT:CT画像とテキストを用いた多指間関節感染症診断のための階層型GCNトランス
- Authors: Ruiyang Li, Fujun Yang, Xianjie Liu and Hongwei Shi
- Abstract要約: 補綴関節感染症(PJI)は重篤な合併症である。
現在,CT画像とPJIの数値テキストデータを組み合わせた統一診断基準が確立されていない。
本研究では,ディープラーニングとマルチモーダル技術に基づく診断手法であるHGTを紹介する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prosthetic Joint Infection (PJI) is a prevalent and severe complication
characterized by high diagnostic challenges. Currently, a unified diagnostic
standard incorporating both computed tomography (CT) images and numerical text
data for PJI remains unestablished, owing to the substantial noise in CT images
and the disparity in data volume between CT images and text data. This study
introduces a diagnostic method, HGT, based on deep learning and multimodal
techniques. It effectively merges features from CT scan images and patients'
numerical text data via a Unidirectional Selective Attention (USA) mechanism
and a graph convolutional network (GCN)-based feature fusion network. We
evaluated the proposed method on a custom-built multimodal PJI dataset,
assessing its performance through ablation experiments and interpretability
evaluations. Our method achieved an accuracy (ACC) of 91.4\% and an area under
the curve (AUC) of 95.9\%, outperforming recent multimodal approaches by 2.9\%
in ACC and 2.2\% in AUC, with a parameter count of only 68M. Notably, the
interpretability results highlighted our model's strong focus and localization
capabilities at lesion sites. This proposed method could provide clinicians
with additional diagnostic tools to enhance accuracy and efficiency in clinical
practice.
- Abstract(参考訳): 補綴関節感染症 (pji) は, 高い診断難易度を特徴とする重篤な合併症である。
現在,ct画像のノイズが大きいことと,ct画像とテキストデータとの間のデータ量差があるため,ct画像とpjiの数値テキストデータを組み合わせた統一診断基準が確立されていない。
本研究では,ディープラーニングとマルチモーダル技術に基づく診断手法であるHGTを紹介する。
片方向選択注意(USA)機構とグラフ畳み込みネットワーク(GCN)ベースの機能融合ネットワークを介して、CTスキャン画像と患者の数値テキストデータとを効果的に融合する。
提案手法をカスタマイズしたマルチモーダルPJIデータセット上で評価し,アブレーション実験と解釈可能性評価により評価した。
提案手法は,91.4\%の精度(ACC)と95.9\%の曲線下面積(AUC)を達成し,最近のマルチモーダルアプローチをACC2.9\%,AUC2.2\%で上回り,パラメータ数は68Mに留まった。
特に, 解釈可能性の結果は, 病変部位におけるモデルの強い焦点と局所化能力を強調した。
提案手法は臨床医に,臨床実践の正確性と効率を高めるための追加診断ツールを提供する。
関連論文リスト
- Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - Domain Transfer Through Image-to-Image Translation for Uncertainty-Aware
Prostate Cancer Classification [60.20736568336466]
臨床的に有意なPCa分類のための前立腺mp-MRIの非対位画像変換のための新しいアプローチを提案する。
我々は、明らかなディープラーニングアプローチにより、モデルの不確実性を見積もる。
提案手法は, ROC曲線(AUC)を20%以上改善することを示した。
論文 参考訳(メタデータ) (2023-07-02T05:26:54Z) - A Transformer-based representation-learning model with unified
processing of multimodal input for clinical diagnostics [63.106382317917344]
本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。
統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
論文 参考訳(メタデータ) (2023-06-01T16:23:47Z) - A multimodal method based on cross-attention and convolution for
postoperative infection diagnosis [0.0]
術後感染診断は重篤な合併症であり,高い診断上の課題となっている。
X線検査は、疑わしいPJI患者の画像検査である。
本研究では,自己教師型マスク付きオートエンコーダ事前学習戦略とマルチモーダル核融合診断ネットワークMED-NVCを提案する。
論文 参考訳(メタデータ) (2023-05-23T15:08:56Z) - Enhancing COVID-19 Severity Analysis through Ensemble Methods [13.792760290422185]
本稿では、新型コロナウイルス患者の感染症領域を抽出するためのドメイン知識に基づくパイプラインを提案する。
感染の重症度は、3つの機械学習モデルのアンサンブルを使用して異なるカテゴリに分類される。
提案システムは,AI-Enabled Medical Image Analysis WorkshopとCOVID-19診断コンペティションの検証データセットを用いて評価した。
論文 参考訳(メタデータ) (2023-03-13T13:59:47Z) - Mediastinal Lymph Node Detection and Segmentation Using Deep Learning [1.7188280334580195]
臨床ではCT(Computed tomography)とPET(positron emission tomography)が異常リンパ節(LN)を検出する
深層畳み込みニューラルネットワークは、しばしば医療写真にアイテムを分割する。
良質な深層学習手法であるUNetは、縦隔リンパ節の分節と検出のための戦略に基づいて、双線形および全一般化変異(TGV)を用いて修正された。
修正されたUNetはテクスチャの不連続を維持し、ノイズの多い領域を選択し、バックプロパゲーションを通じて適切なバランスポイントを検索し、画像の解像度を再現する。
論文 参考訳(メタデータ) (2022-11-24T02:55:20Z) - Diagnose Like a Radiologist: Hybrid Neuro-Probabilistic Reasoning for
Attribute-Based Medical Image Diagnosis [42.624671531003166]
本稿では,属性に基づく医用画像診断のためのハイブリッド型ニューロ確率推論アルゴリズムを提案する。
我々は,ハイブリッド推論アルゴリズムを2つの困難な画像診断タスクに適用することに成功している。
論文 参考訳(メタデータ) (2022-08-19T12:06:46Z) - Harmonizing Pathological and Normal Pixels for Pseudo-healthy Synthesis [68.5287824124996]
そこで本研究では,新しいタイプの識別器であるセグメンタを提案し,病変の正確な特定と擬似健康画像の視覚的品質の向上を図っている。
医用画像強調に生成画像を適用し,低コントラスト問題に対処するために拡張結果を利用する。
BraTSのT2モダリティに関する総合的な実験により、提案手法は最先端の手法よりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2022-03-29T08:41:17Z) - Incremental Cross-view Mutual Distillation for Self-supervised Medical
CT Synthesis [88.39466012709205]
本稿では,スライス間の分解能を高めるために,新しい医療スライスを構築した。
臨床実践において, 根本・中間医療スライスは常に欠落していることを考慮し, 相互蒸留の段階的相互蒸留戦略を導入する。
提案手法は,最先端のアルゴリズムよりも明確なマージンで優れる。
論文 参考訳(メタデータ) (2021-12-20T03:38:37Z) - Quality control for more reliable integration of deep learning-based
image segmentation into medical workflows [0.23609258021376836]
本稿では,その出力の確実性を推定するために,最先端自動品質制御(QC)手法の解析を行う。
磁気共鳴画像データにおける白色物質の超強度(WMH)を識別する脳画像分割タスクにおける最も有望なアプローチを検証した。
論文 参考訳(メタデータ) (2021-12-06T16:30:43Z) - Synergistic Learning of Lung Lobe Segmentation and Hierarchical
Multi-Instance Classification for Automated Severity Assessment of COVID-19
in CT Images [61.862364277007934]
3次元CT画像におけるCOVID-19の重症度自動評価のための相乗的学習フレームワークを提案する。
マルチタスクのディープネットワーク(M$2$UNet)が開発され、新型コロナウイルス患者の重症度を評価する。
われわれのM$2$UNetはパッチレベルのエンコーダと肺葉分画のためのセグメンテーションサブネットワークと重度評価のための分類サブネットワークから構成されている。
論文 参考訳(メタデータ) (2020-05-08T03:16:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。