論文の概要: Beyond Conventional Transformers: The Medical X-ray Attention (MXA) Block for Improved Multi-Label Diagnosis Using Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2504.02277v1
• Date: Thu, 03 Apr 2025 04:55:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:58:23.613995
• Title: Beyond Conventional Transformers: The Medical X-ray Attention (MXA) Block for Improved Multi-Label Diagnosis Using Knowledge Distillation
• Title（参考訳）: 従来の変圧器を超えて:知識蒸留を用いたマルチラベル診断のための医療用X線注意ブロック(MXA)
• Authors: Amit Rand, Hadi Ibrahim,
• Abstract要約: 我々は,X線異常検出の課題に対処するための新しい注意機構である,医療用X線注意ブロック(MXA)を提案する。 提案手法は曲線(AUC)の0.85の領域を達成し,ベースラインモデル(AUC)の0.66に比べて0.19の絶対的な改善を実現した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Medical imaging, particularly X-ray analysis, often involves detecting multiple conditions simultaneously within a single scan, making multi-label classification crucial for real-world clinical applications. We present the Medical X-ray Attention (MXA) block, a novel attention mechanism tailored specifically to address the unique challenges of X-ray abnormality detection. The MXA block enhances traditional Multi-Head Self Attention (MHSA) by integrating a specialized module that efficiently captures both detailed local information and broader global context. To the best of our knowledge, this is the first work to propose a task-specific attention mechanism for diagnosing chest X-rays, as well as to attempt multi-label classification using an Efficient Vision Transformer (EfficientViT). By embedding the MXA block within the EfficientViT architecture and employing knowledge distillation, our proposed model significantly improves performance on the CheXpert dataset, a widely used benchmark for multi-label chest X-ray abnormality detection. Our approach achieves an area under the curve (AUC) of 0.85, an absolute improvement of 0.19 compared to our baseline model's AUC of 0.66, corresponding to a substantial approximate 233% relative improvement over random guessing (AUC = 0.5).
• Abstract（参考訳）: 医用画像、特にX線分析では、単一のスキャン内で複数の条件を同時に検出することが多いため、実世界の臨床応用に欠かせない分類となっている。 我々は,X線異常検出の独特な課題に対処するために,新しい注意機構である医療用X線注意ブロック(MXA)を提案する。 MXAブロックは、詳細なローカル情報とより広範なグローバルコンテキストの両方を効率的にキャプチャする特別なモジュールを統合することで、従来のマルチヘッド自己注意(MHSA)を強化する。 そこで本研究では,胸部X線診断のためのタスク特異的注意機構を提案するとともに,高能率ビジョン変換器(Efficient Vision Transformer, EfficientViT)を用いたマルチラベル分類を試みた。 EfficientViT アーキテクチャに MXA ブロックを埋め込んで知識蒸留を用いることで,CheXpert データセットの性能を著しく向上させる。 提案手法は, 確率推定(AUC = 0.5)よりも約233%の相対的改善(AUC = 0.5)に対応して, 曲線(AUC)の0.85の絶対的な改善(AUCの0.19)を実現する。

関連論文リスト

• VerteNet -- A Multi-Context Hybrid CNN Transformer for Accurate Vertebral Landmark Localization in Lateral Spine DXA Images [12.240318467857906]
  VerteNetはCNN-Transformerのハイブリッドモデルである。 我々は、様々なマシンから620DXA LSI上でVerteNetを訓練し、既存の手法と比較して優れた結果を得る。
  論文  参考訳（メタデータ） (2025-02-04T08:27:51Z)
• A foundation model for generalizable disease diagnosis in chest X-ray images [40.9095393430871]
  CXRBaseは,非ラベリングなCXR画像から多目的表現を学習するための基礎モデルである。 CXRBaseは1.04百万の未ラベルのCXRイメージのデータセットでトレーニングされている。 ラベル付きデータで微調整され、疾患検出の性能を高める。
  論文  参考訳（メタデータ） (2024-10-11T14:41:27Z)
• Low-Resolution Chest X-ray Classification via Knowledge Distillation and Multi-task Learning [46.75992018094998]
  胸部X線(CXR)を低分解能で診断する上での課題について検討した。 高分解能CXRイメージングは、結節や不透明など、小さなが重要な異常を識別するために重要である。 本稿では,MLCAK(Multilevel Collaborative Attention Knowledge)法を提案する。
  論文  参考訳（メタデータ） (2024-05-22T06:10:54Z)
• Multi-Scale Feature Fusion using Parallel-Attention Block for COVID-19 Chest X-ray Diagnosis [2.15242029196761]
  世界的な新型コロナウイルス危機下では、チェストX線(CXR)画像からの新型コロナウイルスの正確な診断が重要である。 並列アテンションブロックを用いた新しい多機能融合ネットワークを提案し、元のCXR画像とローカル位相特徴強調CXR画像をマルチスケールで融合する。
  論文  参考訳（メタデータ） (2023-04-25T16:56:12Z)
• Auto-outlier Fusion Technique for Chest X-ray classification with Multi-head Attention Mechanism [4.416665886445889]
  胸部X線は、様々な肺疾患の診断と検出に最も広く用いられる放射線検査の1つである。 国立衛生研究所(NIH)は、肺疾患を分析し予測するための深層学習コミュニティを確立するために、広範なデータベースであるChestX-ray8とChestXray14を提供している。
  論文  参考訳（メタデータ） (2022-11-15T09:35:49Z)
• Preservation of High Frequency Content for Deep Learning-Based Medical Image Classification [74.84221280249876]
  大量の胸部ラジオグラフィーの効率的な分析は、医師や放射線技師を助けることができる。 本稿では,視覚情報の効率的な識別と符号化のための離散ウェーブレット変換(DWT)を提案する。
  論文  参考訳（メタデータ） (2022-05-08T15:29:54Z)
• Generative Residual Attention Network for Disease Detection [51.60842580044539]
  本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。 我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。 次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
  論文  参考訳（メタデータ） (2021-10-25T14:15:57Z)
• Contrastive Attention for Automatic Chest X-ray Report Generation [124.60087367316531]
  ほとんどの場合、正常領域が胸部X線像全体を支配し、これらの正常領域の対応する記述が最終報告を支配している。 本稿では,現在の入力画像と通常の画像を比較してコントラスト情報を抽出するContrastive Attention(CA)モデルを提案する。 2つの公開データセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-13T11:20:31Z)
• Cross-Modal Contrastive Learning for Abnormality Classification and Localization in Chest X-rays with Radiomics using a Feedback Loop [63.81818077092879]
  医療画像のためのエンドツーエンドのセミスーパーバイスドクロスモーダルコントラスト学習フレームワークを提案する。 まず、胸部X線を分類し、画像特徴を生成するために画像エンコーダを適用する。 放射能の特徴は別の専用エンコーダを通過し、同じ胸部x線から生成された画像の特徴の正のサンプルとして機能する。
  論文  参考訳（メタデータ） (2021-04-11T09:16:29Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。