論文の概要: Using Multi-modal Data for Improving Generalizability and Explainability of Disease Classification in Radiology

• arxiv url: http://arxiv.org/abs/2207.14781v1
• Date: Fri, 29 Jul 2022 16:49:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-01 12:36:25.988096
• Title: Using Multi-modal Data for Improving Generalizability and Explainability of Disease Classification in Radiology
• Title（参考訳）: マルチモーダルデータを用いた放射線医学における疾患分類の一般化と説明可能性の向上
• Authors: Pranav Agnihotri, Sara Ketabi, Khashayar (Ernest) Namdar, and Farzad Khalvati
• Abstract要約: 従来の放射線診断用データセットは、放射線診断報告と並行して放射線画像のみを提供する傾向にある。 本稿では、最近発表されたEye-Gazeデータセットを用いて、ディープラーニング(DL)分類の性能と説明可能性への影響を徹底的に研究する。 X線画像の最良の分類性能は, 自由テキスト画像と無線画像との組み合わせで達成され, 視線データによる性能向上は得られなかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional datasets for the radiological diagnosis tend to only provide the radiology image alongside the radiology report. However, radiology reading as performed by radiologists is a complex process, and information such as the radiologist's eye-fixations over the course of the reading has the potential to be an invaluable data source to learn from. Nonetheless, the collection of such data is expensive and time-consuming. This leads to the question of whether such data is worth the investment to collect. This paper utilizes the recently published Eye-Gaze dataset to perform an exhaustive study on the impact on performance and explainability of deep learning (DL) classification in the face of varying levels of input features, namely: radiology images, radiology report text, and radiologist eye-gaze data. We find that the best classification performance of X-ray images is achieved with a combination of radiology report free-text and radiology image, with the eye-gaze data providing no performance boost. Nonetheless, eye-gaze data serving as secondary ground truth alongside the class label results in highly explainable models that generate better attention maps compared to models trained to do classification and attention map generation without eye-gaze data.
• Abstract（参考訳）: 従来の放射線診断用データセットは、放射線診断報告と共に放射線画像のみを提供する傾向にある。 しかし、放射線科医が行う放射線学の読解は複雑なプロセスであり、読解の過程における放射線科医の視線などの情報は、学ぶべき貴重なデータソースとなる可能性を持っている。 それでも、そのようなデータの収集は高価で時間を要する。 このことは、こうしたデータが収集する投資に値するかどうかという問題に繋がる。 本稿では,最近発表されたEye-Gazeデータセットを用いて,放射線画像,放射線医学報告テキスト,放射線学者の眼球運動データなど,様々な入力特徴の面において,ディープラーニング(DL)分類の性能と説明可能性に与える影響について,徹底的な研究を行った。 X線画像の最良の分類性能は, 自由テキスト画像と無線画像との組み合わせで達成され, 視線データによる性能向上は得られなかった。 それでも、クラスラベルと共に二次的根拠となるアイゲイズデータは、アイゲイズデータなしで分類やアテンションマップ生成を行うように訓練されたモデルと比較して、より説明しやすいモデルとなる。

関連論文リスト

• Medical Report Generation based on Segment-Enhanced Contrastive Representation Learning [39.17345313432545]
  臓器, 異常, 骨等を分類するためのMSCL(医学画像とコントラスト学習)を提案する。 トレーニング中にターゲットとセマンティックに類似したレポートにより多くの重みを割り当てる教師付きコントラスト損失を導入する。 実験の結果,提案手法の有効性が示され,IU X線公開データセット上での最先端性能が得られた。
  論文  参考訳（メタデータ） (2023-12-26T03:33:48Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report Generation [47.250147322130545]
  画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。 既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。 胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
  論文  参考訳（メタデータ） (2023-11-18T14:37:53Z)
• Radiology-Llama2: Best-in-Class Large Language Model for Radiology [71.27700230067168]
  本稿では,ラジオロジーに特化した大規模言語モデルであるRadiology-Llama2を紹介する。 MIMIC-CXRとOpenIデータセットのROUGEメトリクスを用いた定量的評価は、Radiology-Llama2が最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-08-29T17:44:28Z)
• Generation of Radiology Findings in Chest X-Ray by Leveraging Collaborative Knowledge [6.792487817626456]
  医学的イメージを解釈する認知的タスクは、放射線学のワークフローにおいて最も重要であり、しばしば時間を要するステップである。 この研究は、ほとんどの時間をFindingsの執筆またはナレーションに費やしている放射線学者の作業量を削減することに焦点を当てている。 単段階画像キャプションタスクとして放射線学レポートを生成する過去の研究とは異なり、CXR画像の解釈の複雑さを考慮に入れている。
  論文  参考訳（メタデータ） (2023-06-18T00:51:28Z)
• Generative Residual Attention Network for Disease Detection [51.60842580044539]
  本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。 我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。 次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
  論文  参考訳（メタデータ） (2021-10-25T14:15:57Z)
• Variational Knowledge Distillation for Disease Classification in Chest X-Rays [102.04931207504173]
  我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。 提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
  論文  参考訳（メタデータ） (2021-03-19T14:13:56Z)
• Creation and Validation of a Chest X-Ray Dataset with Eye-tracking and Report Dictation for AI Development [47.1152650685625]
  我々は、人工知能の研究者を支援するために、チェストX線(CXR)画像の豊富なデータセットを開発した。 データはアイトラッキングシステムを用いて収集され、放射線学者は1,083 CXR画像でレビューし報告した。
  論文  参考訳（メタデータ） (2020-09-15T23:12:49Z)
• Joint Modeling of Chest Radiographs and Radiology Reports for Pulmonary Edema Assessment [39.60171837961607]
  我々は,胸部X線写真から肺浮腫の重症度を評価するために,画像と自由テキストの両方で訓練されたニューラルネットワークモデルを開発した。 実験結果から,共同画像・テキスト表現学習は肺浮腫評価の性能を向上させることが示唆された。
  論文  参考訳（メタデータ） (2020-08-22T17:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。