論文の概要: Using Multi-modal Data for Improving Generalizability and Explainability
of Disease Classification in Radiology
- arxiv url: http://arxiv.org/abs/2207.14781v1
- Date: Fri, 29 Jul 2022 16:49:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-01 12:36:25.988096
- Title: Using Multi-modal Data for Improving Generalizability and Explainability
of Disease Classification in Radiology
- Title（参考訳）: マルチモーダルデータを用いた放射線医学における疾患分類の一般化と説明可能性の向上
- Authors: Pranav Agnihotri, Sara Ketabi, Khashayar (Ernest) Namdar, and Farzad
Khalvati
- Abstract要約: 従来の放射線診断用データセットは、放射線診断報告と並行して放射線画像のみを提供する傾向にある。
本稿では、最近発表されたEye-Gazeデータセットを用いて、ディープラーニング(DL)分類の性能と説明可能性への影響を徹底的に研究する。
X線画像の最良の分類性能は, 自由テキスト画像と無線画像との組み合わせで達成され, 視線データによる性能向上は得られなかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional datasets for the radiological diagnosis tend to only provide the
radiology image alongside the radiology report. However, radiology reading as
performed by radiologists is a complex process, and information such as the
radiologist's eye-fixations over the course of the reading has the potential to
be an invaluable data source to learn from. Nonetheless, the collection of such
data is expensive and time-consuming. This leads to the question of whether
such data is worth the investment to collect. This paper utilizes the recently
published Eye-Gaze dataset to perform an exhaustive study on the impact on
performance and explainability of deep learning (DL) classification in the face
of varying levels of input features, namely: radiology images, radiology report
text, and radiologist eye-gaze data. We find that the best classification
performance of X-ray images is achieved with a combination of radiology report
free-text and radiology image, with the eye-gaze data providing no performance
boost. Nonetheless, eye-gaze data serving as secondary ground truth alongside
the class label results in highly explainable models that generate better
attention maps compared to models trained to do classification and attention
map generation without eye-gaze data.
- Abstract（参考訳）: 従来の放射線診断用データセットは、放射線診断報告と共に放射線画像のみを提供する傾向にある。
しかし、放射線科医が行う放射線学の読解は複雑なプロセスであり、読解の過程における放射線科医の視線などの情報は、学ぶべき貴重なデータソースとなる可能性を持っている。
それでも、そのようなデータの収集は高価で時間を要する。
このことは、こうしたデータが収集する投資に値するかどうかという問題に繋がる。
本稿では,最近発表されたEye-Gazeデータセットを用いて,放射線画像,放射線医学報告テキスト,放射線学者の眼球運動データなど,様々な入力特徴の面において,ディープラーニング(DL)分類の性能と説明可能性に与える影響について,徹底的な研究を行った。
X線画像の最良の分類性能は, 自由テキスト画像と無線画像との組み合わせで達成され, 視線データによる性能向上は得られなかった。
それでも、クラスラベルと共に二次的根拠となるアイゲイズデータは、アイゲイズデータなしで分類やアテンションマップ生成を行うように訓練されたモデルと比較して、より説明しやすいモデルとなる。
関連論文リスト
- FG-CXR: A Radiologist-Aligned Gaze Dataset for Enhancing Interpretability in Chest X-Ray Report Generation [9.374812942790953]
我々は, 放射線学者が生成したキャプションと, 各解剖学の視線注意熱マップとの間に, 微粒なペアリング情報を提供するFine-Grained CXRデータセットを提案する。
解析の結果, ブラックボックス画像キャプション法を用いてレポートを生成するだけでは, CXRのどの情報を利用するのかを適切に説明できないことがわかった。
本稿では, 放射線科医の視線と転写の両面を密接に一致させるため, 放射線科医の診断過程を模倣する新しい注意生成ネットワーク(Gen-XAI)を提案する。
論文 参考訳（メタデータ） (2024-11-23T02:22:40Z) - Medical Report Generation based on Segment-Enhanced Contrastive
Representation Learning [39.17345313432545]
臓器, 異常, 骨等を分類するためのMSCL(医学画像とコントラスト学習)を提案する。
トレーニング中にターゲットとセマンティックに類似したレポートにより多くの重みを割り当てる教師付きコントラスト損失を導入する。
実験の結果,提案手法の有効性が示され,IU X線公開データセット上での最先端性能が得られた。
論文 参考訳（メタデータ） (2023-12-26T03:33:48Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳（メタデータ） (2023-11-18T14:52:26Z) - Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report
Generation [47.250147322130545]
画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。
既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。
胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
論文 参考訳（メタデータ） (2023-11-18T14:37:53Z) - Act Like a Radiologist: Radiology Report Generation across Anatomical Regions [50.13206214694885]
X-RGenは6つの解剖学的領域にわたる放射線学者によるレポート生成フレームワークである。
X-RGenでは、ヒトの放射線学者の行動を模倣し、これらを4つの主要な段階に分解する。
画像エンコーダの認識能力は,各領域にまたがる画像やレポートを分析して向上する。
論文 参考訳（メタデータ） (2023-05-26T07:12:35Z) - Generative Residual Attention Network for Disease Detection [51.60842580044539]
本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。
我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。
次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
論文 参考訳（メタデータ） (2021-10-25T14:15:57Z) - Variational Knowledge Distillation for Disease Classification in Chest
X-Rays [102.04931207504173]
我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。
提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
論文 参考訳（メタデータ） (2021-03-19T14:13:56Z) - Creation and Validation of a Chest X-Ray Dataset with Eye-tracking and
Report Dictation for AI Development [47.1152650685625]
我々は、人工知能の研究者を支援するために、チェストX線(CXR)画像の豊富なデータセットを開発した。
データはアイトラッキングシステムを用いて収集され、放射線学者は1,083 CXR画像でレビューし報告した。
論文 参考訳（メタデータ） (2020-09-15T23:12:49Z) - Joint Modeling of Chest Radiographs and Radiology Reports for Pulmonary
Edema Assessment [39.60171837961607]
我々は,胸部X線写真から肺浮腫の重症度を評価するために,画像と自由テキストの両方で訓練されたニューラルネットワークモデルを開発した。
実験結果から,共同画像・テキスト表現学習は肺浮腫評価の性能を向上させることが示唆された。
論文 参考訳（メタデータ） (2020-08-22T17:28:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。