論文の概要: Multimodal Learning and Cognitive Processes in Radiology: MedGaze for Chest X-ray Scanpath Prediction
- arxiv url: http://arxiv.org/abs/2407.00129v1
- Date: Fri, 28 Jun 2024 06:38:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 06:20:13.819034
- Title: Multimodal Learning and Cognitive Processes in Radiology: MedGaze for Chest X-ray Scanpath Prediction
- Title（参考訳）: 放射線学におけるマルチモーダル学習と認知過程:胸部X線スキャンパス予測のためのMedGaze
- Authors: Akash Awasthi, Ngan Le, Zhigang Deng, Rishi Agrawal, Carol C. Wu, Hien Van Nguyen,
- Abstract要約: 提案システムは,放射線学報告やCXR画像から視線シーケンスを予測することを目的としている。
本モデルでは, 医用スキャンパス予測において重要な固定座標と期間を予測し, コンピュータビジョンコミュニティにおける既存モデルよりも優れていた。
放射線学者の評価に基づいて、MedGazeは関連する領域に焦点をあてたヒトのような視線配列を生成することができる。
- 参考スコア（独自算出の注目度）: 10.388541520456714
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predicting human gaze behavior within computer vision is integral for developing interactive systems that can anticipate user attention, address fundamental questions in cognitive science, and hold implications for fields like human-computer interaction (HCI) and augmented/virtual reality (AR/VR) systems. Despite methodologies introduced for modeling human eye gaze behavior, applying these models to medical imaging for scanpath prediction remains unexplored. Our proposed system aims to predict eye gaze sequences from radiology reports and CXR images, potentially streamlining data collection and enhancing AI systems using larger datasets. However, predicting human scanpaths on medical images presents unique challenges due to the diverse nature of abnormal regions. Our model predicts fixation coordinates and durations critical for medical scanpath prediction, outperforming existing models in the computer vision community. Utilizing a two-stage training process and large publicly available datasets, our approach generates static heatmaps and eye gaze videos aligned with radiology reports, facilitating comprehensive analysis. We validate our approach by comparing its performance with state-of-the-art methods and assessing its generalizability among different radiologists, introducing novel strategies to model radiologists' search patterns during CXR image diagnosis. Based on the radiologist's evaluation, MedGaze can generate human-like gaze sequences with a high focus on relevant regions over the CXR images. It sometimes also outperforms humans in terms of redundancy and randomness in the scanpaths.
- Abstract（参考訳）: コンピュータビジョン内の人間の視線行動を予測することは、ユーザの注意を予測し、認知科学の基本的な問題に対処し、ヒューマン・コンピュータ・インタラクション(HCI)やAR/VR(AR/VR)システムといった分野に影響を及ぼすインタラクティブなシステムを開発する上で不可欠である。
ヒトの視線行動のモデル化のために導入された手法にもかかわらず、スキャンパス予測のための医療画像にこれらのモデルを適用することはいまだ解明されていない。
提案システムは,放射線学報告やCXR画像から視線シーケンスを予測し,データ収集の合理化や,より大きなデータセットを用いたAIシステムの強化を目的としている。
しかし, 医用画像上でのスキャンパスの予測は, 異常領域の多様性に起因して, 独特な課題を呈している。
本モデルでは, 医用スキャンパス予測において重要な固定座標と期間を予測し, コンピュータビジョンコミュニティにおける既存モデルよりも優れていた。
2段階のトレーニングプロセスと大規模な公開データセットを利用することで、ラジオグラフィーレポートに合わせた静的ヒートマップとアイアイアイビデオを生成し、包括的な分析を容易にする。
我々は,CXR画像診断における放射線技師の探索パターンをモデル化するための新しい手法を導入し,その性能を最先端の手法と比較し,その一般化性を評価することによって,そのアプローチを検証した。
放射線学者の評価に基づいて、MedGazeはCXR画像上の関連領域に高い焦点をあてたヒトのような視線配列を生成することができる。
また、スキャンパスの冗長性とランダム性という点で人間よりも優れることもある。
関連論文リスト
- GEM: Context-Aware Gaze EstiMation with Visual Search Behavior Matching for Chest Radiograph [32.1234295417225]
本稿では,放射線科医が収集した視線データを用いて視覚的な探索行動パターンをシミュレートする,文脈対応型Gaze EstiMation (GEM) ネットワークを提案する。
コンテキスト認識モジュール、視覚行動グラフ構築、視覚行動マッチングで構成される。
4つの公開データセットの実験は、既存の方法よりもGEMの方が優れていることを示している。
論文 参考訳（メタデータ） (2024-08-10T09:46:25Z) - Enhancing Human-Computer Interaction in Chest X-ray Analysis using Vision and Language Model with Eye Gaze Patterns [7.6599164274971026]
VLM(Vision-Language Models)は、視線データとテキストプロンプトを併用することで、放射線技師の注意を喚起する。
眼球データから生成した熱マップを医療画像にオーバーレイし、放射線技師の集中した領域をハイライトする。
その結果,視線情報の挿入は胸部X線解析の精度を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2024-04-03T00:09:05Z) - Mining Gaze for Contrastive Learning toward Computer-Assisted Diagnosis [61.089776864520594]
医用画像のテキストレポートの代替としてアイトラッキングを提案する。
医用画像を読み,診断する際に放射線科医の視線を追跡することにより,その視覚的注意と臨床的理由を理解することができる。
対照的な学習フレームワークのためのプラグイン・アンド・プレイモジュールとして,McGIP (McGIP) を導入した。
論文 参考訳（メタデータ） (2023-12-11T02:27:45Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳（メタデータ） (2023-11-18T14:52:26Z) - Vision-Language Generative Model for View-Specific Chest X-ray Generation [18.347723213970696]
ViewXGenは、フロントビュー胸部X線を生成する既存のメソッドの制限を克服するように設計されている。
提案手法は, データセット内の多様な視線位置を考慮し, 特定の視線を用いた胸部X線の生成を可能にする。
論文 参考訳（メタデータ） (2023-02-23T17:13:25Z) - Improving Chest X-Ray Classification by RNN-based Patient Monitoring [0.34998703934432673]
我々は、診断に関する情報がCNNに基づく画像分類モデルを改善する方法について分析する。
追加の患者履歴情報に基づいてトレーニングされたモデルが、情報のないトレーニングを受けたモデルよりも有意なマージンで優れていることを示す。
論文 参考訳（メタデータ） (2022-10-28T11:47:15Z) - Generative Residual Attention Network for Disease Detection [51.60842580044539]
本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。
我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。
次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
論文 参考訳（メタデータ） (2021-10-25T14:15:57Z) - Variational Knowledge Distillation for Disease Classification in Chest
X-Rays [102.04931207504173]
我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。
提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
論文 参考訳（メタデータ） (2021-03-19T14:13:56Z) - An Interpretable Multiple-Instance Approach for the Detection of
referable Diabetic Retinopathy from Fundus Images [72.94446225783697]
基礎画像における参照糖尿病網膜症検出のための機械学習システムを提案する。
画像パッチから局所情報を抽出し,アテンション機構により効率的に組み合わせることで,高い分類精度を実現することができる。
我々は,現在入手可能な網膜画像データセットに対するアプローチを評価し,最先端の性能を示す。
論文 参考訳（メタデータ） (2021-03-02T13:14:15Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳（メタデータ） (2021-02-15T18:46:44Z) - Graph representation forecasting of patient's medical conditions:
towards a digital twin [0.0]
複数組織におけるACE2過剰発現が心血管機能に及ぼす影響について検討した。
本稿では,分子データを用いた大規模な構成可能な臨床モデルの統合という概念の実証を行う。
論文 参考訳（メタデータ） (2020-09-17T13:49:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。