論文の概要: Mining Gaze for Contrastive Learning toward Computer-Assisted Diagnosis

• arxiv url: http://arxiv.org/abs/2312.06069v2
• Date: Tue, 12 Dec 2023 05:45:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 12:29:46.841370
• Title: Mining Gaze for Contrastive Learning toward Computer-Assisted Diagnosis
• Title（参考訳）: コンピュータ支援診断に向けたコントラスト学習のためのマイニングゲーズ
• Authors: Zihao Zhao, Sheng Wang, Qian Wang, Dinggang Shen
• Abstract要約: 医用画像のテキストレポートの代替としてアイトラッキングを提案する。 医用画像を読み,診断する際に放射線科医の視線を追跡することにより,その視覚的注意と臨床的理由を理解することができる。 対照的な学習フレームワークのためのプラグイン・アンド・プレイモジュールとして,McGIP (McGIP) を導入した。
• 参考スコア（独自算出の注目度）: 61.089776864520594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Obtaining large-scale radiology reports can be difficult for medical images due to various reasons, limiting the effectiveness of contrastive pre-training in the medical image domain and underscoring the need for alternative methods. In this paper, we propose eye-tracking as an alternative to text reports, as it allows for the passive collection of gaze signals without disturbing radiologist's routine diagnosis process. By tracking the gaze of radiologists as they read and diagnose medical images, we can understand their visual attention and clinical reasoning. When a radiologist has similar gazes for two medical images, it may indicate semantic similarity for diagnosis, and these images should be treated as positive pairs when pre-training a computer-assisted diagnosis (CAD) network through contrastive learning. Accordingly, we introduce the Medical contrastive Gaze Image Pre-training (McGIP) as a plug-and-play module for contrastive learning frameworks. McGIP uses radiologist's gaze to guide contrastive pre-training. We evaluate our method using two representative types of medical images and two common types of gaze data. The experimental results demonstrate the practicality of McGIP, indicating its high potential for various clinical scenarios and applications.
• Abstract（参考訳）: 医用画像領域における対比的事前訓練の有効性を制限し, 代替方法の必要性を強調するなど, 様々な理由から, 医用画像に対する大規模放射線検査の入手は困難である。 本稿では,放射線技師の日常診断プロセスに支障を来すことなく視線信号の受動的収集を可能にするため,テキストレポートの代替としてアイトラッキングを提案する。 医用画像の読解と診断を行う放射線科医の視線を追跡することで,その視覚的注意と臨床推論を理解することができる。 放射線医が2つの医用画像に類似した視線を持つ場合、診断に意味的類似性を示す可能性があり、コンピュータ支援診断(CAD)ネットワークを事前学習する際には、これらの画像は正のペアとして扱われるべきである。 そこで本研究では,コントラスト学習フレームワークのためのプラグアンドプレイモジュールとして,mcgip(medical contrastive gaze image pre-training)を導入する。 McGIPは放射線技師の視線を使って、対照的な事前訓練をガイドする。 2種類の医用画像と2種類の一般的な視線データを用いて評価を行った。 実験の結果,McGIPの実用性を示し,様々な臨床シナリオや応用の可能性を示している。

関連論文リスト

• VALD-MD: Visual Attribution via Latent Diffusion for Medical Diagnostics [0.0]
  医用画像における視覚的属性は、医用画像の診断関連成分を明確にすることを目指している。 本稿では、潜在拡散モデルとドメイン固有大言語モデルを組み合わせた新しい生成的視覚属性手法を提案する。 結果として生じるシステムは、ゼロショット局所化疾患誘導を含む様々な潜在能力を示す。
  論文  参考訳（メタデータ） (2024-01-02T19:51:49Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• KiUT: Knowledge-injected U-Transformer for Radiology Report Generation [10.139767157037829]
  X線画像から臨床的正確で一貫性のある段落を自動的に生成することを目的とする。 知識注入型U-Transformer (KiUT) を提案する。
  論文  参考訳（メタデータ） (2023-06-20T07:27:28Z)
• Multimorbidity Content-Based Medical Image Retrieval Using Proxies [37.47987844057842]
  本稿では、分類とコンテンツに基づく画像検索の両方に使用できる新しい多ラベルメトリック学習法を提案する。 本モデルは,疾患の存在を予測し,これらの予測の証拠を提供することによって診断を支援することができる。 分類とコンテンツに基づく画像検索へのアプローチの有効性を2つのマルチモービディティー・ラジオロジー・データセットで実証した。
  論文  参考訳（メタデータ） (2022-11-22T11:23:53Z)
• Cyclic Generative Adversarial Networks With Congruent Image-Report Generation For Explainable Medical Image Analysis [5.6512908295414]
  医用画像の説明可能なラベリングと解釈のための新しい枠組みを提案する。 本研究の目的は、胸部X線画像を診断するモデルの出力について、信頼できる、忠実な説明を生成することである。
  論文  参考訳（メタデータ） (2022-11-16T12:41:21Z)
• BI-RADS-Net: An Explainable Multitask Learning Approach for Cancer Diagnosis in Breast Ultrasound Images [69.41441138140895]
  本稿では,乳房超音波画像における癌検出のための新しい深層学習手法であるBI-RADS-Netを紹介する。 提案手法は, 臨床診断に関連する特徴表現を学習することにより, 乳腺腫瘍の説明と分類を行うタスクを取り入れたものである。 臨床医が医療現場で診断・報告するために使用する形態学的特徴の観点から予測(良性または悪性)の説明が提供される。
  論文  参考訳（メタデータ） (2021-10-05T19:14:46Z)
• Automated Knee X-ray Report Generation [12.732469371097347]
  本稿では,過去の放射線検査を活かし,画像とレポートの対応を学習できる枠組みを提案する。 本研究では,言語生成モデルの訓練において,個々の試験のイメージ特徴を集約し,条件入力として使用すると,自動生成試験レポートが生成されることを示す。
  論文  参考訳（メタデータ） (2021-05-22T11:59:42Z)
• Act Like a Radiologist: Towards Reliable Multi-view Correspondence Reasoning for Mammogram Mass Detection [49.14070210387509]
  マンモグラム質量検出のための解剖学的グラフ畳み込みネットワーク(AGN)を提案する。 AGNはマンモグラムの質量検出用に調整されており、既存の検出手法を多視点推論能力で実現している。 2つの標準ベンチマークの実験によると、AGNは最先端のパフォーマンスを大幅に上回っている。
  論文  参考訳（メタデータ） (2021-05-21T06:48:34Z)
• Collaborative Unsupervised Domain Adaptation for Medical Image Diagnosis [102.40869566439514]
  我々は、Unsupervised Domain Adaptation (UDA)を通じて、対象タスクにおける学習を支援するために、関連ドメインからの豊富なラベル付きデータを活用しようとしている。 クリーンなラベル付きデータやサンプルを仮定するほとんどのUDAメソッドが等しく転送可能であるのとは異なり、協調的教師なしドメイン適応アルゴリズムを革新的に提案する。 提案手法の一般化性能を理論的に解析し,医用画像と一般画像の両方で実験的に評価する。
  論文  参考訳（メタデータ） (2020-07-05T11:49:17Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。