論文の概要: GazeGNN: A Gaze-Guided Graph Neural Network for Chest X-ray Classification

• arxiv url: http://arxiv.org/abs/2305.18221v2
• Date: Thu, 29 Jun 2023 01:03:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 16:22:15.440686
• Title: GazeGNN: A Gaze-Guided Graph Neural Network for Chest X-ray Classification
• Title（参考訳）: GazeGNN:胸部X線分類のためのGaze-Guided Graph Neural Network
• Authors: Bin Wang, Hongyi Pan, Armstrong Aboah, Zheyuan Zhang, Elif Keles, Drew Torigian, Baris Turkbey, Elizabeth Krupinski, Jayaram Udupa, Ulas Bagci
• Abstract要約: 本稿では,視線誘導型グラフニューラルネットワークGazeGNNを提案する。 本研究では,本論文で初めてリアルタイム・リアルタイム・エンド・ツー・エンド病の分類アルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 10.441005653594472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Eye tracking research is important in computer vision because it can help us understand how humans interact with the visual world. Specifically for high-risk applications, such as in medical imaging, eye tracking can help us to comprehend how radiologists and other medical professionals search, analyze, and interpret images for diagnostic and clinical purposes. Hence, the application of eye tracking techniques in disease classification has become increasingly popular in recent years. Contemporary works usually transform gaze information collected by eye tracking devices into visual attention maps (VAMs) to supervise the learning process. However, this is a time-consuming preprocessing step, which stops us from applying eye tracking to radiologists' daily work. To solve this problem, we propose a novel gaze-guided graph neural network (GNN), GazeGNN, to leverage raw eye-gaze data without being converted into VAMs. In GazeGNN, to directly integrate eye gaze into image classification, we create a unified representation graph that models both images and gaze pattern information. With this benefit, we develop a real-time, real-world, end-to-end disease classification algorithm for the first time in the literature. This achievement demonstrates the practicality and feasibility of integrating real-time eye tracking techniques into the daily work of radiologists. To our best knowledge, GazeGNN is the first work that adopts GNN to integrate image and eye-gaze data. Our experiments on the public chest X-ray dataset show that our proposed method exhibits the best classification performance compared to existing methods. The code is available.
• Abstract（参考訳）: 視線追跡の研究は、人間の視覚世界との相互作用を理解するのに役立つため、コンピュータビジョンにおいて重要である。 特に、医療画像などのリスクの高いアプリケーションでは、アイトラッキングは、放射線技師や他の医療専門家が診断や臨床目的で画像を探し、分析し、解釈する方法を理解するのに役立ちます。 そのため、近年では、眼球追跡技術の病気分類への応用が盛んに行われている。 現代の研究は通常、視線追跡装置が収集した視線情報を視覚的注意マップ(VAM)に変換して学習過程を監督する。 しかし、これは時間を要する前処理であり、放射線科医の日常業務にアイトラッキングを適用することを妨げる。 そこで本研究では,生の視線データをvamsに変換することなく活用する,新しい視線誘導グラフニューラルネットワーク(gnn)であるgazgnnを提案する。 GazeGNNでは、視線を直接画像分類に統合するために、画像と視線パターン情報をモデル化する統一表現グラフを作成します。 この利点により、文献の中で初めてリアルタイム、リアルタイム、エンドツーエンドの病気分類アルゴリズムを開発した。 この成果は、放射線科医の日常業務にリアルタイムアイトラッキング技術を統合する実用性と実現性を示している。 われわれの知る限り、GazeGNNはGNNを採用して画像と視線データを統合した最初の作品だ。 胸部X線データを用いた実験により,提案手法は既存手法と比較して最も優れた分類性能を示した。 コードは利用可能です。

関連論文リスト

• GEM: Context-Aware Gaze EstiMation with Visual Search Behavior Matching for Chest Radiograph [32.1234295417225]
  本稿では,放射線科医が収集した視線データを用いて視覚的な探索行動パターンをシミュレートする,文脈対応型Gaze EstiMation (GEM) ネットワークを提案する。 コンテキスト認識モジュール、視覚行動グラフ構築、視覚行動マッチングで構成される。 4つの公開データセットの実験は、既存の方法よりもGEMの方が優れていることを示している。
  論文  参考訳（メタデータ） (2024-08-10T09:46:25Z)
• Multimodal Learning and Cognitive Processes in Radiology: MedGaze for Chest X-ray Scanpath Prediction [10.388541520456714]
  提案システムは,放射線学報告やCXR画像から視線シーケンスを予測することを目的としている。 本モデルでは, 医用スキャンパス予測において重要な固定座標と期間を予測し, コンピュータビジョンコミュニティにおける既存モデルよりも優れていた。 放射線学者の評価に基づいて、MedGazeは関連する領域に焦点をあてたヒトのような視線配列を生成することができる。
  論文  参考訳（メタデータ） (2024-06-28T06:38:58Z)
• Gaze-directed Vision GNN for Mitigating Shortcut Learning in Medical Image [6.31072075551707]
  GD-ViG(GD-ViG)と呼ばれる新しい視線指向ビジョンGNNを提案し,放射線科医の視覚パターンを専門知識として活用する。 2つの公開医療画像データセットの実験は、GD-ViGが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-20T07:16:41Z)
• Graph Neural Networks for Brain Graph Learning: A Survey [53.74244221027981]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのマイニングにおいて大きな優位性を示している。 脳障害解析のための脳グラフ表現を学習するGNNが最近注目を集めている。 本稿では,GNNを利用した脳グラフ学習の成果をレビューすることで,このギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-06-01T02:47:39Z)
• A Survey on Graph Neural Networks and Graph Transformers in Computer Vision: A Task-Oriented Perspective [71.03621840455754]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において勢いを増している。 Graph Transformerは、グラフ構造をTransformerアーキテクチャに組み込んで、局所的な近傍集約の制限を克服します。 本稿では,タスク指向の観点から,コンピュータビジョンにおけるGNNとグラフトランスフォーマーの総合的なレビューを行う。
  論文  参考訳（メタデータ） (2022-09-27T08:10:14Z)
• A Deep Learning Approach for the Segmentation of Electroencephalography Data in Eye Tracking Applications [56.458448869572294]
  脳波データの時系列セグメンテーションのための新しいフレームワークDETRtimeを紹介する。 エンドツーエンドのディープラーニングベースのフレームワークは、コンピュータビジョンの進歩を前面に立たせています。 我々のモデルは脳波睡眠ステージセグメンテーションのタスクにおいてよく一般化される。
  論文  参考訳（メタデータ） (2022-06-17T10:17:24Z)
• Rectify ViT Shortcut Learning by Visual Saliency [40.55418820114868]
  ショートカット学習は一般的だが、ディープラーニングモデルには有害である。 本研究では,ショートカット学習の精度向上を目的とした,新規かつ効果的なサリエンシ誘導型視覚変換器(SGT)モデルを提案する。
  論文  参考訳（メタデータ） (2022-06-17T05:54:07Z)
• Evidential Temporal-aware Graph-based Social Event Detection via Dempster-Shafer Theory [76.4580340399321]
  ETGNN(Evidential Temporal-aware Graph Neural Network)を提案する。 ノードがテキストであり、エッジがそれぞれ複数の共有要素によって決定されるビュー固有グラフを構築する。 ビュー固有の不確実性を考慮すると、すべてのビューの表現は、明らかなディープラーニング(EDL)ニューラルネットワークを介してマス関数に変換される。
  論文  参考訳（メタデータ） (2022-05-24T16:22:40Z)
• Follow My Eye: Using Gaze to Supervise Computer-Aided Diagnosis [54.60796004113496]
  医用画像を読む放射線科医の眼球運動は,DNNベースのコンピュータ支援診断システム(CAD)を訓練するための新たな指導形態であることが実証された。 画像を読んでいるときに、放射線科医の視線を記録します。 視線情報は処理され、アテンション一貫性モジュールを介してDNNの注意を監督するために使用される。
  論文  参考訳（メタデータ） (2022-04-06T08:31:05Z)
• Node Masking: Making Graph Neural Networks Generalize and Scale Better [71.51292866945471]
  グラフニューラルネットワーク(GNN)は近年,多くの関心を集めている。 本稿では,芸術空間のGNNの状態によって実行される操作をよりよく可視化するために,いくつかの理論ツールを利用する。 私たちはNode Maskingというシンプルなコンセプトを導入しました。
  論文  参考訳（メタデータ） (2020-01-17T06:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。