論文の概要: Path-RAG: Knowledge-Guided Key Region Retrieval for Open-ended Pathology Visual Question Answering

• arxiv url: http://arxiv.org/abs/2411.17073v1
• Date: Tue, 26 Nov 2024 03:22:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:37:02.491995
• Title: Path-RAG: Knowledge-Guided Key Region Retrieval for Open-ended Pathology Visual Question Answering
• Title（参考訳）: Path-RAG:オープンエンド型視覚質問応答のための知識誘導型キー領域検索
• Authors: Awais Naeem, Tianhao Li, Huang-Ru Liao, Jiawei Xu, Aby M. Mathew, Zehao Zhu, Zhen Tan, Ajay Kumar Jaiswal, Raffi A. Salibian, Ziniu Hu, Tianlong Chen, Ying Ding,
• Abstract要約: そこで我々はPath-RAGという新しいフレームワークを提案し,病理画像から関連分野の知識を抽出する。 実験の結果,LLaVA-Medの精度は38%から47%に向上することが示唆された。 長文の質問と回答のペアに対して、我々のモデルは一貫して32.5%のARCH-Open PubMed、30.6%のARCH-Open Books on H&E imageを実現している。
• 参考スコア（独自算出の注目度）: 38.86674352317965
• License:
• Abstract: Accurate diagnosis and prognosis assisted by pathology images are essential for cancer treatment selection and planning. Despite the recent trend of adopting deep-learning approaches for analyzing complex pathology images, they fall short as they often overlook the domain-expert understanding of tissue structure and cell composition. In this work, we focus on a challenging Open-ended Pathology VQA (PathVQA-Open) task and propose a novel framework named Path-RAG, which leverages HistoCartography to retrieve relevant domain knowledge from pathology images and significantly improves performance on PathVQA-Open. Admitting the complexity of pathology image analysis, Path-RAG adopts a human-centered AI approach by retrieving domain knowledge using HistoCartography to select the relevant patches from pathology images. Our experiments suggest that domain guidance can significantly boost the accuracy of LLaVA-Med from 38% to 47%, with a notable gain of 28% for H&E-stained pathology images in the PathVQA-Open dataset. For longer-form question and answer pairs, our model consistently achieves significant improvements of 32.5% in ARCH-Open PubMed and 30.6% in ARCH-Open Books on H\&E images. Our code and dataset is available here (https://github.com/embedded-robotics/path-rag).
• Abstract（参考訳）: 病理画像による正確な診断と予後は、がん治療の選択と計画に不可欠である。 複雑な病理像を解析するためのディープラーニングアプローチを採用する最近の傾向にもかかわらず、しばしば組織構造と細胞組成のドメイン専門家による理解を見落としているため、それらは不足している。 本研究では,PathVQA-Open(PathVQA-Open)課題に焦点をあて,HistoCartographyを利用して病理画像から関連するドメイン知識を検索し,PathVQA-Openの性能を大幅に向上するPath-RAGという新しいフレームワークを提案する。 Path-RAGは、病理画像解析の複雑さを許容し、HistoCartographyを使用してドメイン知識を取得して、病理画像から関連するパッチを選択することで、人間中心のAIアプローチを採用する。 実験の結果,LLaVA-Medの精度は38%から47%に向上し,パスVQA-OpenデータセットにおけるH&E染色画像の28%が顕著に向上することが示唆された。 長文の質問と回答のペアに対して、我々のモデルは一貫して32.5%のARCH-Open PubMed、30.6%のARCH-Open Books on H\&E imageを実現している。 私たちのコードとデータセットはここで利用可能です(https://github.com/embedded-robotics/path-rag)。

関連論文リスト

• HistoGym: A Reinforcement Learning Environment for Histopathological Image Analysis [9.615399811006034]
  HistoGymは、医師の実際の過程を模倣して、スライド画像全体の診断を促進することを目的としている。 私たちは、WSIベースのシナリオと選択された地域ベースのシナリオを含む、さまざまな臓器や癌のシナリオを提供しています。
  論文  参考訳（メタデータ） (2024-08-16T17:19:07Z)
• Anatomy-guided Pathology Segmentation [56.883822515800205]
  本研究では, 解剖学的特徴と病理学的情報を組み合わせた汎用的セグメンテーションモデルを構築し, 病理学的特徴のセグメンテーション精度を高めることを目的とする。 我々の解剖学・病理学交流(APEx)訓練では,ヒト解剖学の問合せ表現に結合特徴空間をデコードする問合せベースのセグメンテーション変換器を用いている。 これにより、FDG-PET-CTとChest X-Rayの病理分類タスクにおいて、強力なベースライン法に比べて最大3.3%のマージンで、ボード全体で最高の結果を報告できる。
  論文  参考訳（メタデータ） (2024-07-08T11:44:15Z)
• PathoWAve: A Deep Learning-based Weight Averaging Method for Improving Domain Generalization in Histopathology Images [13.362177469092963]
  病理画像解析における領域シフト現象に対処するために,病理量平均化(PathoWAve)を導入する。 The results on Camelyon17 WILDS dataset shows PathoWAve's superiority than previous proposed method。
  論文  参考訳（メタデータ） (2024-06-21T23:25:44Z)
• Knowledge-enhanced Visual-Language Pretraining for Computational Pathology [68.6831438330526]
  本稿では,公共資源から収集した大規模画像テキストペアを利用した視覚的表現学習の課題について考察する。 ヒト32組織から病理診断を必要とする4,718の疾患に対して50,470個の情報属性からなる病理知識ツリーをキュレートする。
  論文  参考訳（メタデータ） (2024-04-15T17:11:25Z)
• Siamese Content-based Search Engine for a More Transparent Skin and Breast Cancer Diagnosis through Histological Imaging [1.927195358774599]
  乳房(Breast-twins)と皮膚癌(Skin-twins)の2種類のCBHIRアプローチを,堅牢で正確なパッチレベルの検索のために提案する。 Breast-twins モデルはF1スコアの70%を最上位で達成し、これはK よりも高い値で他の最先端の手法を超える。
  論文  参考訳（メタデータ） (2024-01-16T10:51:55Z)
• Machine Learning Methods for Histopathological Image Analysis: A Review [62.14548392474976]
  病理組織像 (HIs) は癌診断における腫瘍の種類を評価するための金の基準である。 このような分析を高速化する方法の1つは、コンピュータ支援診断(CAD)システムを使用することである。
  論文  参考訳（メタデータ） (2021-02-07T19:12:32Z)
• Fader Networks for domain adaptation on fMRI: ABIDE-II study [68.5481471934606]
  我々は3次元畳み込みオートエンコーダを用いて、無関係な空間画像表現を実現するとともに、ABIDEデータ上で既存のアプローチより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-14T16:50:50Z)
• Explaining Clinical Decision Support Systems in Medical Imaging using Cycle-Consistent Activation Maximization [112.2628296775395]
  ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。 臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。 そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
  論文  参考訳（メタデータ） (2020-10-09T14:39:27Z)
• PathVQA: 30000+ Questions for Medical Visual Question Answering [15.343890121216335]
  これは、病理VQAの最初のデータセットです。私たちの知る限り、このデータセットは、病理VQAの最初のデータセットです。我々のデータセットは、医学VQAの研究を促進するために、公開されます。
  論文  参考訳（メタデータ） (2020-03-07T17:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。