論文の概要: Pathological Visual Question Answering
- arxiv url: http://arxiv.org/abs/2010.12435v1
- Date: Tue, 6 Oct 2020 00:36:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 07:42:40.067494
- Title: Pathological Visual Question Answering
- Title(参考訳): 病的視覚的質問応答
- Authors: Xuehai He, Zhuo Cai, Wenlan Wei, Yichen Zhang, Luntian Mou, Eric Xing,
Pengtao Xie
- Abstract要約: 視覚的質問応答(VQA)データセットを作成して,AIエージェントに質問とともに病理像を提示し,正しい回答を求める必要がある。
プライバシー上の懸念から、病理画像は通常公開されていない。
高度に経験を積んだ病理学者を雇って、病理の視覚的な疑問や答えを作るのは難しい。
病理学的問合せ(QA)ペアの医療概念と知識は非常に多様である。
- 参考スコア(独自算出の注目度): 14.816825480418588
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Is it possible to develop an "AI Pathologist" to pass the board-certified
examination of the American Board of Pathology (ABP)? To build such a system,
three challenges need to be addressed. First, we need to create a visual
question answering (VQA) dataset where the AI agent is presented with a
pathology image together with a question and is asked to give the correct
answer. Due to privacy concerns, pathology images are usually not publicly
available. Besides, only well-trained pathologists can understand pathology
images, but they barely have time to help create datasets for AI research. The
second challenge is: since it is difficult to hire highly experienced
pathologists to create pathology visual questions and answers, the resulting
pathology VQA dataset may contain errors. Training pathology VQA models using
these noisy or even erroneous data will lead to problematic models that cannot
generalize well on unseen images. The third challenge is: the medical concepts
and knowledge covered in pathology question-answer (QA) pairs are very diverse
while the number of QA pairs available for modeling training is limited. How to
learn effective representations of diverse medical concepts based on limited
data is technically demanding. In this paper, we aim to address these three
challenges. To our best knowledge, our work represents the first one addressing
the pathology VQA problem. To deal with the issue that a publicly available
pathology VQA dataset is lacking, we create PathVQA dataset. To address the
second challenge, we propose a learning-by-ignoring approach. To address the
third challenge, we propose to use cross-modal self-supervised learning. We
perform experiments on our created PathVQA dataset and the results demonstrate
the effectiveness of our proposed learning-by-ignoring method and cross-modal
self-supervised learning methods.
- Abstract(参考訳): アメリカ病理学会(ABP)の理事会認定試験に合格する「AI病理学」を開発することは可能か?
このようなシステムを構築するには、3つの課題に取り組む必要がある。
まず、AIエージェントに質問とともに病理像を提示し、正しい回答を依頼する視覚的質問応答(VQA)データセットを作成する必要がある。
プライバシー上の懸念から、病理画像は通常公開されていない。
さらに、よく訓練された病理学者だけが病理画像を理解することができるが、AI研究のためのデータセットを作成する時間はほとんどない。
第二の課題は、高度に経験を積んだ病理学者を雇って、病理の視覚的な質問や回答を作成することは難しいため、結果として得られた病理VQAデータセットにはエラーが含まれる可能性があることである。
これらのノイズや誤ったデータを用いたトレーニング病理VQAモデルは、目に見えない画像でうまく一般化できない問題モデルにつながる。
第3の課題は、QAペアの医療概念と知識は非常に多様であり、モデリングトレーニングで利用可能なQAペアの数は限られていることである。
限られたデータに基づいて多様な医療概念を効果的に表現する方法が技術的に求められている。
本稿では,これら3つの課題を解決することを目的とする。
我々の知る限りでは、私たちの研究は病理VQA問題に最初に取り組むものである。
公開されている病理VQAデータセットが不足している問題に対処するため、PathVQAデータセットを作成します。
第2の課題に対処するために,我々は学習・無視アプローチを提案する。
第3の課題に対処するため,我々はクロスモーダル自己教師付き学習の利用を提案する。
開発したpathvqaデータセット上で実験を行い,提案手法とクロスモーダル自己教師付き学習手法の有効性を示す。
関連論文リスト
- Ask Questions with Double Hints: Visual Question Generation with Answer-awareness and Region-reference [107.53380946417003]
本稿では,応答認識と領域参照を用いた視覚的質問生成のための新しい学習パラダイムを提案する。
我々は、追加の人間のアノテーションを導入することなく、視覚的ヒントを自己学習する簡単な手法を開発した。
論文 参考訳(メタデータ) (2024-07-06T15:07:32Z) - Robust and Interpretable Medical Image Classifiers via Concept
Bottleneck Models [49.95603725998561]
本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。
具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
論文 参考訳(メタデータ) (2023-10-04T21:57:09Z) - DRAC: Diabetic Retinopathy Analysis Challenge with Ultra-Wide Optical
Coherence Tomography Angiography Images [51.27125547308154]
第25回医用画像コンピューティング・コンピュータ支援介入国際会議(MICCAI 2022)にともなうDRAC糖尿病網膜症解析チャレンジの企画を行った。
この課題は、DR病変の分節化、画像品質評価、DRグレーディングの3つのタスクから構成される。
本稿では,課題の各課題について,トップパフォーマンスのソリューションと結果の要約と分析を行う。
論文 参考訳(メタデータ) (2023-04-05T12:04:55Z) - Diagnosis of Paratuberculosis in Histopathological Images Based on
Explainable Artificial Intelligence and Deep Learning [0.0]
本研究では,Deep Learningアルゴリズムを用いて新しいオリジナルデータセットを探索し,勾配重み付きクラスアクティベーションマッピング(Grad-CAM)を用いて出力を可視化する。
意思決定プロセスと説明文の両方を検証し,出力の精度を検証した。
この研究結果は、病理学者が傍結核の診断に大いに役立っている。
論文 参考訳(メタデータ) (2022-08-02T18:05:26Z) - Consistency-preserving Visual Question Answering in Medical Imaging [2.005299372367689]
VQA(Visual Question Answering)モデルは、画像と自然言語の質問を入力として、質問に対する回答を推測する。
本稿では,課題間の関係を学習プロセスに含める新しい損失関数とそれに対応する訓練手順を提案する。
実験の結果,本手法は最先端のベースラインよりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-06-27T13:38:50Z) - Medical Visual Question Answering: A Survey [55.53205317089564]
VQA(Medicical Visual Question Answering)は、医療用人工知能と一般的なVQA課題の組み合わせである。
医療用VQAシステムは,医療用画像と自然言語による臨床的に関連性のある質問を前提として,妥当かつ説得力のある回答を予測することが期待されている。
論文 参考訳(メタデータ) (2021-11-19T05:55:15Z) - A Systematic Collection of Medical Image Datasets for Deep Learning [37.476768951211206]
ディープラーニングアルゴリズムはデータ依存であり、トレーニングには大規模なデータセットを必要とする。
医用画像領域におけるデータ不足は、深層学習を医用画像解析に応用するためのボトルネックとなる。
本稿では、深層学習研究における課題について、医用画像データセットのコレクションを提供する。
論文 参考訳(メタデータ) (2021-06-24T10:00:30Z) - Knowledge-Routed Visual Question Reasoning: Challenges for Deep
Representation Embedding [140.5911760063681]
VQAモデル評価のためのナレッジルーティング視覚質問推論という新しいデータセットを提案する。
視覚ゲノムシーングラフと外部知識ベースの両方に基づいて,制御プログラムを用いて質問応答対を生成する。
論文 参考訳(メタデータ) (2020-12-14T00:33:44Z) - Interpretable Multi-Step Reasoning with Knowledge Extraction on Complex
Healthcare Question Answering [89.76059961309453]
HeadQAデータセットには、公衆医療専門試験で認可された複数の選択質問が含まれている。
これらの質問は、現在のQAシステムにとって最も難しいものです。
知識抽出フレームワーク(MurKe)を用いた多段階推論を提案する。
市販の事前訓練モデルを完全に活用しようと努力しています。
論文 参考訳(メタデータ) (2020-08-06T02:47:46Z) - PathVQA: 30000+ Questions for Medical Visual Question Answering [15.343890121216335]
これは、病理VQAの最初のデータセットです。私たちの知る限り、このデータセットは、病理VQAの最初のデータセットです。我々のデータセットは、医学VQAの研究を促進するために、公開されます。
論文 参考訳(メタデータ) (2020-03-07T17:55:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。