論文の概要: PathVQA: 30000+ Questions for Medical Visual Question Answering
- arxiv url: http://arxiv.org/abs/2003.10286v1
- Date: Sat, 7 Mar 2020 17:55:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-25 19:03:06.531185
- Title: PathVQA: 30000+ Questions for Medical Visual Question Answering
- Title（参考訳）: pathvqa: 医学的視覚的質問応答のための30000以上の質問
- Authors: Xuehai He, Yichen Zhang, Luntian Mou, Eric Xing, Pengtao Xie
- Abstract要約: これは、病理VQAの最初のデータセットです。私たちの知る限り、このデータセットは、病理VQAの最初のデータセットです。我々のデータセットは、医学VQAの研究を促進するために、公開されます。
- 参考スコア（独自算出の注目度）: 15.343890121216335
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Is it possible to develop an "AI Pathologist" to pass the board-certified
examination of the American Board of Pathology? To achieve this goal, the first
step is to create a visual question answering (VQA) dataset where the AI agent
is presented with a pathology image together with a question and is asked to
give the correct answer. Our work makes the first attempt to build such a
dataset. Different from creating general-domain VQA datasets where the images
are widely accessible and there are many crowdsourcing workers available and
capable of generating question-answer pairs, developing a medical VQA dataset
is much more challenging. First, due to privacy concerns, pathology images are
usually not publicly available. Second, only well-trained pathologists can
understand pathology images, but they barely have time to help create datasets
for AI research. To address these challenges, we resort to pathology textbooks
and online digital libraries. We develop a semi-automated pipeline to extract
pathology images and captions from textbooks and generate question-answer pairs
from captions using natural language processing. We collect 32,799 open-ended
questions from 4,998 pathology images where each question is manually checked
to ensure correctness. To our best knowledge, this is the first dataset for
pathology VQA. Our dataset will be released publicly to promote research in
medical VQA.
- Abstract（参考訳）: アメリカ病理学会の委員会認定試験に合格する「AI病理学」を開発することは可能か?
この目標を達成するために、第1のステップは、AIエージェントに質問と一緒に病理画像を提示し、正しい回答をするように求められる、視覚的質問応答(VQA)データセットを作成することである。
私たちの仕事は、このようなデータセットの構築を初めて試みます。
画像が広くアクセス可能な一般ドメインのVQAデータセットの作成や、多数のクラウドソーシングワーカーが利用でき、質問と回答のペアを生成することとは異なり、医療用VQAデータセットの開発は、はるかに難しい。
まず、プライバシー上の懸念から、病理画像は通常公開されていない。
第二に、よく訓練された病理学者だけが病理画像を理解することができるが、AI研究のためのデータセットを作成する時間はほとんどない。
これらの課題に対処するために、我々は、病理教科書やオンラインデジタルライブラリを利用する。
テキストから病理画像や字幕を抽出し,自然言語処理を用いて字幕から問合せ対を生成する半自動パイプラインを開発した。
我々は4,998の病理画像から32,799のオープンエンド質問を収集し、各質問を手動でチェックして正当性を保証する。
私たちの知る限りでは、これが病理VQAの最初のデータセットです。
我々のデータセットは、医療用VQAの研究を促進するために公開されます。
関連論文リスト
- Path-RAG: Knowledge-Guided Key Region Retrieval for Open-ended Pathology Visual Question Answering [38.86674352317965]
そこで我々はPath-RAGという新しいフレームワークを提案し,病理画像から関連分野の知識を抽出する。
実験の結果,LLaVA-Medの精度は38%から47%に向上することが示唆された。
長文の質問と回答のペアに対して、我々のモデルは一貫して32.5%のARCH-Open PubMed、30.6%のARCH-Open Books on H&E imageを実現している。
論文 参考訳（メタデータ） (2024-11-26T03:22:01Z) - Ask Questions with Double Hints: Visual Question Generation with Answer-awareness and Region-reference [107.53380946417003]
本稿では,応答認識と領域参照を用いた視覚的質問生成のための新しい学習パラダイムを提案する。
我々は、追加の人間のアノテーションを導入することなく、視覚的ヒントを自己学習する簡単な手法を開発した。
論文 参考訳（メタデータ） (2024-07-06T15:07:32Z) - UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。
まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。
そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
論文 参考訳（メタデータ） (2023-10-17T02:38:09Z) - PMC-VQA: Visual Instruction Tuning for Medical Visual Question Answering [56.25766322554655]
MedVQA(Medicical Visual Question Answering)は、診断精度と医療提供を向上する重要な機会を提供する。
本稿では,事前学習した視覚エンコーダの視覚情報を大規模言語モデルに整列させることにより,医用視覚理解のための生成モデルを提案する。
PMC-VQAで提案されたモデルをトレーニングし、VQA-RAD、SLAKE、Image-Clef 2019など、複数の公開ベンチマークで微調整する。
論文 参考訳（メタデータ） (2023-05-17T17:50:16Z) - Interpretable Medical Image Visual Question Answering via Multi-Modal
Relationship Graph Learning [45.746882253686856]
医用視覚質問応答 (VQA) は、入力医療画像に関する臨床的に関係のある質問に答えることを目的としている。
まず,胸部X線画像を中心に,包括的で大規模な医療用VQAデータセットを収集した。
このデータセットに基づいて、3つの異なる関係グラフを構築することによって,新たなベースライン手法を提案する。
論文 参考訳（メタデータ） (2023-02-19T17:46:16Z) - Diagnosis of Paratuberculosis in Histopathological Images Based on
Explainable Artificial Intelligence and Deep Learning [0.0]
本研究では,Deep Learningアルゴリズムを用いて新しいオリジナルデータセットを探索し,勾配重み付きクラスアクティベーションマッピング(Grad-CAM)を用いて出力を可視化する。
意思決定プロセスと説明文の両方を検証し,出力の精度を検証した。
この研究結果は、病理学者が傍結核の診断に大いに役立っている。
論文 参考訳（メタデータ） (2022-08-02T18:05:26Z) - A-OKVQA: A Benchmark for Visual Question Answering using World Knowledge [39.788346536244504]
A-OKVQAは、約25万の質問からなるクラウドソーシングデータセットである。
我々は、この新たなデータセットの可能性について、その内容の詳細な分析を通して示す。
論文 参考訳（メタデータ） (2022-06-03T17:52:27Z) - Medical Visual Question Answering: A Survey [55.53205317089564]
VQA(Medicical Visual Question Answering)は、医療用人工知能と一般的なVQA課題の組み合わせである。
医療用VQAシステムは,医療用画像と自然言語による臨床的に関連性のある質問を前提として,妥当かつ説得力のある回答を予測することが期待されている。
論文 参考訳（メタデータ） (2021-11-19T05:55:15Z) - Knowledge-Routed Visual Question Reasoning: Challenges for Deep
Representation Embedding [140.5911760063681]
VQAモデル評価のためのナレッジルーティング視覚質問推論という新しいデータセットを提案する。
視覚ゲノムシーングラフと外部知識ベースの両方に基づいて,制御プログラムを用いて質問応答対を生成する。
論文 参考訳（メタデータ） (2020-12-14T00:33:44Z) - Pathological Visual Question Answering [14.816825480418588]
視覚的質問応答(VQA)データセットを作成して,AIエージェントに質問とともに病理像を提示し,正しい回答を求める必要がある。
プライバシー上の懸念から、病理画像は通常公開されていない。
高度に経験を積んだ病理学者を雇って、病理の視覚的な疑問や答えを作るのは難しい。
病理学的問合せ(QA)ペアの医療概念と知識は非常に多様である。
論文 参考訳（メタデータ） (2020-10-06T00:36:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。