論文の概要: Free Form Medical Visual Question Answering in Radiology

• arxiv url: http://arxiv.org/abs/2401.13081v1
• Date: Tue, 23 Jan 2024 20:26:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 16:03:00.224111
• Title: Free Form Medical Visual Question Answering in Radiology
• Title（参考訳）: 放射線医学におけるフリーフォームビジュアル質問応答
• Authors: Abhishek Narayanan, Rushabh Musthyala, Rahul Sankar, Anirudh Prasad Nistala, Pranav Singh and Jacopo Cirrone
• Abstract要約: 医療用ビジュアル質問回答の研究は、2018年以来、勢いを増している。 本研究は,放射線画像の効果的表現とマルチモーダル表現の連成学習について考察する。 我々のモデルは、より複雑なアーキテクチャでトップ1の精度79.55%を実現し、現在の最先端モデルに匹敵する性能を示す。
• 参考スコア（独自算出の注目度）: 3.495246564946556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual Question Answering (VQA) in the medical domain presents a unique, interdisciplinary challenge, combining fields such as Computer Vision, Natural Language Processing, and Knowledge Representation. Despite its importance, research in medical VQA has been scant, only gaining momentum since 2018. Addressing this gap, our research delves into the effective representation of radiology images and the joint learning of multimodal representations, surpassing existing methods. We innovatively augment the SLAKE dataset, enabling our model to respond to a more diverse array of questions, not limited to the immediate content of radiology or pathology images. Our model achieves a top-1 accuracy of 79.55\% with a less complex architecture, demonstrating comparable performance to current state-of-the-art models. This research not only advances medical VQA but also opens avenues for practical applications in diagnostic settings.
• Abstract（参考訳）: 医学領域における視覚的質問回答(VQA)は、コンピュータビジョン、自然言語処理、知識表現といった分野を組み合わせた、独特で学際的な課題を示す。 その重要性にもかかわらず、医療用VQAの研究はスキャンされ、2018年以降、勢いが増している。 このギャップに対処し,放射線画像の効果的な表現とマルチモーダル表現の合同学習に着目し,既存の手法を上回った。 SLAKEデータセットを革新的に拡張し、放射線学や病理画像の即時的内容に限らず、より多様な質問に対応できるようにしました。 我々のモデルは、より複雑なアーキテクチャで79.55\%のtop-1精度を達成し、現在の最先端モデルに匹敵する性能を示している。 本研究は, 医療用VQAの進歩だけでなく, 臨床応用への道を開いた。

関連論文リスト

• The Era of Foundation Models in Medical Imaging is Approaching : A Scoping Review of the Clinical Value of Large-Scale Generative AI Applications in Radiology [0.0]
  放射線技師の不足に起因する社会問題は激化しており、人工知能は潜在的な解決策として強調されている。 最近出現する大規模生成AIは、大規模言語モデル(LLM)からマルチモーダルモデルへと拡張されている。 このスコーピングレビューは、大規模生成型AIアプリケーションの臨床的価値に関する既存の文献を体系的に整理する。
  論文  参考訳（メタデータ） (2024-09-03T00:48:50Z)
• HyperFusion: A Hypernetwork Approach to Multimodal Integration of Tabular and Medical Imaging Data for Predictive Modeling [4.44283662576491]
  EHRの値と測定値に画像処理を条件付け,臨床画像と表層データを融合させるハイパーネットワークに基づく新しいフレームワークを提案する。 我々は, 単一モダリティモデルと最先端MRI-タブラルデータ融合法の両方に優れることを示す。
  論文  参考訳（メタデータ） (2024-03-20T05:50:04Z)
• Leveraging Foundation Models for Content-Based Medical Image Retrieval in Radiology [0.14631663747888957]
  コンテンツに基づく画像検索は、放射線学における診断支援と医学研究を大幅に改善する可能性がある。 現在のCBIRシステムは、特定の病態の専門化による限界に直面しており、実用性は制限されている。 本稿では,コンテンツに基づく医用画像検索のための特徴抽出器として視覚基盤モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-11T10:06:45Z)
• MVC: A Multi-Task Vision Transformer Network for COVID-19 Diagnosis from Chest X-ray Images [10.616065108433798]
  本稿では,胸部X線画像を同時に分類し,入力データから影響領域を識別するマルチタスク・ビジョン・トランスフォーマ(MVC)を提案する。 提案手法はVision Transformer上に構築されているが,マルチタスク設定で学習能力を拡張している。
  論文  参考訳（メタデータ） (2023-09-30T15:52:18Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
  我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。 胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。 自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
  論文  参考訳（メタデータ） (2023-06-13T17:59:59Z)
• PMC-VQA: Visual Instruction Tuning for Medical Visual Question Answering [56.25766322554655]
  MedVQA(Medicical Visual Question Answering)は、診断精度と医療提供を向上する重要な機会を提供する。 本稿では,事前学習した視覚エンコーダの視覚情報を大規模言語モデルに整列させることにより,医用視覚理解のための生成モデルを提案する。 PMC-VQAで提案されたモデルをトレーニングし、VQA-RAD、SLAKE、Image-Clef 2019など、複数の公開ベンチマークで微調整する。
  論文  参考訳（メタデータ） (2023-05-17T17:50:16Z)
• Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
  医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。 我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:26:19Z)
• Medical visual question answering using joint self-supervised learning [8.817054025763325]
  エンコーダは、自己アテンション機構で画像-テキスト二重モードに埋め込まれる。 デコーダはエンコーダの上部に接続され、小型の医療用VQAデータセットを使用して微調整される。
  論文  参考訳（メタデータ） (2023-02-25T12:12:22Z)
• In-Line Image Transformations for Imbalanced, Multiclass Computer Vision Classification of Lung Chest X-Rays [91.3755431537592]
  本研究は、COVID-19 LCXRデータ不足のバランスをとるために画像変換を適用するために、文献の体系を活用することを目的としている。 convolutional neural networks(cnns)のようなディープラーニング技術は、健康状態と疾患状態を区別する特徴を選択することができる。 本研究は,CNNアーキテクチャを用いて高速多クラスLCXR分類を94%精度で行う。
  論文  参考訳（メタデータ） (2021-04-06T02:01:43Z)
• Universal Model for Multi-Domain Medical Image Retrieval [88.67940265012638]
  医用画像検索(MIR)は、医師が類似した患者のデータを素早く見つけるのに役立つ。 MIRはデジタル画像モダリティの多用により、ますます役に立ちつつある。 しかし、病院における様々なデジタル画像モダリティの人気もまた、MIRにいくつかの課題をもたらしている。
  論文  参考訳（メタデータ） (2020-07-14T23:22:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。