論文の概要: PitVQA: Image-grounded Text Embedding LLM for Visual Question Answering in Pituitary Surgery

• arxiv url: http://arxiv.org/abs/2405.13949v1
• Date: Wed, 22 May 2024 19:30:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 20:23:46.678251
• Title: PitVQA: Image-grounded Text Embedding LLM for Visual Question Answering in Pituitary Surgery
• Title（参考訳）: PitVQA:下垂体手術における視覚的質問応答のためのLLM画像埋め込みテキスト
• Authors: Runlong He, Mengya Xu, Adrito Das, Danyal Z. Khan, Sophia Bano, Hani J. Marcus, Danail Stoyanov, Matthew J. Clarkson, Mobarakol Islam,
• Abstract要約: 本稿では, 内鼻下垂体手術における視覚質問応答(VQA)のためのデータセットであるPitVQAと, 手術用VQAのための新しい画像基底テキスト埋め込みによるGPT2の適応であるPitVQA-Netを紹介する。 PitVQAは25のプロシージャビデオと、フェーズとステップ認識、コンテキスト理解、ツール検出とローカライゼーション、ツールとタスクの相互作用といった重要な外科的側面にまたがる質問対の豊富なコレクションで構成されている。 PitVQA-Netは、画像とテキストの特徴を共有埋め込み空間とGPT2に投影する新しい画像基底テキスト埋め込みで構成されている。
• 参考スコア（独自算出の注目度）: 16.341966752582096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual Question Answering (VQA) within the surgical domain, utilizing Large Language Models (LLMs), offers a distinct opportunity to improve intra-operative decision-making and facilitate intuitive surgeon-AI interaction. However, the development of LLMs for surgical VQA is hindered by the scarcity of diverse and extensive datasets with complex reasoning tasks. Moreover, contextual fusion of the image and text modalities remains an open research challenge due to the inherent differences between these two types of information and the complexity involved in aligning them. This paper introduces PitVQA, a novel dataset specifically designed for VQA in endonasal pituitary surgery and PitVQA-Net, an adaptation of the GPT2 with a novel image-grounded text embedding for surgical VQA. PitVQA comprises 25 procedural videos and a rich collection of question-answer pairs spanning crucial surgical aspects such as phase and step recognition, context understanding, tool detection and localization, and tool-tissue interactions. PitVQA-Net consists of a novel image-grounded text embedding that projects image and text features into a shared embedding space and GPT2 Backbone with an excitation block classification head to generate contextually relevant answers within the complex domain of endonasal pituitary surgery. Our image-grounded text embedding leverages joint embedding, cross-attention and contextual representation to understand the contextual relationship between questions and surgical images. We demonstrate the effectiveness of PitVQA-Net on both the PitVQA and the publicly available EndoVis18-VQA dataset, achieving improvements in balanced accuracy of 8% and 9% over the most recent baselines, respectively. Our code and dataset is available at https://github.com/mobarakol/PitVQA.
• Abstract（参考訳）: 手術領域内の視覚質問応答(VQA)は,大言語モデル(LLM)を用いて,術中意思決定の改善と直感的な外科医とAIの相互作用を促進するための明確な機会を提供する。 しかし、外科的VQAのためのLLMの開発は、複雑な推論タスクを伴う多種多様なデータセットの不足によって妨げられている。 さらに、これらの2種類の情報とそれらの整合性に関わる複雑さの間に固有の違いがあるため、画像とテキストのモダリティの文脈的融合は、依然としてオープンな研究課題である。 本稿では,鼻下垂体手術におけるVQAに特化して設計された新しいデータセットであるPitVQAと,手術用VQAのための新しい画像接地テキスト埋め込みによるGPT2の適応であるPitVQA-Netを紹介する。 PitVQAは25のプロシージャビデオと、フェーズとステップ認識、コンテキスト理解、ツール検出とローカライゼーション、ツールとタスクの相互作用といった重要な外科的側面にまたがる質問対の豊富なコレクションで構成されている。 PitVQA-Netは、画像とテキストの特徴を共有埋め込み空間に投影する新しい画像基底テキスト埋め込みと、励起ブロック分類ヘッドを備えたGPT2 Backboneで構成され、鼻下垂体手術の複雑な領域内でコンテキスト的に関連する回答を生成する。 画像接地テキストの埋め込みは, 共同埋め込み, クロスアテンション, コンテキスト表現を利用して, 問合せと手術画像の文脈的関係を理解する。 我々は,PitVQAデータセットと利用可能なEndoVis18-VQAデータセットに対するPitVQA-Netの有効性を実証し,最新のベースラインよりも8%と9%のバランス精度の向上を実現した。 私たちのコードとデータセットはhttps://github.com/mobarakol/PitVQA.comで公開されています。

関連論文リスト

• Advancing Surgical VQA with Scene Graph Knowledge [45.05847978115387]
  我々は,シーングラフの知識を用いて,外科的文脈における視覚的質問応答を推し進めることを目指している。 我々は,楽器や解剖の空間的および行動的情報を用いた手術シーングラフを構築した。 軽量Scene-embedded Interaction Module(SIM)を用いた新しい手術用VQAモデルであるSSG-QA-Netを提案する。
  論文  参考訳（メタデータ） (2023-12-15T22:50:12Z)
• Surgical-VQLA: Transformer with Gated Vision-Language Embedding for Visual Question Localized-Answering in Robotic Surgery [18.248882845789353]
  本研究では,ロボット支援型手術シーンと記録映像からのアクティビティ理解を容易にするための手術質問応答システムを開発した。 既存のVQA手法の多くは、視覚的特徴を抽出し、答え生成のための質問の埋め込みテキストと融合するために、オブジェクト検出器と領域ベースの特徴抽出器を必要とする。 そこで我々は,ロボット手術における視覚的質問の局所化-回答(Surgical-VQLA)を提案し,回答予測中に特定の手術領域を局所化する。
  論文  参考訳（メタデータ） (2023-05-19T14:13:47Z)
• PMC-VQA: Visual Instruction Tuning for Medical Visual Question Answering [56.25766322554655]
  MedVQA(Medicical Visual Question Answering)は、診断精度と医療提供を向上する重要な機会を提供する。 本稿では,事前学習した視覚エンコーダの視覚情報を大規模言語モデルに整列させることにより,医用視覚理解のための生成モデルを提案する。 PMC-VQAで提案されたモデルをトレーニングし、VQA-RAD、SLAKE、Image-Clef 2019など、複数の公開ベンチマークで微調整する。
  論文  参考訳（メタデータ） (2023-05-17T17:50:16Z)
• Medical visual question answering using joint self-supervised learning [8.817054025763325]
  エンコーダは、自己アテンション機構で画像-テキスト二重モードに埋め込まれる。 デコーダはエンコーダの上部に接続され、小型の医療用VQAデータセットを使用して微調整される。
  論文  参考訳（メタデータ） (2023-02-25T12:12:22Z)
• TAG: Boosting Text-VQA via Text-aware Visual Question-answer Generation [55.83319599681002]
  Text-VQAは、画像中のテキストの手がかりを理解する必要がある質問に答えることを目的としている。 画像のシーンコンテキストで利用可能な既存のリッチテキストを明示的に利用することにより,高品質で多様なQAペアを生成する方法を開発した。
  論文  参考訳（メタデータ） (2022-08-03T02:18:09Z)
• MGA-VQA: Multi-Granularity Alignment for Visual Question Answering [75.55108621064726]
  視覚的な質問に答えることを学ぶことは、マルチモーダル入力が2つの特徴空間内にあるため、難しい作業である。 視覚質問応答タスク(MGA-VQA)のための多言語アライメントアーキテクチャを提案する。 我々のモデルはアライメントを異なるレベルに分割し、追加のデータやアノテーションを必要とせずにより良い相関関係を学習します。
  論文  参考訳（メタデータ） (2022-01-25T22:30:54Z)
• Achieving Human Parity on Visual Question Answering [67.22500027651509]
  The Visual Question Answering (VQA) task using both visual image and language analysis to answer a textual question to a image。 本稿では,人間がVQAで行ったのと同じような,あるいは少しでも良い結果が得られるAliceMind-MMUに関する最近の研究について述べる。 これは,(1)包括的視覚的・テキスト的特徴表現による事前学習,(2)参加する学習との効果的な相互モーダル相互作用,(3)複雑なVQAタスクのための専門的専門家モジュールを用いた新たな知識マイニングフレームワークを含む,VQAパイプラインを体系的に改善することで達成される。
  論文  参考訳（メタデータ） (2021-11-17T04:25:11Z)
• MuVAM: A Multi-View Attention-based Model for Medical Visual Question Answering [2.413694065650786]
  本稿では,医療用視覚質問応答のためのマルチビューアテンションベースモデル(MuVAM)を提案する。 医用画像の高レベルの意味をテキスト記述に基づいて統合する。 2つのデータセットの実験では、MuVAMの有効性が最先端の手法を超えていることが示されている。
  論文  参考訳（メタデータ） (2021-07-07T13:40:25Z)
• A Novel Attention-based Aggregation Function to Combine Vision and Language [55.7633883960205]
  本稿では,視覚と言語のための新しい完全適応型還元法を提案する。 具体的には,各モータリティの各要素のスコアの集合を,クロスアテンションの新たな変種を用いて計算する。 我々は、画像テキストマッチングと視覚的質問応答のアプローチを試行し、他の縮小選択と公正な比較を構築した。
  論文  参考訳（メタデータ） (2020-04-27T18:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。