Fugu-MT 論文翻訳(概要): Memory-Augmented Multimodal LLMs for Surgical VQA via Self-Contained Inquiry

論文の概要: Memory-Augmented Multimodal LLMs for Surgical VQA via Self-Contained Inquiry

arxiv url: http://arxiv.org/abs/2411.10937v1
Date: Sun, 17 Nov 2024 02:23:45 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-19 14:35:40.984851
Title: Memory-Augmented Multimodal LLMs for Surgical VQA via Self-Contained Inquiry
Title（参考訳）: 自己完結型問い合わせによる手術用VQA用メモリ拡張型マルチモーダルLCM
Authors: Wenjun Hou, Yi Cheng, Kaishuai Xu, Yan Hu, Wenjie Li, Jiang Liu,
Abstract要約: 自己完結型問合せによる外科的コンテキスト理解を改善するためのメモリ拡張フレームワークであるSCANを提案する。 SCANは、コンテキスト拡張のための2種類のメモリを生成する。DM(Direct Memory)は、最終回答に複数の候補(またはヒント)を提供する。 3つの公開可能な手術用VQAデータセットの実験では、SCANが最先端のパフォーマンスを実現し、さまざまな手術シナリオにおける精度と堅牢性を向上させることが示されている。
参考スコア（独自算出の注目度）: 14.479606737135045
License:
Abstract: Comprehensively understanding surgical scenes in Surgical Visual Question Answering (Surgical VQA) requires reasoning over multiple objects. Previous approaches address this task using cross-modal fusion strategies to enhance reasoning ability. However, these methods often struggle with limited scene understanding and question comprehension, and some rely on external resources (e.g., pre-extracted object features), which can introduce errors and generalize poorly across diverse surgical environments. To address these challenges, we propose SCAN, a simple yet effective memory-augmented framework that leverages Multimodal LLMs to improve surgical context comprehension via Self-Contained Inquiry. SCAN operates autonomously, generating two types of memory for context augmentation: Direct Memory (DM), which provides multiple candidates (or hints) to the final answer, and Indirect Memory (IM), which consists of self-contained question-hint pairs to capture broader scene context. DM directly assists in answering the question, while IM enhances understanding of the surgical scene beyond the immediate query. Reasoning over these object-aware memories enables the model to accurately interpret images and respond to questions. Extensive experiments on three publicly available Surgical VQA datasets demonstrate that SCAN achieves state-of-the-art performance, offering improved accuracy and robustness across various surgical scenarios.
Abstract（参考訳）: 外科的視覚質問応答(Surgical VQA)における外科的シーンの理解には,複数の対象に対する推論が必要である。従来のアプローチでは、推論能力を高めるためにクロスモーダル融合戦略を用いてこの問題に対処していた。しかし、これらの手法は、限られたシーン理解と質問理解に苦しむことが多く、外部リソース(例えば、事前抽出された物体の特徴)に依存しているものもある。これらの課題に対処するために,マルチモーダル LLM を利用して自己完結型問合せによる外科的コンテキスト理解を改善する,シンプルで効果的なメモリ拡張フレームワーク SCAN を提案する。 SCANは、コンテキスト拡張のための2種類のメモリを生成する。DM(Direct Memory)は、最終回答に複数の候補(またはヒント)を提供する。 DMは直接質問に答えるのを補助し、IMは即時問い合わせ以上の手術シーンの理解を深める。これらのオブジェクト認識メモリに対する推論により、モデルは画像を正確に解釈し、質問に応答することができる。 3つの公開可能な外科的VQAデータセットに関する大規模な実験は、SCANが最先端のパフォーマンスを達成し、さまざまな手術シナリオにおける精度と堅牢性を向上させることを実証している。

関連論文リスト

mR$^2$AG: Multimodal Retrieval-Reflection-Augmented Generation for Knowledge-Based VQA [78.45521005703958]
マルチモーダル検索拡張生成(mRAG)はMLLMに包括的で最新の知識を提供するために自然に導入されている。我々は、適応的検索と有用な情報ローカライゼーションを実現する textbfRetrieval-textbfReftextbfAugmented textbfGeneration (mR$2$AG) という新しいフレームワークを提案する。 mR$2$AG は INFOSEEK と Encyclopedic-VQA の最先端MLLM を著しく上回る
論文参考訳（メタデータ） (2024-11-22T16:15:50Z)
Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [102.31558123570437]
マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
論文参考訳（メタデータ） (2024-11-05T09:27:21Z)
RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
近年,MLLM (Multimodal Large Language Models) が注目されている。検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
論文参考訳（メタデータ） (2024-10-18T03:45:19Z)
Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation [51.222684687924215]
手術用ビデオ言語事前学習は、知識領域のギャップとマルチモーダルデータの不足により、独特な課題に直面している。本稿では,これらの課題に対処するために,階層的知識向上手法と新しい手術的知識向上型ビデオランゲージ事前学習フレームワークを提案する。
論文参考訳（メタデータ） (2024-09-30T22:21:05Z)
LLaVA-Surg: Towards Multimodal Surgical Assistant via Structured Surgical Video Learning [15.646322352232819]
新しいデータセットであるSurg-QAを作成し、手術用ビデオインストラクションペアを102,000個作成する。手術知識を学習するために, LLMを用いた2段階質問応答生成パイプラインを提案する。 LLaVA-Surgは、手術ビデオに関するオープンな質問に答えられる新しい視覚言語対話アシスタントだ。
論文参考訳（メタデータ） (2024-08-15T07:00:20Z)
VS-Assistant: Versatile Surgery Assistant on the Demand of Surgeons [29.783300422432763]
外科医の意図を正確に理解できるVersatile Surgery Assistant (VS-Assistant)を提案する。我々は,VS-Assistantが外科的意図を理解できるように,外科的ケア・チューニング戦略を考案した。
論文参考訳（メタデータ） (2024-05-14T02:05:36Z)
Tool Calling: Enhancing Medication Consultation via Retrieval-Augmented Large Language Models [10.04914417538886]
大規模言語モデル(LLM)は、様々な言語タスクで顕著な成功を収めてきたが、幻覚や時間的ミスアライメントに悩まされている。従来のtextitRetrieve-then-Read の代わりに,新しい textitDistill-Retrieve-Read フレームワークを提案する。
論文参考訳（メタデータ） (2024-04-27T13:11:42Z)
LLM-Assisted Multi-Teacher Continual Learning for Visual Question Answering in Robotic Surgery [57.358568111574314]
患者のデータのプライバシは、モデル更新時に古いデータの可用性を制限することが多い。 CL研究は外科領域で2つの重要な問題を見落としていた。本稿では,多モーダル大規模言語モデル (LLM) と適応重み付け手法を用いて,これらの問題に対処することを提案する。
論文参考訳（メタデータ） (2024-02-26T15:35:24Z)
Multi-Clue Reasoning with Memory Augmentation for Knowledge-based Visual Question Answering [32.21000330743921]
より一般的な質問に答える能力を備えたモデルを実現する新しいフレームワークを提案する。具体的には、画像検索関連関係句を予測するために、明確に定義された検出器が採用されている。最適解答は、最も高いスコアで支持事実を選択することにより予測される。
論文参考訳（メタデータ） (2023-12-20T02:35:18Z)
Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [51.78027546947034]
外科的コンピュータビジョンの最近の進歩は、言語意味論に欠ける視覚のみのモデルによって推進されている。本稿では,eラーニングプラットフォームからの手術ビデオ講義を活用し,効果的な視覚情報と言語監督信号を提供する。テキスト書き起こしのための複数自動音声認識システムを用いて,手術固有の言語課題に対処する。
論文参考訳（メタデータ） (2023-07-27T22:38:12Z)
Surgical-VQLA: Transformer with Gated Vision-Language Embedding for Visual Question Localized-Answering in Robotic Surgery [18.248882845789353]
本研究では,ロボット支援型手術シーンと記録映像からのアクティビティ理解を容易にするための手術質問応答システムを開発した。既存のVQA手法の多くは、視覚的特徴を抽出し、答え生成のための質問の埋め込みテキストと融合するために、オブジェクト検出器と領域ベースの特徴抽出器を必要とする。そこで我々は,ロボット手術における視覚的質問の局所化-回答(Surgical-VQLA)を提案し,回答予測中に特定の手術領域を局所化する。
論文参考訳（メタデータ） (2023-05-19T14:13:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。