論文の概要: Towards Grounded GI Endoscopy VQA via Multi-Task Learning on Small VLMs

• arxiv url: http://arxiv.org/abs/2607.27122v1
• Date: Wed, 29 Jul 2026 16:49:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.745907
• Title: Towards Grounded GI Endoscopy VQA via Multi-Task Learning on Small VLMs
• Title（参考訳）: 小型VLMのマルチタスク学習によるGI内視鏡VQAの実現に向けて
• Abstract要約: 消化管内視鏡画像解析はシングルラベル分類から視覚的質問応答(VQA)へ移行した 本稿では,既存のVQAデータセットから補助的なグラウンドと記述タスクを構築する,シンプルなマルチタスクの微調整レシピを提案する。 我々は、応答トークンと関連する画像領域の暗黙的なアライメントの改善とともに、一貫した精度向上を示す。
• 参考スコア（独自算出の注目度）: 2.0532572974867174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gastrointestinal (GI) endoscopic image analysis has shifted from single-label classification toward visual question answering (VQA), where a model must answer free-form clinical questions about an image. While recent vision-language models (VLMs) achieve promising answer accuracy on this task, clinical adoption also requires the model's internal representations to reflect the visual evidence behind its answers. We propose a simple multi-task fine-tuning recipe that constructs auxiliary grounding and description tasks from an existing VQA dataset with minimal additional annotation: expert-annotated polyp masks are reused directly, while a GI-domain pretrained classifier with Grad-CAM localization provides weak supervision for finding categories that lack ground-truth masks. Three small VLM backbones are fine-tuned with low-rank adaptation under matched VQA-only and multi-task recipes on Kvasir-VQA-x1, and we show consistent accuracy gains together with improved implicit alignment between answer tokens and the relevant image region, evaluated on both in-distribution and out-of-distribution data.
• Abstract（参考訳）: 消化管内視鏡画像解析は, 単一ラベル分類から視覚的質問応答 (VQA) へと移行し, モデルが画像に関する自由形式の臨床的疑問に答えなければならない。 最近の視覚言語モデル(VLM)は、このタスクにおいて有望な解答精度を達成する一方、臨床応用では、解答の背後にある視覚的証拠を反映するために、モデルの内部表現も必要である。 本稿では,既存のVQAデータセットからの補助的な接地および記述タスクを最小限のアノテーションで構築する簡易なマルチタスク微調整法を提案する。 Kvasir-VQA-x1では, 3つの小さなVLMバックボーンが一致したVQAのみのレシピとマルチタスクのレシピの下で, 低ランク適応で微調整され, 応答トークンと関連する画像領域の暗黙的アライメントの改善とともに一貫した精度が得られた。

関連論文リスト

• Harnessing Image Question Dependence for Better VLM Test-time Reinforcement Learning [66.13367818892503]
  Vlm 適応性を向上させるために画像探索依存を利用したテスト時強化学習フレームワーク TTIQ を提案する。 TTIQの教師は、元の画像検索ペアとその画像と質問対応のバリエーションの下で、各サンプル応答を強制する。 イメージと質問への依存と信頼を組み合わせることで、共同で接地された応答を好む応答レベルの報酬を構築する。
  論文  参考訳（メタデータ） (2026-09-09T22:54:15Z)
• ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval [64.14282916266998]
  Composed Image Retrievalは、参照画像と修正テキストからなるハイブリッドクエリに基づいてターゲット画像を取得することを目的としている。 本稿では,診断・生成・再定義パイプラインに従うモデルに依存しないフレームワークであるReCALLを提案する。 CIRRとFashionIQの実験では、ReCALLは継続的に劣化した機能を再検討し、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-02T04:52:54Z)
• Pixel-Grounded Retrieval for Knowledgeable Large Multimodal Models [58.46663983451155]
  PixSearchは、地域レベルの認識と検索強化推論を統合する、エンドツーエンドのLMM(Large Multimodal Model)である。 エンコーディング中、PixSearchは検索をトリガーする検索>トークンを出力し、クエリのモダリティ(テキスト、画像、リージョン)を選択し、ビジュアルクエリとして直接機能するピクセルレベルのマスクを生成する。 エゴセントリックでエンティティ中心のVQAベンチマークでは、PixSearchは事実整合性と一般化を大幅に改善する。
  論文  参考訳（メタデータ） (2026-01-27T00:46:08Z)
• ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
  ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
  論文  参考訳（メタデータ） (2025-11-27T19:01:02Z)
• Multi-Task Learning for Visually Grounded Reasoning in Gastrointestinal VQA [1.9138416746729587]
  メディアエバルメディコ2025チャレンジのためのマルチタスク・フレームワークを提案し,ロラ調整型Florence-2モデルを用いて同時視覚質問応答(VQA)を行う。 提案システムは,(1)質問応答学習のためのKvasir-VQA-x1,(2)構造化医用推論を提供する合成豊かな説明データセット,(3)視覚的特徴とセグメンテーションマスクをリンクするテキストと領域のペアの3つを統合した。
  論文  参考訳（メタデータ） (2025-11-06T14:09:56Z)
• Trust but Verify: Programmatic VLM Evaluation in the Wild [62.14071929143684]
  プログラム型VLM評価(Programmatic VLM Evaluation、PROVE)は、オープンなクエリに対するVLM応答を評価するための新しいベンチマークパラダイムである。 我々は,PROVE上でのVLMの有効性-実効性トレードオフをベンチマークした結果,両者のバランスが良好であることは極めて少ないことがわかった。
  論文  参考訳（メタデータ） (2024-10-17T01:19:18Z)
• ArSDM: Colonoscopy Images Synthesis with Adaptive Refinement Semantic Diffusion Models [69.9178140563928]
  大腸内視鏡検査は臨床診断や治療に不可欠である。 注釈付きデータの不足は、既存の手法の有効性と一般化を制限する。 本稿では, 下流作業に有用な大腸内視鏡画像を生成するために, 適応Refinement Semantic Diffusion Model (ArSDM)を提案する。
  論文  参考訳（メタデータ） (2023-09-03T07:55:46Z)
• Multimodal Prompt Retrieval for Generative Visual Question Answering [9.973591610073006]
  本稿では、検索したプロンプトとマルチモーダル機能を統合して、自由テキストで回答を生成するマルチモーダルプロンプト検索(MPR)によって強化された新しい生成モデルを提案する。 医療用VQAタスクの実験では、MPRはドメイン適応の設定において、最大30%の精度で検索不能なタスクを上回ります。
  論文  参考訳（メタデータ） (2023-06-30T14:06:13Z)
• Investigating Prompting Techniques for Zero- and Few-Shot Visual Question Answering [6.798129852396113]
  本稿では,ゼロおよび少数ショットの視覚質問応答(VQA)性能を向上させる効果的なプロンプト手法について検討する。 特定のテンプレートがVQAの結果に大きく影響し,戦略的テンプレート選択の必要性が強調される。 自由形式のオープンエンドVQA応答を評価する際の課題を軽減するために,簡単なLCM誘導前処理技術を導入する。
  論文  参考訳（メタデータ） (2023-06-16T17:47:57Z)
• Retinal Structure Detection in OCTA Image via Voting-based Multi-task Learning [27.637273690432608]
  本稿では,Voting-based Adaptive Feature Fusion multi-task network (VAFF-Net) を提案する。 タスク固有の投票ゲートモジュールは、特定のタスクに対して2段階の異なる特徴を適応的に抽出し、融合するために提案される。 さらなる研究を容易にするため、ソースコードと評価ベンチマークを備えたデータセットの一部がパブリックアクセス用にリリースされた。
  論文  参考訳（メタデータ） (2022-08-23T05:53:04Z)
• Found a Reason for me? Weakly-supervised Grounded Visual Question Answering using Capsules [85.98177341704675]
  近年,VQAタスクの接地に関する問題が研究コミュニティで注目されている。 カプセル特徴のクエリーに基づく選択機構を備えたビジュアルカプセルモジュールを提案する。 提案するカプセルモジュールを既存のVQAシステムに統合することで,弱教師付き接地作業における性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-05-11T07:45:32Z)
• Analysis on Image Set Visual Question Answering [0.3359875577705538]
  マルチイメージ環境での視覚質問応答の課題に対処する。 従来のVQAタスクは、単一のイメージからターゲットの回答が生成される単一イメージ設定に重点を置いている。 本報告では,タスクのパフォーマンス向上を目的とした4つのアプローチについて検討する。
  論文  参考訳（メタデータ） (2021-03-31T20:47:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。