論文の概要: SeVeR: Selective Visual Exposure and Retrieval for 3D Medical Image Question Answering
- arxiv url: http://arxiv.org/abs/2608.25630v1
- Date: Wed, 26 Aug 2026 10:58:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.772213
- Title: SeVeR: Selective Visual Exposure and Retrieval for 3D Medical Image Question Answering
- Title(参考訳): SeVeR:3次元医用画像質問応答のための選択的な視覚露光と検索
- Abstract要約: BreMRIs-VQAは71.0Kと12.9Kの患者から1.19MのQAペアを持ち、フリーテキストとマルチチョイスの質問をカバーしている。
本稿では,高密度ボリュームをモダリティワイドなプロトタイプに圧縮し,デコード中の変化に注意を向けた相補的な多段階証拠を検索する,選択的な視覚露光フレームワークSeVeRを提案する。
BreMRI-VQAと公開ベンチマークの実験では、SeVeRは識別性と生成性の両方を改善しながら、視覚トークンを著しく少なくしている。
- 参考スコア(独自算出の注目度): 20.249900521542195
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Volumetric medical VQA requires reasoning over long and redundant 3D visual token sequences, especially in multi-sequence MRI where complementary modalities provide diverse diagnostic cues but expose the decoder to many repeated anatomical regions. To investigate reasoning under multi-sequence visual redundancy, we first introduce BreMRIs-VQA, a clinically curated breast MRI benchmark with 1.19M QA pairs from 71.0K sequences and 12.9K patients, covering both free-text and multiple-choice questions. We further propose SeVeR, a selective visual exposure framework that compresses dense volumes into modality-wise prototypes and retrieves complementary multi-level evidence with change-aware gated attention during decoding, trained with a marginal-utility self-consistency objective that suppresses unhelpful retrieval. Experiments on BreMRIs-VQA and public benchmarks show that SeVeR improves both discriminative and generative performance while exposing substantially fewer visual tokens.
- Abstract(参考訳): ボリューム医療用VQAは、特に相補的なモダリティが多様な診断方法を提供するが、デコーダを何度も繰り返される解剖学的領域に露出するマルチシーケンスMRIにおいて、長く冗長な3次元視覚トークンシーケンスの推論を必要とする。
BreMRIs-VQA(BreMRIs-VQA)は71.0Kと12.9Kの患者から1.19MのQAペアを抽出し、フリーテキストとマルチチョイスの両方の質問をカバーしている。
さらに、高密度量をモダリティワイドなプロトタイプに圧縮し、デコード中に変化に注意を払って相補的な多段階証拠を検索する、選択的視覚露光フレームワークSeVeRを提案する。
BreMRI-VQAと公開ベンチマークの実験では、SeVeRは識別性と生成性の両方を改善しながら、視覚トークンを著しく少なくしている。
関連論文リスト
- MedFG-VQA: Low-Frequency Memory and Graph Attention for Lightweight Medical VQA [55.12170695219291]
MedFG-VQAは、DCTベースの低周波機能を強化し、効果的な視覚・テキストアライメントにグラフ強化のクロスアテンションを使用する軽量フレームワークである。
データ不足に対処するため、SynMed-VQAという大規模な合成データセットを構築した。
論文 参考訳(メタデータ) (2026-08-27T09:16:14Z) - Towards Clinically Interpretable Ophthalmic VQA via Spatially-Grounded Lesion Evidence [51.57735743553791]
今回我々はFundusGroundを紹介した。これは臨床的に解釈可能な眼科用VQAの空間的根拠を用いた新しいベンチマークである。
この構造された病変の証拠に基づいて、72,706の質問が4つのフォーマットにまたがって生成される。
実験により、病変レベルの視覚的エビデンスを組み込むことで、モデルの性能と透明性が一貫して向上することが示された。
論文 参考訳(メタデータ) (2026-05-21T12:37:03Z) - UCSF-PDGM-VQA: Visual Question Answering dataset for brain tumor MRI interpretation [1.2006896500048554]
脳腫瘍の診断はMRI(MRI)の評価に大きく依存している。
放射線学の需要が増えているにもかかわらず、この専門知識は拡張が困難であり、現在の健康システムに支障をきたす。
VLM(Vision-Language Models)は、複雑な脳MRIを半自動でインタラクティブに解釈することで、この負担を軽減する機会を提供する。
論文 参考訳(メタデータ) (2026-05-16T20:10:19Z) - Beyond a Single Frame: Multi-Frame Spatially Grounded Reasoning Across Volumetric MRI [22.439797107933355]
本稿では,容積MRIを用いたマルチフレーム空間的推論のためのベンチマークSGMRI-VQAを紹介する。
各QAペアは、フレームインデックス付きバウンディングボックス座標を持つクリニック整列チェーン・オブ・シントトレースを含む。
境界ボックスによるQwen3-VL-8Bの微調整により,強いゼロショットベースラインのグラウンド化性能が一貫して向上することを示す。
論文 参考訳(メタデータ) (2026-04-17T08:06:39Z) - brat: Aligned Multi-View Embeddings for Brain MRI Analysis [36.795218160666266]
bratは、臨床報告と組み合わせたMRIで訓練された脳磁気共鳴画像(MRI)のための多視点表現学習フレームワークである。
脳MRIは、多種多様で、しばしば微妙な異常が3Dボリューム内のいくつかのスライスに局在しているため、ユニークな課題を呈している。
論文 参考訳(メタデータ) (2025-12-21T10:37:31Z) - TemMed-Bench: Evaluating Temporal Medical Image Reasoning in Vision-Language Models [54.48710348910535]
既存の医学推論ベンチマークは、主に1回の訪問からの画像に基づいて患者の状態を分析することに焦点を当てている。
臨床訪問における患者の状態の変化を分析するための最初のベンチマークであるTemMed-Benchを紹介する。
論文 参考訳(メタデータ) (2025-09-29T17:51:26Z) - Are Vision Language Models Ready for Clinical Diagnosis? A 3D Medical Benchmark for Tumor-centric Visual Question Answering [8.185551155349241]
Vision-Language Models (VLMs) は様々な2次元視覚タスクにおいて有望であるが、3次元臨床診断への準備が整っていない。
腹部腫瘍を対象とする診断的視覚質問応答ベンチマークであるDeepTumorVQAについて検討した。
17の公開データセットから9,262のCTボリューム(3.7Mスライス)と、認識、計測、視覚的推論、医学的推論の4つのカテゴリにまたがる395Kの専門家レベルの質問で構成されている。
論文 参考訳(メタデータ) (2025-05-25T00:50:15Z) - Synthesis-based Imaging-Differentiation Representation Learning for
Multi-Sequence 3D/4D MRI [16.725225424047256]
画像差分表現学習のためのシーケンス・ツー・シーケンス生成フレームワーク(Seq2Seq)を提案する。
本研究では、1つのモデル内で任意の3D/4Dシーケンスを生成し、任意のターゲットシーケンスを生成するだけでなく、各シーケンスの重要性をランク付けする。
我々は,2万名の模擬被験者のおもちゃデータセット,1,251名の脳MRIデータセット,2,101名の乳房MRIデータセットを含む3つのデータセットを用いて広範な実験を行った。
論文 参考訳(メタデータ) (2023-02-01T15:37:35Z) - Model-Guided Multi-Contrast Deep Unfolding Network for MRI
Super-resolution Reconstruction [68.80715727288514]
MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。
本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
論文 参考訳(メタデータ) (2022-09-15T03:58:30Z) - Multimodal Multi-Head Convolutional Attention with Various Kernel Sizes
for Medical Image Super-Resolution [56.622832383316215]
超解像CTおよびMRIスキャンのための新しいマルチヘッド畳み込みアテンションモジュールを提案する。
我々の注目モジュールは、畳み込み操作を用いて、複数の入力テンソルに対して共同的な空間チャネルアテンションを行う。
それぞれの頭部は空間的注意に対する特定の減少率に応じた受容野の大きさの異なる複数の注意ヘッドを導入している。
論文 参考訳(メタデータ) (2022-04-08T07:56:55Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳(メタデータ) (2021-07-07T19:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。