論文の概要: MedFG-VQA: Low-Frequency Memory and Graph Attention for Lightweight Medical VQA
- arxiv url: http://arxiv.org/abs/2608.26848v1
- Date: Thu, 27 Aug 2026 09:16:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.324879
- Title: MedFG-VQA: Low-Frequency Memory and Graph Attention for Lightweight Medical VQA
- Title（参考訳）: MedFG-VQA:軽度医療用VQAの低周波記憶とグラフ注意
- Abstract要約: MedFG-VQAは、DCTベースの低周波機能を強化し、効果的な視覚・テキストアライメントにグラフ強化のクロスアテンションを使用する軽量フレームワークである。
データ不足に対処するため、SynMed-VQAという大規模な合成データセットを構築した。
- 参考スコア（独自算出の注目度）: 55.12170695219291
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medical Visual Question Answering (Med-VQA) holds significant promise for clinical decision support, yet faces challenges due to limited annotated data and the high computational demands of existing large vision-language models. We propose MedFG-VQA, a lightweight framework that leverages a memory bank to augment DCT-based low-frequency features and employs graph-enhanced cross-attention for effective visual-textual alignment. Specifically, our approach features two key components: Frequency-Memory Fusion (FMF), which enhances low-frequency features by retrieving from a learnable memory bank built on DCT decomposition, and Graph-Aware Cross-Attention (GACA), which aligns visual-textual features via cross-attention and refines them through graph-convolutional aggregation. To address data scarcity, we construct SynMed-VQA, a large-scale synthetic dataset comprising over 2 million question-answer pairs across 9 imaging modalities and 10 major organs, generated with GPT-4o. Extensive experiments on SynMed-VQA and three other standard biomedical VQA benchmarks demonstrate that MedFG-VQA achieves competitive or superior performance compared to much larger models while maintaining significantly lower computational costs, highlighting its efficiency and potential for clinical deployment.
- Abstract（参考訳）: Med-VQA (Medicical Visual Question Answering) は、臨床的な意思決定を支援する上で大きな可能性を秘めているが、注釈付きデータに制限があり、既存の大規模視覚言語モデルの高い計算要求があるため、課題に直面している。
MedFG-VQAは、メモリバンクを利用してDCTに基づく低周波特徴を増強する軽量なフレームワークであり、効果的な視覚・テクスチャアライメントのためのグラフ拡張型クロスアテンションを用いる。
具体的には、DCT分解上に構築された学習可能なメモリバンクから検索することで低周波特性を向上させるFMF( Frequency-Memory Fusion)と、クロスアテンションにより視覚的・テクスチャ的特徴を整列し、グラフ畳み込みアグリゲーションにより洗練するGACA(Graph-Aware Cross-Attention)という2つの重要なコンポーネントを特徴とする。
データ不足に対処するため、GPT-4oで生成された9つの画像モダリティと10の臓器からなる200万以上の質問応答ペアからなる大規模合成データセットSynMed-VQAを構築した。
SynMed-VQAと他の3つの標準バイオメディカルVQAベンチマークの大規模な実験により、MedFG-VQAは計算コストを大幅に削減し、その効率性と臨床展開の可能性を強調しながら、より大きなモデルに比べて競争力または優れた性能を達成していることが示された。
関連論文リスト
- Frequency-Domain Dual-Branch Fusion for Medical Visual Question Answering [2.5820404110321413]
VQA(Medicical Visual Question Answering)は、病変のテクスチャ、境界の鋭さ、拡散密度の変化などの微妙な視覚的証拠を臨床言語と整合させることを必要とする。
空間領域で動作している既存のマルチモーダル融合アプローチは、視覚的およびテキスト的表現に存在する相補的な周波数情報を完全に活用できない可能性がある。
本稿では,大域低周波構造と細粒度高周波ディテールの適応選択を可能とし,応答生成のための空間表現を再構成する二分岐周波数領域融合モジュールを提案する。
論文 参考訳（メタデータ） (2026-08-08T19:36:23Z) - Disease-Centric Vision-Language Pretraining with Hybrid Visual Encoding for 3D Computed Tomography [75.7789001619107]
ビジョン言語による事前トレーニングは、汎用医療AIにとって大きな可能性を秘めている。
3つの主要なコンポーネントを特徴とするフレームワークを提案する。
診断対応プロンプト戦略では、トレーニング前の推論ギャップを埋めるために、実際の臨床用語と集約された疾患プロトタイプを用いている。
論文 参考訳（メタデータ） (2026-06-24T08:24:45Z) - MedPruner: Training-Free Hierarchical Token Pruning for Efficient 3D Medical Image Understanding in Vision-Language Models [59.180043227905294]
MedPrunerは、3次元医用画像の効率的な理解のためのトレーニング不要でモデルに依存しない階層的トークンプレーニングフレームワークである。
我々は、MedPrunerによって、MedGemmaのようなモデルが元の性能を維持したり、超えたりすることが可能であり、ビジュアルトークンの5%以下を維持していることを示す。
論文 参考訳（メタデータ） (2026-03-12T07:37:00Z) - Versatile and Efficient Medical Image Super-Resolution Via Frequency-Gated Mamba [10.69081892501522]
本稿では,FGMambaを提案する。FGMambaは,グローバルな依存性モデリングと細部拡張を軽量アーキテクチャに統合した,周波数対応のゲート状態空間モデルである。
本研究は,スケーラブルかつ高精度な医用画像強調のための周波数認識状態空間モデリングの有効性を検証した。
論文 参考訳（メタデータ） (2025-10-31T09:12:12Z) - Lung Infection Severity Prediction Using Transformers with Conditional TransMix Augmentation and Cross-Attention [13.087848666528563]
肺感染症、特に肺炎は、急速にエスカレートする深刻な健康リスクを引き起こす。
肺感染症の重症度を評価するため,CTスキャンと胸部X線検査の両方に適用可能な新しい方法を提案する。
i)QCross-Att-PVT、並列エンコーダ、クロスゲートアテンション機構、機能アグリゲータを統合したTransformerベースのアーキテクチャ、および(ii)カスタムデータ拡張戦略であるConditional Online TransMixです。
論文 参考訳（メタデータ） (2025-10-08T11:08:34Z) - ClipGS: Clippable Gaussian Splatting for Interactive Cinematic Visualization of Volumetric Medical Data [51.095474325541794]
医用データのインタラクティブなシネマティック可視化のためのクリッピングプレーンを備えた革新的なガウススプレイティングフレームワークであるClipGSを紹介した。
本手法を5つのボリューム医療データで検証し,平均36.635 PSNRレンダリング品質を156 FPS,16.1MBモデルサイズで達成した。
論文 参考訳（メタデータ） (2025-07-09T08:24:28Z) - MedGemma Technical Report [75.88152277443179]
MedGemmaは、Gemma 3 4Bと27Bをベースとした医療ビジョン言語基盤モデルの集合体である。
MedGemmaは、画像とテキストの高度な医学的理解と推論を実証する。
また、SigLIPから派生した医用目視エンコーダであるMedSigLIPを紹介する。
論文 参考訳（メタデータ） (2025-07-07T17:01:44Z) - Kvasir-VQA-x1: A Multimodal Dataset for Medical Reasoning and Robust MedVQA in Gastrointestinal Endoscopy [3.3091869879941687]
Kvasir-VQA-x1は消化管内視鏡(GI)の新しい大規模データセットである。
我々は159,549組の新しい質問応答ペアを組み込むことで,元のKvasir-VQAを大幅に拡張した。
Kvasir-VQA-x1は、より困難で臨床的に関係のあるベンチマークを提供することで、より信頼性が高く効果的なマルチモーダルAIシステムの開発を加速することを目指している。
論文 参考訳（メタデータ） (2025-06-11T17:31:38Z) - Efficient Lung Ultrasound Severity Scoring Using Dedicated Feature Extractor [12.280417624228544]
MeDiVLADは多レベル肺超音波検査のための新しいパイプラインである。
我々は、自己知識蒸留を利用して、ラベルや集合フレームレベルの特徴を伴わずに視覚変換器(ViT)を事前訓練する。
最小限の微調整により、MeDiVLADはフレームレベルおよびビデオレベルのスコアリングにおいて従来の完全教師付き手法よりも優れることを示す。
論文 参考訳（メタデータ） (2025-01-21T22:28:22Z) - PMC-VQA: Visual Instruction Tuning for Medical Visual Question Answering [56.25766322554655]
MedVQA(Medicical Visual Question Answering)は、診断精度と医療提供を向上する重要な機会を提供する。
本稿では,事前学習した視覚エンコーダの視覚情報を大規模言語モデルに整列させることにより,医用視覚理解のための生成モデルを提案する。
PMC-VQAで提案されたモデルをトレーニングし、VQA-RAD、SLAKE、Image-Clef 2019など、複数の公開ベンチマークで微調整する。
論文 参考訳（メタデータ） (2023-05-17T17:50:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。