論文の概要: Frequency-Domain Dual-Branch Fusion for Medical Visual Question Answering
- arxiv url: http://arxiv.org/abs/2608.08307v1
- Date: Sat, 08 Aug 2026 19:36:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.76422
- Title: Frequency-Domain Dual-Branch Fusion for Medical Visual Question Answering
- Title（参考訳）: 医用視力検査のための周波数領域2枝固定術
- Abstract要約: VQA(Medicical Visual Question Answering)は、病変のテクスチャ、境界の鋭さ、拡散密度の変化などの微妙な視覚的証拠を臨床言語と整合させることを必要とする。
空間領域で動作している既存のマルチモーダル融合アプローチは、視覚的およびテキスト的表現に存在する相補的な周波数情報を完全に活用できない可能性がある。
本稿では,大域低周波構造と細粒度高周波ディテールの適応選択を可能とし,応答生成のための空間表現を再構成する二分岐周波数領域融合モジュールを提案する。
- 参考スコア（独自算出の注目度）: 2.5820404110321413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medical Visual Question Answering (VQA) requires aligning subtle visual evidence, including lesion texture, boundary sharpness, and diffuse density changes, with clinical language. Existing multimodal fusion approaches operating in the spatial domain may not fully exploit complementary frequency information present in visual and textual representations. We introduce a dual-branch frequency-domain fusion module that conditions spectral filtering on the input question, enabling adaptive selection of global low-frequency structure and fine-grained high-frequency detail before reconstructing the spatial representation for answer generation. To provide a richer spectrum for filtering, we extract complementary features from early texture-sensitive and final semantic layers of a frozen BiomedCLIP encoder and align both with the question representation using a symmetric InfoNCE objective prior to staged joint training with a BioBART decoder. We pretrain the proposed model on PMC-VQA and fine-tune it on the VQA-RAD and SLAKE benchmarks, demonstrating that frequency-aware multimodal fusion improves medical VQA performance while maintaining a lightweight and efficient architecture.
- Abstract（参考訳）: VQA(Medicical Visual Question Answering)は、病変のテクスチャ、境界の鋭さ、拡散密度の変化などの微妙な視覚的証拠を臨床言語と整合させることを必要とする。
空間領域で動作している既存のマルチモーダル融合アプローチは、視覚的およびテキスト的表現に存在する相補的な周波数情報を完全に活用できない可能性がある。
本稿では,大域低周波構造と細粒度高周波ディテールの適応選択を可能とし,応答生成のための空間表現を再構成する二分岐周波数領域融合モジュールを提案する。
凍結したBiomedCLIPエンコーダの初期テクスチャ感受性層と最終セマンティック層から補完的特徴を抽出し、BioBARTデコーダとの段階的共同トレーニングの前に対称InfoNCE目標を用いて問合せ表現と整合する。
提案手法をPMC-VQAで事前学習し,VQA-RADおよびSLAKEベンチマークで微調整し,周波数対応マルチモーダル融合が軽量で効率的なアーキテクチャを維持しながら医療用VQAの性能を向上させることを示した。
関連論文リスト
- MedFG-VQA: Low-Frequency Memory and Graph Attention for Lightweight Medical VQA [55.12170695219291]
MedFG-VQAは、DCTベースの低周波機能を強化し、効果的な視覚・テキストアライメントにグラフ強化のクロスアテンションを使用する軽量フレームワークである。
データ不足に対処するため、SynMed-VQAという大規模な合成データセットを構築した。
論文 参考訳（メタデータ） (2026-08-27T09:16:14Z) - RetiWave-Mamba: A Dual-Stream Network for Retinal Disease Detection based on Multi-scale Context and Frequency-Adaptive Mamba Projection [11.498068680313613]
本稿では、空間周波数領域学習と最先端状態空間モデルを統合する新しいフレームワークRetiWave-Mambaを提案する。
提案手法は,既存の手法を超越して,最先端(SOTA)分類精度98.25%を実現する。
論文 参考訳（メタデータ） (2026-08-18T10:38:59Z) - HAFI-VLM: A Frequency Perspective for Diagnosing and Enhancing Visual Perception in Vision-Language Models [9.926121668688772]
視覚言語モデル(VLM)は、予測がきめ細かい視覚的証拠を必要とする場合、信頼性が低いままである。
これまでに見過ごされた原因は、スペクトル応答剛性である。
本稿では,事前学習した意味表現を保存しながらタスク条件付き周波数経路を導入するHAFI-VLMを提案する。
論文 参考訳（メタデータ） (2026-08-03T12:15:33Z) - SonoCLIP: Mask-Guided Region-Aware Vision-Language Pretraining for Fetal Ultrasound Analysis [51.81845420301345]
SonoCLIPは胎児超音波解析のための視覚言語基盤モデルである。
セグメンテーションマスクを視覚エンコーダ内にマスクチャネル視覚プロンプトとして組み込む。
グローバルおよびマスク誘導推論の両方において、ゼロショット転送性能に優れる。
論文 参考訳（メタデータ） (2026-06-28T20:04:49Z) - Echo-DM: Ultrasound Marker Removal via Conditional Latent Diffusion and Region-Aware Fusion [50.02433280054874]
マーカーは下流の自動分析にショートカットバイアスを導入することができる。
条件付き潜伏拡散と領域認識融合による超音波マーカー除去のためのフレームワークであるEcho-DMを提案する。
大規模な超音波検査データセットであるEcho-PAIRの実験は、優れたマーカー除去と強力な解剖学的忠実さを示す。
論文 参考訳（メタデータ） (2026-06-08T11:56:33Z) - Triple Spectral Fusion for Sensor-based Human Activity Recognition [86.21994396715074]
本稿では,センサを用いたヒューマンアクティビティ認識(HAR)に適した新しい三重スペクトル融合フレームワークを提案する。
雑音抑制のための適応的な補間フィルタリング手法を開発し,各IMUセンサを姿勢・運動モードノードに整理する。
適応ウェーブレット周波数選択手法により、コンテキストの冗長性を抑え、特徴の長さを短縮する。
論文 参考訳（メタデータ） (2026-05-04T15:42:58Z) - WaveSeg: Enhancing Segmentation Precision via High-Frequency Prior and Mamba-Driven Spectrum Decomposition [61.3530659856013]
本稿では,空間およびウェーブレット領域の機能改善を共同で最適化する新しいデコーダアーキテクチャであるWaveSegを提案する。
高周波成分は、まず入力画像から、境界の詳細を強化するために明示的な先行として学習される。
標準ベンチマークの実験では、Mambaベースの注目に先立ってウェーブレット-ドメイン周波数を利用するWaveSegが、常に最先端のアプローチより優れていることが示されている。
論文 参考訳（メタデータ） (2025-10-24T01:41:31Z) - Frequency-Domain Decomposition and Recomposition for Robust Audio-Visual Segmentation [60.9960601057956]
本稿では2つの主要なモジュールからなる周波数対応オーディオ・ビジュアルコンポスタ(FAVS)フレームワークを紹介する。
FAVSフレームワークは、3つのベンチマークデータセットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-09-23T12:33:48Z) - SpectMamba: Integrating Frequency and State Space Models for Enhanced Medical Image Detection [11.43227481199105]
医用画像検出用に設計された最初のMambaベースのアーキテクチャであるSpectMambaを紹介する。
SpectMambaの重要なコンポーネントはHybrid Spatial-Frequency Attention (HSFA)ブロックである。
SpectMambaは様々な医用画像検出タスクにおいて効率的かつ効率的でありながら、最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2025-09-01T02:56:45Z) - Unleashing Vision Foundation Models for Coronary Artery Segmentation: Parallel ViT-CNN Encoding and Variational Fusion [12.839049648094893]
冠動脈セグメンテーションは冠動脈疾患(CAD)のコンピュータ診断に重要である
並列符号化アーキテクチャを用いて,視覚基盤モデル(VFM)のパワーを利用する新しいフレームワークを提案する。
提案手法は, 精度の高い冠動脈セグメンテーションにおいて, 最先端の手法よりも優れ, 優れた性能を発揮する。
論文 参考訳（メタデータ） (2025-07-17T09:25:00Z) - Unified Frequency-Assisted Transformer Framework for Detecting and
Grounding Multi-Modal Manipulation [109.1912721224697]
本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。
離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。
提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
論文 参考訳（メタデータ） (2023-09-18T11:06:42Z) - Unlocking Fine-Grained Details with Wavelet-based High-Frequency
Enhancement in Transformers [4.208461204572879]
医用画像のセグメンテーションは、診断、治療計画、疾患モニタリングにおいて重要な役割を担っている。
本稿では,自己注意マップを慎重に再設計することで,トランスフォーマーモデルの局所的特徴不足に対処する。
そこで本研究では,マルチスケールのコンテキスト拡張ブロックをスキップ接続内で提案し,スケール間の依存関係を適応的にモデル化する。
論文 参考訳（メタデータ） (2023-08-25T15:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。