論文の概要: Efficient Bilinear Attention-based Fusion for Medical Visual Question Answering

• arxiv url: http://arxiv.org/abs/2410.21000v2
• Date: Tue, 04 Feb 2025 22:19:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:25:08.185251
• Title: Efficient Bilinear Attention-based Fusion for Medical Visual Question Answering
• Title（参考訳）: 医用視力検査におけるバイリニアアテンションベースフュージョンの有用性
• Authors: Zhilin Zhang, Jie Wang, Ruiqi Zhu, Xiaoliang Gong,
• Abstract要約: MedVQA (MedVQA) はコンピュータビジョンと自然言語処理の交わりに注目が集まっている。 我々は,オリゴニティ損失,マルチヘッドアテンション,双線形アテンションネットワークを統合した新しい融合モデルOMniBANを導入し,高い計算効率とソリッドパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 3.983863335432589
• License:
• Abstract: Medical Visual Question Answering (MedVQA) has attracted growing interest at the intersection of computer vision and natural language processing. By interpreting medical images and providing precise answers to relevant clinical inquiries, MedVQA has the potential to support diagnostic decision-making and reduce workload across various domains, particularly radiology. While recent approaches rely heavily on unified large pre-trained Visual-Language Models, research on more efficient fusion mechanisms remains relatively limited in this domain. In this paper, we introduce a novel fusion model, OMniBAN, that integrates Orthogonality loss, Multi-head attention, and a Bilinear Attention Network to achieve high computational efficiency alongside solid performance. We conduct comprehensive experiments and provide insights into how bilinear attention fusion can approximate the performance of larger fusion models like cross-modal Transformer. Our results demonstrate that OMniBAN outperforms traditional approaches on key MedVQA benchmarks while maintaining a lower computational cost. This balance between efficiency and accuracy suggests that OMniBAN could be a viable option for real-world medical image question answering, where computational resources are often constrained.
• Abstract（参考訳）: MedVQA (MedVQA) はコンピュータビジョンと自然言語処理の交わりに注目が集まっている。 医療画像の解釈と関連する臨床検査への正確な回答を提供することで、MedVQAは診断決定を支援し、様々な領域、特に放射線学における作業量を削減できる可能性がある。 近年のアプローチは、大規模で訓練済みのVisual-Language Modelに大きく依存しているが、この領域では、より効率的な融合機構の研究は比較的限られている。 本稿では,オルソゴニティ損失とマルチヘッドアテンションを統合した新しい融合モデルOMniBANと,ソリッドパフォーマンスとともに高い計算効率を実現するバイリニアアテンションネットワークを提案する。 我々は、総合的な実験を行い、双方向の注意融合が、クロスモーダル変換器のような大きな融合モデルの性能を近似する方法についての洞察を提供する。 この結果から,OMniBANは従来のMedVQAベンチマークよりも高い性能を示し,計算コストの低減を図っている。 この効率性と精度のバランスは、OMniBANが現実の医療画像質問応答において有効な選択肢になり得ることを示唆している。

関連論文リスト

• Edge-Enhanced Dilated Residual Attention Network for Multimodal Medical Image Fusion [13.029564509505676]
  マルチモーダル・メディカル・イメージ・フュージョン(Multimodal Medical Image fusion)は、様々な画像モダリティからの相補的な情報を統一的な表現に結合する重要なタスクである。 深層学習手法は融合性能が著しく向上しているが、既存のCNNベースの手法では、微細なマルチスケールとエッジの特徴を捉えるには不十分である。 マルチスケール機能抽出のためのDilated Residual Attention Network Moduleを導入することで,これらの制約に対処する新しいCNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-11-18T18:11:53Z)
• Random Token Fusion for Multi-View Medical Diagnosis [2.3458652461211935]
  多視点医療データセットでは、ディープラーニングモデルは診断性能を改善するために、異なる画像の観点から情報を融合することが多い。 既存のアプローチは過度に適合する傾向があり、ビュー固有の機能に大きく依存する。 本研究では,マルチビュー医療用トランスを用いた画像解析技術を提案する。
  論文  参考訳（メタデータ） (2024-10-21T10:19:45Z)
• Analyzing the Effect of $k$-Space Features in MRI Classification Models [0.0]
  医用イメージングに適した説明可能なAI手法を開発した。 我々は、画像領域と周波数領域の両方にわたるMRIスキャンを分析する畳み込みニューラルネットワーク(CNN)を採用している。 このアプローチは、初期のトレーニング効率を高めるだけでなく、追加機能がモデル予測にどのように影響するかの理解を深めます。
  論文  参考訳（メタデータ） (2024-09-20T15:43:26Z)
• STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical Question-Answering [58.79671189792399]
  STLLaVA-Medは、医療ビジュアルインストラクションデータを自動生成できるポリシーモデルを訓練するために設計されている。 STLLaVA-Medの有効性とデータ効率を3つの主要な医用視覚質問応答(VQA)ベンチマークで検証した。
  論文  参考訳（メタデータ） (2024-06-28T15:01:23Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Free Form Medical Visual Question Answering in Radiology [3.495246564946556]
  医療用ビジュアル質問回答の研究は、2018年以来、勢いを増している。 本研究は,放射線画像の効果的表現とマルチモーダル表現の連成学習について考察する。 我々のモデルは、より複雑なアーキテクチャでトップ1の精度79.55%を実現し、現在の最先端モデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2024-01-23T20:26:52Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• PMC-VQA: Visual Instruction Tuning for Medical Visual Question Answering [56.25766322554655]
  MedVQA(Medicical Visual Question Answering)は、診断精度と医療提供を向上する重要な機会を提供する。 本稿では,事前学習した視覚エンコーダの視覚情報を大規模言語モデルに整列させることにより,医用視覚理解のための生成モデルを提案する。 PMC-VQAで提案されたモデルをトレーニングし、VQA-RAD、SLAKE、Image-Clef 2019など、複数の公開ベンチマークで微調整する。
  論文  参考訳（メタデータ） (2023-05-17T17:50:16Z)
• Fusion of medical imaging and electronic health records with attention and multi-head machanisms [4.433829714749366]
  本稿では,画像特徴抽出過程における重要な領域の選択を支援するために,EHRデータを用いたマルチモーダルアテンションモジュールを提案する。 また,マルチヘッドマクニズムをゲート型マルチモーダルユニット(GMU)に組み込むことにより,異なる部分空間における画像とEHR機能を並列に融合させることも提案する。 脳内出血患者のGOS(Glasgow outcome scale)の予測とアルツハイマー病の分類実験により,提案手法はタスク関連領域に自動的に焦点を絞ることができることが示された。
  論文  参考訳（メタデータ） (2021-12-22T07:39:26Z)
• Context-Aware Refinement Network Incorporating Structural Connectivity Prior for Brain Midline Delineation [50.868845400939314]
  UNetによって生成された特徴ピラミッド表現を洗練・統合するための文脈対応改良ネットワーク(CAR-Net)を提案する。 正中線における脳の構造的接続性を維持するため、我々は新しい接続性レギュラーロスを導入する。 提案手法は, パラメータを少なくし, 4つの評価指標で3つの最先端手法より優れる。
  論文  参考訳（メタデータ） (2020-07-10T14:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。