論文の概要: Efficient Bilinear Attention-based Fusion for Medical Visual Question Answering

• arxiv url: http://arxiv.org/abs/2410.21000v1
• Date: Mon, 28 Oct 2024 13:24:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:15:47.590770
• Title: Efficient Bilinear Attention-based Fusion for Medical Visual Question Answering
• Title（参考訳）: 医用視力検査におけるバイリニアアテンションベースフュージョンの有用性
• Authors: Zhilin Zhang, Jie Wang, Ruiqi Zhu, Xiaoliang Gong,
• Abstract要約: コンピュータビジョンと自然言語処理の交差点では,MedVQA (MedVQA) が注目されている。 本稿では,オリゴニティ損失,マルチヘッドアテンション,双線形アテンションネットワーク(OMniBAN)を統合した新しい融合モデルを提案する。
• 参考スコア（独自算出の注目度）: 3.983863335432589
• License:
• Abstract: Medical Visual Question Answering (MedVQA) has gained increasing attention at the intersection of computer vision and natural language processing. Its capability to interpret radiological images and deliver precise answers to clinical inquiries positions MedVQA as a valuable tool for supporting diagnostic decision-making for physicians and alleviating the workload on radiologists. While recent approaches focus on using unified pre-trained large models for multi-modal fusion like cross-modal Transformers, research on more efficient fusion methods remains relatively scarce within this discipline. In this paper, we introduce a novel fusion model that integrates Orthogonality loss, Multi-head attention and Bilinear Attention Network (OMniBAN) to achieve high computational efficiency and strong performance without the need for pre-training. We conduct comprehensive experiments and clarify aspects of how to enhance bilinear attention fusion to achieve performance comparable to that of large models. Experimental results show that OMniBAN outperforms traditional models on key MedVQA benchmarks while maintaining a lower computational cost, which indicates its potential for efficient clinical application in radiology and pathology image question answering.
• Abstract（参考訳）: コンピュータビジョンと自然言語処理の交差点では,MedVQA (MedVQA) が注目されている。 放射線画像の解釈と臨床検査に対する正確な回答を提供する能力は、MedVQAを医師の診断決定を支援し、放射線医の作業負荷を軽減する貴重なツールとして位置づけている。 近年のアプローチでは、クロスモーダルトランスフォーマーのようなマルチモーダル融合のための統一された事前訓練された大型モデルの使用に焦点が当てられているが、より効率的な融合法の研究はこの分野において比較的少ないままである。 本稿では,オリゴニティ損失,マルチヘッドアテンション,双線形アテンションネットワーク(OMniBAN)を統合した新しい融合モデルを提案する。 我々は,大規模モデルに匹敵する性能を達成するために,双線形アテンション融合をいかに拡張するかについて,包括的実験を行い,その側面を明確にする。 実験の結果, OMniBANは, 従来のMedVQAベンチマークよりも計算コストが低く, 放射線学および病理画像質問応答における効率的な臨床応用の可能性を示している。

関連論文リスト

• Multi-Omics Fusion with Soft Labeling for Enhanced Prediction of Distant Metastasis in Nasopharyngeal Carcinoma Patients after Radiotherapy [4.971538849792411]
  オミクスデータの統合で直面する課題の1つは、予測不能の存在である。 本研究の目的は,オミクスデータに固有の相違を緩和する融合手法を開発することである。
  論文  参考訳（メタデータ） (2025-02-12T05:26:59Z)
• ICFNet: Integrated Cross-modal Fusion Network for Survival Prediction [24.328576712419814]
  本稿では,スライド画像全体,ゲノム表現プロファイル,患者の人口統計,治療プロトコルを統合した総合的クロスモーダル・フュージョン・ネットワーク(ICFNet)を提案する。 ICFNetは、5つのパブリックTCGAデータセットで最先端のアルゴリズムより優れている。
  論文  参考訳（メタデータ） (2025-01-06T05:49:08Z)
• Edge-Enhanced Dilated Residual Attention Network for Multimodal Medical Image Fusion [13.029564509505676]
  マルチモーダル・メディカル・イメージ・フュージョン(Multimodal Medical Image fusion)は、様々な画像モダリティからの相補的な情報を統一的な表現に結合する重要なタスクである。 深層学習手法は融合性能が著しく向上しているが、既存のCNNベースの手法では、微細なマルチスケールとエッジの特徴を捉えるには不十分である。 マルチスケール機能抽出のためのDilated Residual Attention Network Moduleを導入することで,これらの制約に対処する新しいCNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-11-18T18:11:53Z)
• STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical Question-Answering [58.79671189792399]
  STLLaVA-Medは、医療ビジュアルインストラクションデータを自動生成できるポリシーモデルを訓練するために設計されている。 STLLaVA-Medの有効性とデータ効率を3つの主要な医用視覚質問応答(VQA)ベンチマークで検証した。
  論文  参考訳（メタデータ） (2024-06-28T15:01:23Z)
• HMANet: Hybrid Multi-Axis Aggregation Network for Image Super-Resolution [6.7341750484636975]
  トランスフォーマーベースのネットワークは、限られた空間範囲からの入力情報しか利用できない。 本稿では,Hybrid Multi-Axis Aggregation Network (HMA)を提案する。 実験の結果,HMAはベンチマークデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-05-08T12:14:34Z)
• MedFLIP: Medical Vision-and-Language Self-supervised Fast Pre-Training with Masked Autoencoder [26.830574964308962]
  本稿では,医療分析のための高速言語画像事前学習手法であるMedFLIPを紹介する。 交差ドメインを用いたゼロショット学習のためのMAEを探索し、限られたデータから学習するモデルの能力を向上する。 最後に,医療画像解析におけるゼロショット性能の向上を言語を用いて検証する。
  論文  参考訳（メタデータ） (2024-03-07T16:11:43Z)
• XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
  マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。 我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。 我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
  論文  参考訳（メタデータ） (2023-12-29T14:28:04Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• PMC-VQA: Visual Instruction Tuning for Medical Visual Question Answering [56.25766322554655]
  MedVQA(Medicical Visual Question Answering)は、診断精度と医療提供を向上する重要な機会を提供する。 本稿では,事前学習した視覚エンコーダの視覚情報を大規模言語モデルに整列させることにより,医用視覚理解のための生成モデルを提案する。 PMC-VQAで提案されたモデルをトレーニングし、VQA-RAD、SLAKE、Image-Clef 2019など、複数の公開ベンチマークで微調整する。
  論文  参考訳（メタデータ） (2023-05-17T17:50:16Z)
• Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
  医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。 視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。 本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-16T07:23:55Z)
• Incremental Cross-view Mutual Distillation for Self-supervised Medical CT Synthesis [88.39466012709205]
  本稿では,スライス間の分解能を高めるために,新しい医療スライスを構築した。 臨床実践において, 根本・中間医療スライスは常に欠落していることを考慮し, 相互蒸留の段階的相互蒸留戦略を導入する。 提案手法は,最先端のアルゴリズムよりも明確なマージンで優れる。
  論文  参考訳（メタデータ） (2021-12-20T03:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。