論文の概要: NEURAL: Attention-Guided Pruning for Unified Multimodal Resource-Constrained Clinical Evaluation
- arxiv url: http://arxiv.org/abs/2508.09715v1
- Date: Wed, 13 Aug 2025 11:08:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-14 20:42:00.86656
- Title: NEURAL: Attention-Guided Pruning for Unified Multimodal Resource-Constrained Clinical Evaluation
- Title(参考訳): NEURAL: 集中型マルチモーダル・リソース制約臨床評価のための注意誘導型プルーニング
- Authors: Devvrat Joshi, Islem Rekik,
- Abstract要約: NEURALは、医療画像データの保存と送信の課題に対処する新しいフレームワークである。
胸部X線構造解析に画像とX線所見の相互注意スコアを応用した。
NEURALは画像データサイズを93.4-97.7%削減し、診断性能は 0.88-0.95 AUC である。
- 参考スコア(独自算出の注目度): 6.253771639590563
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The rapid growth of multimodal medical imaging data presents significant storage and transmission challenges, particularly in resource-constrained clinical settings. We propose NEURAL, a novel framework that addresses this by using semantics-guided data compression. Our approach repurposes cross-attention scores between the image and its radiological report from a fine-tuned generative vision-language model to structurally prune chest X-rays, preserving only diagnostically critical regions. This process transforms the image into a highly compressed, graph representation. This unified graph-based representation fuses the pruned visual graph with a knowledge graph derived from the clinical report, creating a universal data structure that simplifies downstream modeling. Validated on the MIMIC-CXR and CheXpert Plus dataset for pneumonia detection, NEURAL achieves a 93.4-97.7\% reduction in image data size while maintaining a high diagnostic performance of 0.88-0.95 AUC, outperforming other baseline models that use uncompressed data. By creating a persistent, task-agnostic data asset, NEURAL resolves the trade-off between data size and clinical utility, enabling efficient workflows and teleradiology without sacrificing performance. Our NEURAL code is available at https://github.com/basiralab/NEURAL.
- Abstract(参考訳): マルチモーダル・メディカル・イメージング・データの急速な成長は、特に資源制約のある臨床環境において、記憶と伝達に重大な課題をもたらす。
セマンティクス誘導データ圧縮を用いてこの問題に対処する新しいフレームワークであるNEURALを提案する。
提案手法は, 画像と放射線学的所見の相互注意スコアを, 微調整型生成視覚言語モデルから胸部X線構造解析に応用し, 診断上重要な領域のみを保存している。
このプロセスは画像を高度に圧縮されたグラフ表現に変換する。
この統合されたグラフベースの表現は、クリニカルレポートから導かれた知識グラフと切り刻まれたビジュアルグラフを融合させ、下流モデリングを単純化する普遍的なデータ構造を生成する。
MIMIC-CXRとCheXpert Plusデータセットによる肺炎検出の検証により、NEURALは画像データサイズを93.4-97.7\%削減し、高い診断性能は0.88-0.95 AUCを維持し、非圧縮データを使用する他のベースラインモデルより優れている。
永続的でタスクに依存しないデータアセットを作成することで、NEURALはデータサイズと臨床ユーティリティのトレードオフを解決し、パフォーマンスを犠牲にすることなく、効率的なワークフローとテレラジオロジーを可能にする。
NEURALのコードはhttps://github.com/basiralab/NEURAL.comで公開しています。
関連論文リスト
- ContextMRI: Enhancing Compressed Sensing MRI through Metadata Conditioning [51.26601171361753]
本稿では, 微細なメタデータを再構成プロセスに統合したMRI用テキスト条件拡散モデルであるContextMRIを提案する。
メタデータの忠実度はスライス位置やコントラストから患者年齢、性別、病理まで増加し、体系的に再構築性能が向上することを示す。
論文 参考訳(メタデータ) (2025-01-08T05:15:43Z) - MedPromptX: Grounded Multimodal Prompting for Chest X-ray Diagnosis [1.2903829793534272]
胸部X線像は急性および慢性の心肺疾患の予測に一般的に用いられている。
構造化された臨床データと統合する努力は、不完全な電子健康記録による課題に直面している。
MedPromptXはマルチモーダル大言語モデル(MLLM)、少数ショットプロンプト(FP)、ビジュアルグラウンド(VG)を統合した最初の臨床診断支援システムである。
その結果、MedPromptXのSOTA性能を示し、ベースラインに比べてF1スコアが11%向上した。
論文 参考訳(メタデータ) (2024-03-22T19:19:51Z) - Medical Report Generation based on Segment-Enhanced Contrastive
Representation Learning [39.17345313432545]
臓器, 異常, 骨等を分類するためのMSCL(医学画像とコントラスト学習)を提案する。
トレーニング中にターゲットとセマンティックに類似したレポートにより多くの重みを割り当てる教師付きコントラスト損失を導入する。
実験の結果,提案手法の有効性が示され,IU X線公開データセット上での最先端性能が得られた。
論文 参考訳(メタデータ) (2023-12-26T03:33:48Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-30T18:20:00Z) - Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report
Generation [92.73584302508907]
コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。
詳しくは、グラフの基本構造は一般知識から事前構築される。
各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
論文 参考訳(メタデータ) (2023-03-18T03:53:43Z) - Preservation of High Frequency Content for Deep Learning-Based Medical
Image Classification [74.84221280249876]
大量の胸部ラジオグラフィーの効率的な分析は、医師や放射線技師を助けることができる。
本稿では,視覚情報の効率的な識別と符号化のための離散ウェーブレット変換(DWT)を提案する。
論文 参考訳(メタデータ) (2022-05-08T15:29:54Z) - Covid-19 Detection from Chest X-ray and Patient Metadata using Graph
Convolutional Neural Networks [6.420262246029286]
本稿では,Covid-19肺炎のバイオマーカーを同定可能な新しいグラフ畳み込みニューラルネットワーク(GCN)を提案する。
提案手法は,データインスタンスとその特徴間の重要な関係知識をグラフ表現を用いて利用し,グラフデータ学習に畳み込みを適用する。
論文 参考訳(メタデータ) (2021-05-20T13:13:29Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳(メタデータ) (2021-02-26T02:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。