論文の概要: MultiSense-Pneumo: A Multimodal Learning Framework for Pneumonia Screening in Resource-Constrained Settings
- arxiv url: http://arxiv.org/abs/2605.02207v1
- Date: Mon, 04 May 2026 04:14:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:50.13617
- Title: MultiSense-Pneumo: A Multimodal Learning Framework for Pneumonia Screening in Resource-Constrained Settings
- Title(参考訳): MultiSense-Pneumo:資源制約設定における肺炎スクリーニングのためのマルチモーダル学習フレームワーク
- Authors: Dineth Jayakody, Pasindu Thenahandi, Chameli Dommanige,
- Abstract要約: MultiSense-Pneumoは、肺炎指向スクリーニングとトリアージサポートのためのマルチモーダルフレームワークである。
本システムは, 決定論的症状トリアージ, LightGBM に基づく音響分類, ドメイン逆画像解析を併用する。
臨床的に検証された診断システムではなく、スクリーニングとトリアージサポートのプロトタイプとして意図されている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pneumonia remains a leading global cause of morbidity and mortality, particularly in low resource settings where access to imaging, laboratory testing, and specialist care is limited. Clinical assessment relies on heterogeneous evidence, including symptoms, respiratory patterns, and chest imaging, making screening inherently multimodal. However, many existing computational approaches remain unimodal and focus primarily on radiographs. In this work, we present MultiSense-Pneumo, a multimodal framework for pneumonia oriented screening and triage support that integrates structured symptom descriptors, cough audio, spoken language, and chest radiographs. The system combines deterministic symptom triage, LightGBM based acoustic classification, domain adversarial radiograph analysis using ResNet 18, transformer based speech recognition, and an interpretable multimodal fusion operator. Each modality is transformed into a normalized risk signal and aggregated into a unified screening estimate, enabling transparent and modular decision support. MultiSense-Pneumo is designed for real world deployment under modest computational constraints and can operate fully offline on standard laptop class hardware, making it suitable for community health workers, rural clinics, and emergency response settings. Experimental results demonstrate robustness of the radiograph pathway under domain shifts, while highlighting limitations in minority class recall for acoustic signals. MultiSense-Pneumo is intended as a research prototype for screening and triage support rather than a clinically validated diagnostic system.
- Abstract(参考訳): 肺炎は、特に画像、実験室検査、専門医療へのアクセスが制限されている低資源環境では、致死率と死亡率の主な原因であり続けている。
臨床評価は、症状、呼吸パターン、胸部画像などの異質な証拠に依存し、スクリーニングを本質的にマルチモーダルにする。
しかし、既存の多くの計算手法は単調であり、主にラジオグラフに焦点を当てている。
本研究は,肺炎指向スクリーニングとトリアージ支援のためのマルチモーダルフレームワークであるMultiSense-Pneumoについて述べる。
このシステムは、決定論的症状トリアージ、LightGBMに基づく音響分類、ResNet 18を用いたドメイン逆画像解析、トランスフォーマーに基づく音声認識、および解釈可能なマルチモーダル融合演算子を組み合わせる。
各モダリティは正規化されたリスク信号に変換され、統一されたスクリーニング推定に集約され、透明でモジュラーな意思決定支援を可能にする。
MultiSense-Pneumoは、控えめな計算制約下での現実世界の展開用に設計されており、標準のラップトップクラスハードウェアで完全にオフラインで動作可能で、コミュニティの医療従事者、田舎のクリニック、緊急対応設定に適している。
実験により、領域シフト下での無線信号経路の堅牢性を示すとともに、音響信号に対する少数クラスのリコールの制限を強調した。
MultiSense-Pneumoは、臨床的に検証された診断システムではなく、スクリーニングとトリアージサポートのための研究プロトタイプとして意図されている。
関連論文リスト
- AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning [73.50200033931148]
本稿では,放射線科医の協調診断ワークフローをエミュレートしたマルチエージェントストリーム推論フレームワークであるAgensEvalを紹介する。
評価プロセスを基準定義、エビデンス抽出、アライメント、一貫性スコアなどの解釈可能なステップに分割することで、AgensEvalは明確な推論トレースと構造化された臨床フィードバックを提供する。
実験結果から,AgensEvalは,言い換え,意味的,スタイリスティックな摂動の下でも頑健な臨床的整合性,意味的忠実性,解釈可能な評価を提供することが示された。
論文 参考訳(メタデータ) (2026-01-23T11:59:13Z) - Explainable Multi-Modal Deep Learning for Automatic Detection of Lung Diseases from Respiratory Audio Signals [0.49581497240446293]
本研究では,呼吸音信号を用いた自動肺不全検出のためのマルチモーダル深層学習フレームワークを提案する。
このフレームワークにはGrad-CAM、Integrated Gradients、SHAPが含まれており、解釈可能なスペクトル、時間、特徴レベルの説明を生成する。
この結果は、遠隔医療、ポイント・オブ・ケアの診断、および実際の呼吸スクリーニングに対するフレームワークの可能性を示している。
論文 参考訳(メタデータ) (2025-11-29T17:15:58Z) - Efficient and Accurate Pneumonia Detection Using a Novel Multi-Scale Transformer Approach [0.7183613290627339]
肺炎検出のための新しいマルチスケールトランスフォーマー手法を提案する。
本手法は肺の分節と分類を統一的な枠組みに統合する。
我々の手法は、"Kermany"データセットで93.75%の精度、"Cohen"データセットで96.04%の精度を実現している。
論文 参考訳(メタデータ) (2024-08-08T08:06:42Z) - Domain Transfer Through Image-to-Image Translation for Uncertainty-Aware Prostate Cancer Classification [42.75911994044675]
前立腺MRIの非対位画像翻訳のための新しいアプローチと臨床的に重要なPCaを分類するための不確実性認識トレーニングアプローチを提案する。
提案手法では,無ペアの3.0T多パラメータ前立腺MRIを1.5Tに翻訳し,利用可能なトレーニングデータを増強する。
実験の結果,提案手法は,従来の研究に比べてAUC(Area Under ROC Curve)を20%以上改善することがわかった。
論文 参考訳(メタデータ) (2023-07-02T05:26:54Z) - MedKLIP: Medical Knowledge Enhanced Language-Image Pre-Training in
Radiology [40.52487429030841]
医用医用視覚言語事前訓練を専門知識と組み合わせて行うことを検討する。
まず, 生の報告を直接処理する既存の作業とは異なり, 医療関連情報を抽出するために, 新規な三重項抽出モジュールを採用する。
第2に,医療分野における豊富な知識を活用するために,知識ベースを問合せすることで,エンティティ翻訳を伴う新しい三重項符号化モジュールを提案する。
第3に、トランスフォーマーを用いた融合モデルを用いて、画像パッチレベルでの実体記述と視覚信号との空間的整合を図り、診断を可能にすることを提案する。
論文 参考訳(メタデータ) (2023-01-05T18:55:09Z) - Interpretable CNN-Multilevel Attention Transformer for Rapid Recognition
of Pneumonia from Chest X-Ray Images [2.1408385210297656]
本稿では,医療実践に高速な分析支援を実現するために,解釈可能な肺炎認識フレームワークを開発した。
認識過程を高速化する計算複雑性を低減するため,Transformer内の新しい多段階自己認識機構が提案されている。
本手法の有効性は,CXR画像データセットを用いた古典的な新型コロナウイルス認識タスクにおいて実証されている。
論文 参考訳(メタデータ) (2022-10-29T12:12:03Z) - Preservation of High Frequency Content for Deep Learning-Based Medical
Image Classification [74.84221280249876]
大量の胸部ラジオグラフィーの効率的な分析は、医師や放射線技師を助けることができる。
本稿では,視覚情報の効率的な識別と符号化のための離散ウェーブレット変換(DWT)を提案する。
論文 参考訳(メタデータ) (2022-05-08T15:29:54Z) - Deep Learning for Automatic Pneumonia Detection [72.55423549641714]
肺炎は小児の主要な死因であり、世界でも最多死亡率の1つである。
コンピュータ支援診断システムは診断精度を向上させる可能性を示した。
本研究では, 単発検出, 圧縮励起深部畳み込みニューラルネットワーク, 拡張, マルチタスク学習に基づく肺炎領域検出のための計算手法を開発した。
論文 参考訳(メタデータ) (2020-05-28T10:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。