論文の概要: Multimodal AI on Wound Images and Clinical Notes for Home Patient Referral
- arxiv url: http://arxiv.org/abs/2501.13247v1
- Date: Wed, 22 Jan 2025 21:58:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-24 15:58:42.563804
- Title: Multimodal AI on Wound Images and Clinical Notes for Home Patient Referral
- Title(参考訳): 在宅患者の顔画像におけるマルチモーダルAIと臨床ノート
- Authors: Reza Saadati Fard, Emmanuel Agu, Palawat Busaranuvong, Deepak Kumar, Shefalika Gautam, Bengisu Tulu, Diane Strong,
- Abstract要約: 慢性的な傷は850万人のアメリカ人、特に高齢者や糖尿病患者に影響を及ぼす。問題のある非癒し傷は、創傷スペシャリストに言及すべきである。
本稿では,看護婦の慢性的な外傷患者への言及を決定するための機械学習フレームワークであるDeep Multimodal Wound Assessment Tool (DM-WAT)を紹介する。
- 参考スコア(独自算出の注目度): 2.4548085068515286
- License:
- Abstract: Chronic wounds affect 8.5 million Americans, particularly the elderly and patients with diabetes. These wounds can take up to nine months to heal, making regular care essential to ensure healing and prevent severe outcomes like limb amputations. Many patients receive care at home from visiting nurses with varying levels of wound expertise, leading to inconsistent care. Problematic, non-healing wounds should be referred to wound specialists, but referral decisions in non-clinical settings are often erroneous, delayed, or unnecessary. This paper introduces the Deep Multimodal Wound Assessment Tool (DM-WAT), a machine learning framework designed to assist visiting nurses in deciding whether to refer chronic wound patients. DM-WAT analyzes smartphone-captured wound images and clinical notes from Electronic Health Records (EHRs). It uses DeiT-Base-Distilled, a Vision Transformer (ViT), to extract visual features from images and DeBERTa-base to extract text features from clinical notes. DM-WAT combines visual and text features using an intermediate fusion approach. To address challenges posed by a small and imbalanced dataset, it integrates image and text augmentation with transfer learning to achieve high performance. In evaluations, DM-WAT achieved 77% with std 3% accuracy and a 70% with std 2% F1 score, outperforming prior approaches. Score-CAM and Captum interpretation algorithms provide insights into specific parts of image and text inputs that influence recommendations, enhancing interpretability and trust.
- Abstract(参考訳): 慢性的な傷は850万人のアメリカ人、特に高齢者や糖尿病患者に影響を及ぼす。
これらの傷は治るのに最大9ヶ月かかるため、治癒を確実にし、手足切断のような重篤な結果を防ぐために定期的なケアが不可欠である。
多くの患者は、様々なレベルの創傷の専門知識を持つ訪問看護師から在宅ケアを受けており、不整合ケアにつながっている。
問題のある非癒し傷は、創傷の専門家を指すべきであるが、非クリニカルな設定における参照決定は、しばしば誤って、遅れ、または不要である。
本稿では,看護婦の慢性的な外傷患者への言及を決定するための機械学習フレームワークであるDeep Multimodal Wound Assessment Tool (DM-WAT)を紹介する。
DM-WATはElectronic Health Records(EHRs)からスマートフォンが捉えた傷の画像と臨床ノートを分析している。
視覚変換器(ViT)であるDeiT-Base-Distilledを使用して画像から視覚的特徴を抽出し、DeBERTaベースを使用して臨床ノートからテキスト特徴を抽出する。
DM-WATは、中間融合アプローチを用いて視覚的特徴とテキスト的特徴を組み合わせる。
小さく不均衡なデータセットによって引き起こされる課題に対処するため、画像とテキストの強化と転写学習を統合し、高いパフォーマンスを実現する。
評価では, DM-WATが77%, 正解率3%, 正解率2%, 正解率70%であった。
Score-CAMとCaptumの解釈アルゴリズムは、レコメンデーションに影響を及ぼし、解釈可能性と信頼を高める画像およびテキスト入力の特定の部分に関する洞察を提供する。
関連論文リスト
- LoGra-Med: Long Context Multi-Graph Alignment for Medical Vision-Language Model [55.80651780294357]
最新の医療用マルチモーダル大規模言語モデル(med-MLLM)は、事前訓練において命令追従データを活用する。
LoGra-Medは新しいマルチグラフアライメントアルゴリズムで、画像のモダリティ、会話ベースの記述、拡張キャプション間でのトリプルト相関を強制する。
以上の結果から,LoGra-Medは医療用VQAの600K画像テキスト対に対してLAVA-Medと一致し,その10%でトレーニングした場合に有意に優れていた。
論文 参考訳(メタデータ) (2024-10-03T15:52:03Z) - HGT: A Hierarchical GCN-Based Transformer for Multimodal Periprosthetic
Joint Infection Diagnosis Using CT Images and Text [0.0]
補綴関節感染症(PJI)は重篤な合併症である。
現在,CT画像とPJIの数値テキストデータを組み合わせた統一診断基準が確立されていない。
本研究では,ディープラーニングとマルチモーダル技術に基づく診断手法であるHGTを紹介する。
論文 参考訳(メタデータ) (2023-05-29T11:25:57Z) - SPeC: A Soft Prompt-Based Calibration on Performance Variability of
Large Language Model in Clinical Notes Summarization [50.01382938451978]
本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。
実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
論文 参考訳(メタデータ) (2023-03-23T04:47:46Z) - Robust and Efficient Medical Imaging with Self-Supervision [80.62711706785834]
医用画像AIの堅牢性とデータ効率を向上させるための統一表現学習戦略であるREMEDISを提案する。
様々な医療画像タスクを研究し, 振り返りデータを用いて3つの現実的な応用シナリオをシミュレートする。
論文 参考訳(メタデータ) (2022-05-19T17:34:18Z) - Initial Investigations Towards Non-invasive Monitoring of Chronic Wound
Healing Using Deep Learning and Ultrasound Imaging [0.0]
超音波画像における断面創の大きさの深層学習に基づく自動区分けの初期成績を報告する。
我々は,非侵襲的超音波画像の深層学習支援分析が研究の有望な領域であると結論づけた。
論文 参考訳(メタデータ) (2022-01-25T18:12:54Z) - Predicting Patient Readmission Risk from Medical Text via Knowledge
Graph Enhanced Multiview Graph Convolution [67.72545656557858]
本稿では,電子健康記録の医用テキストを予測に用いる新しい手法を提案する。
外部知識グラフによって強化された多視点グラフを有する患者の退院サマリーを表現している。
実験により,本手法の有効性が証明され,最先端の性能が得られた。
論文 参考訳(メタデータ) (2021-12-19T01:45:57Z) - An Interpretable Multiple-Instance Approach for the Detection of
referable Diabetic Retinopathy from Fundus Images [72.94446225783697]
基礎画像における参照糖尿病網膜症検出のための機械学習システムを提案する。
画像パッチから局所情報を抽出し,アテンション機構により効率的に組み合わせることで,高い分類精度を実現することができる。
我々は,現在入手可能な網膜画像データセットに対するアプローチを評価し,最先端の性能を示す。
論文 参考訳(メタデータ) (2021-03-02T13:14:15Z) - Fully Automatic Wound Segmentation with Deep Convolutional Neural
Networks [1.897172519574925]
本論文は,MobileNetV2をベースとした新たな畳み込みフレームワークを提案する。
深層学習モデルの訓練と試験のために,889例の足部潰瘍画像1,109枚からなる注記傷画像データセットを構築した。
論文 参考訳(メタデータ) (2020-10-12T17:02:48Z) - BiteNet: Bidirectional Temporal Encoder Network to Predict Medical
Outcomes [53.163089893876645]
本稿では,患者の医療旅行におけるコンテキスト依存と時間的関係を捉える,新たな自己注意機構を提案する。
エンド・ツー・エンドの双方向時間エンコーダネットワーク(BiteNet)が患者の旅路の表現を学習する。
実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。
論文 参考訳(メタデータ) (2020-09-24T00:42:36Z) - Spinal Metastases Segmentation in MR Imaging using Deep Convolutional
Neural Networks [0.0]
本研究の目的は,深層学習を用いた診断MR画像における脊髄転移の分節化である。
U-Net様アーキテクチャを用いて40例の臨床検査を行った。
専門的な注釈付き病変のセグメンテーションと比較すると、Diceの平均スコアは77.6%、平均感度は78.9%という有望な結果を得た。
論文 参考訳(メタデータ) (2020-01-08T10:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。