論文の概要: Explainable, Multi-modal Wound Infection Classification from Images Augmented with Generated Captions

• arxiv url: http://arxiv.org/abs/2502.20277v1
• Date: Thu, 27 Feb 2025 17:04:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:58:46.777622
• Title: Explainable, Multi-modal Wound Infection Classification from Images Augmented with Generated Captions
• Title（参考訳）: 生成キャプションを付加した画像からの説明可能なマルチモーダル創傷感染分類
• Authors: Palawat Busaranuvong, Emmanuel Agu, Reza Saadati Fard, Deepak Kumar, Shefalika Gautam, Bengisu Tulu, Diane Strong,
• Abstract要約: 糖尿病足部潰瘍(DFU)の感染症は、組織死や手足切断などの重篤な合併症を引き起こす可能性がある。 従来の機械学習手法では、傷のイメージのみを解析することで、感染の特定に重点を置いてきた。 本研究では, 創傷感染検出のための合成キャプション検索を導入し, 感染検出の改善を目指す。
• 参考スコア（独自算出の注目度）: 2.4548085068515286
• License:
• Abstract: Infections in Diabetic Foot Ulcers (DFUs) can cause severe complications, including tissue death and limb amputation, highlighting the need for accurate, timely diagnosis. Previous machine learning methods have focused on identifying infections by analyzing wound images alone, without utilizing additional metadata such as medical notes. In this study, we aim to improve infection detection by introducing Synthetic Caption Augmented Retrieval for Wound Infection Detection (SCARWID), a novel deep learning framework that leverages synthetic textual descriptions to augment DFU images. SCARWID consists of two components: (1) Wound-BLIP, a Vision-Language Model (VLM) fine-tuned on GPT-4o-generated descriptions to synthesize consistent captions from images; and (2) an Image-Text Fusion module that uses cross-attention to extract cross-modal embeddings from an image and its corresponding Wound-BLIP caption. Infection status is determined by retrieving the top-k similar items from a labeled support set. To enhance the diversity of training data, we utilized a latent diffusion model to generate additional wound images. As a result, SCARWID outperformed state-of-the-art models, achieving average sensitivity, specificity, and accuracy of 0.85, 0.78, and 0.81, respectively, for wound infection classification. Displaying the generated captions alongside the wound images and infection detection results enhances interpretability and trust, enabling nurses to align SCARWID outputs with their medical knowledge. This is particularly valuable when wound notes are unavailable or when assisting novice nurses who may find it difficult to identify visual attributes of wound infection.
• Abstract（参考訳）: 糖尿病足部潰瘍(DFU)の感染症は、組織死や四肢切断などの重篤な合併症を引き起こし、正確なタイムリーな診断の必要性を強調している。 これまでの機械学習手法では、医療用メモなどのメタデータを使わずに、傷口画像のみを分析して感染の特定に重点を置いてきた。 本研究では,DFU画像の合成テキスト記述を利用した新たな深層学習フレームワークであるSCARWID(Synthetic Caption Augmented Retrieval for Wound infection Detection)を導入することにより,感染検出の改善を目指す。 SCARWID は,(1) 画像から一貫したキャプションを合成するための GPT-4o 生成記述を微調整した Wund-BLIP と (2) 画像とそれに対応する Wound-BLIP キャプションからのクロスモーダル埋め込みを抽出する Image-Text Fusion モジュールである。 ラベル付きサポートセットからトップk類似アイテムを取得して感染状況を決定する。 トレーニングデータの多様性を高めるため,潜伏拡散モデルを用いて創傷画像の生成を行った。 その結果,SCARWIDは創傷感染分類において平均感度,特異度,精度0.85,0.78,0.81を達成し,最先端モデルよりも優れていた。 創傷画像と感染検出結果とともに生成されたキャプションを表示することにより、解釈可能性と信頼が向上し、看護師はSCARWID出力を医療知識と整合させることができる。 これは、創傷ノートが入手できない場合や、創傷感染の視覚的特徴を特定するのが困難であると思われる初心者看護師を支援する場合に特に有用である。

関連論文リスト

• MedFILIP: Medical Fine-grained Language-Image Pre-training [11.894318326422054]
  既存の手法は、画像と疾患の関連性を正確に特徴づけるのに苦労している。 MedFILIPは対照的な学習を通じて医用画像固有の知識を導入する。 単一ラベル,多ラベル,きめ細かな分類を行う場合,本モデルは最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-01-18T14:08:33Z)
• FairSkin: Fair Diffusion for Skin Disease Image Generation [54.29840149709033]
  拡散モデル (DM) は, 合成医用画像の生成において主要な手法となっているが, 臨界二倍偏差に悩まされている。 このようなバイアスを3段階のリサンプリング機構によって緩和する新しいDMフレームワークであるFairSkinを提案する。 本手法は, 画像の多様性と品質を著しく向上させ, 臨床環境における皮膚疾患の検出精度の向上に寄与する。
  論文  参考訳（メタデータ） (2024-10-29T21:37:03Z)
• A Multimodal Approach For Endoscopic VCE Image Classification Using BiomedCLIP-PubMedBERT [0.62914438169038]
  本稿では,マルチモーダルモデルであるBiomedCLIP PubMedBERTの微細調整によるビデオカプセル内視鏡フレームの異常の分類について述べる。 本手法では, 血管拡張症, 出血, エロージョン, エリテマ, 異物, リンパ管拡張症, ポリープ, 潰瘍, ワーム, 正常の10種類の画像に分類する。 分類、精度、リコール、F1スコアなどのパフォーマンス指標は、内視鏡フレームの異常を正確に識別する強力な能力を示している。
  論文  参考訳（メタデータ） (2024-10-25T19:42:57Z)
• StealthDiffusion: Towards Evading Diffusion Forensic Detection through Diffusion Model [62.25424831998405]
  StealthDiffusionは、AI生成した画像を高品質で受け入れがたい敵の例に修正するフレームワークである。 ホワイトボックスとブラックボックスの設定の両方で有効であり、AI生成した画像を高品質な敵の偽造に変換する。
  論文  参考訳（メタデータ） (2024-08-11T01:22:29Z)
• Contrastive Learning with Counterfactual Explanations for Radiology Report Generation [83.30609465252441]
  放射線学レポート生成のためのtextbfCountertextbfFactual textbfExplanations-based framework (CoFE) を提案する。 反現実的な説明は、アルゴリズムによってなされた決定をどのように変えられるかを理解するための強力なツールとして、シナリオが何であるかを問うことによって役立ちます。 2つのベンチマークの実験では、反ファクト的な説明を活用することで、CoFEは意味的に一貫性があり、事実的に完全なレポートを生成することができる。
  論文  参考訳（メタデータ） (2024-07-19T17:24:25Z)
• Guided Conditional Diffusion Classifier (ConDiff) for Enhanced Prediction of Infection in Diabetic Foot Ulcers [2.4548085068515286]
  ConDiffは、ガイド画像合成と条件付き認知拡散モデルと距離に基づく分類を組み合わせた、新しいディープラーニング感染検出モデルである。 ConDiffは83%、F1スコア0.858の精度で優れた性能を示し、最先端モデルよりも少なくとも3%高い性能を示した。
  論文  参考訳（メタデータ） (2024-05-01T20:47:06Z)
• Synthesizing Diabetic Foot Ulcer Images with Diffusion Model [1.8699569122464073]
  糖尿病性足底潰瘍(DFU)は、専門的な治療を必要とする重度の皮膚外傷である。 近年, 合成画像を生成する強力なツールとして, 合成対向ネットワークや拡散モデルが登場している。 本稿では,DFU画像を合成するための拡散モデルの可能性について検討し,その信頼性を専門医による評価を通じて評価する。
  論文  参考訳（メタデータ） (2023-10-31T03:15:30Z)
• Semi-supervised GAN for Bladder Tissue Classification in Multi-Domain Endoscopic Images [10.48945682277992]
  本稿では,3つの主要コンポーネントからなるGANに基づく半サプライズドジェネレーティブ・アドリアル・ネットワーク(GAN)を提案する。 組織分類法で得られた平均分類精度、精度、リコールは、それぞれ0.90, 0.88, 0.89である。
  論文  参考訳（メタデータ） (2022-12-21T21:32:36Z)
• Harmonizing Pathological and Normal Pixels for Pseudo-healthy Synthesis [68.5287824124996]
  そこで本研究では,新しいタイプの識別器であるセグメンタを提案し,病変の正確な特定と擬似健康画像の視覚的品質の向上を図っている。 医用画像強調に生成画像を適用し,低コントラスト問題に対処するために拡張結果を利用する。 BraTSのT2モダリティに関する総合的な実験により、提案手法は最先端の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2022-03-29T08:41:17Z)
• An Interpretable Multiple-Instance Approach for the Detection of referable Diabetic Retinopathy from Fundus Images [72.94446225783697]
  基礎画像における参照糖尿病網膜症検出のための機械学習システムを提案する。 画像パッチから局所情報を抽出し,アテンション機構により効率的に組み合わせることで,高い分類精度を実現することができる。 我々は,現在入手可能な網膜画像データセットに対するアプローチを評価し,最先端の性能を示す。
  論文  参考訳（メタデータ） (2021-03-02T13:14:15Z)
• ElixirNet: Relation-aware Network Architecture Adaptation for Medical Lesion Detection [90.13718478362337]
  本稿では,1)TruncatedRPNが正負値と負値のバランスをとること,2)Auto-lesion Blockが自動的に医療画像にカスタマイズされ,地域提案間の関係認識操作が組み込まれること,3)Relation Transferモジュールが意味的関係を組み込むこと,の3つのコンポーネントを含む新しいElixirNetを紹介した。 DeepLesionとKits19の実験では、ElixirNetの有効性が証明され、パラメータが少なくてFPNよりも感度と精度が向上した。
  論文  参考訳（メタデータ） (2020-03-03T05:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。