Fugu-MT 論文翻訳(概要): Lesion-Aware Visual-Language Fusion for Automated Image Captioning of Ulcerative Colitis Endoscopic Examinations

論文の概要: Lesion-Aware Visual-Language Fusion for Automated Image Captioning of Ulcerative Colitis Endoscopic Examinations

arxiv url: http://arxiv.org/abs/2509.03011v1
Date: Wed, 03 Sep 2025 04:41:18 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-04 21:40:46.417608
Title: Lesion-Aware Visual-Language Fusion for Automated Image Captioning of Ulcerative Colitis Endoscopic Examinations
Title（参考訳）: 潰瘍性大腸炎内視鏡検査における画像自動挿入のための病変認識型ビジュアル・ランゲージ・フュージョン
Authors: Alexis Ivan Lopez Escamilla, Gilberto Ochoa, Sharib Al,
Abstract要約: 潰瘍性大腸炎(UC)に対する病変認識画像キャプションフレームワークを提案する。このモデルは、ResNet埋め込み、Grad-CAMヒートマップ、CBAMによって強化された注意をT5デコーダと統合する。本システムは、臨床実践に沿った構造化された解釈可能な記述を生成し、MES分類および病変タグを提供する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: We present a lesion-aware image captioning framework for ulcerative colitis (UC). The model integrates ResNet embeddings, Grad-CAM heatmaps, and CBAM-enhanced attention with a T5 decoder. Clinical metadata (MES score 0-3, vascular pattern, bleeding, erythema, friability, ulceration) is injected as natural-language prompts to guide caption generation. The system produces structured, interpretable descriptions aligned with clinical practice and provides MES classification and lesion tags. Compared with baselines, our approach improves caption quality and MES classification accuracy, supporting reliable endoscopic reporting.
Abstract（参考訳）: 潰瘍性大腸炎(UC)に対する病変認識画像キャプションフレームワークを提案する。このモデルは、ResNet埋め込み、Grad-CAMヒートマップ、CBAMによって強化された注意をT5デコーダと統合する。クリニカルメタデータ(MES score 0-3, vascular pattern, bleeding, erythema, friability, 潰瘍)は、キャプション生成を誘導する自然言語プロンプトとして注入される。本システムは、臨床実践に沿った構造化された解釈可能な記述を生成し、MES分類および病変タグを提供する。ベースラインと比較して,本手法はキャプション品質とMES分類精度を改善し,信頼性の高い内視鏡的報告を支援する。

関連論文リスト

Prompt as Knowledge Bank: Boost Vision-language model via Structural Representation for zero-shot medical detection [32.99689130650503]
本稿では,情報バンク層を層単位でエンコードする構造GLIPを提案する。各層において、画像表現と知識バンクの両方から非常に類似した特徴を選択し、画像パッチと対象記述との間の微妙な関係をキャプチャする構造表現を形成する。実験により、構造GLIPは7つのゼロショット検診ベンチマークにおいて、最先端の手法よりも+4.1%AP改善を達成していることが示された。
論文参考訳（メタデータ） (2025-02-22T13:22:25Z)
GCS-M3VLT: Guided Context Self-Attention based Multi-modal Medical Vision Language Transformer for Retinal Image Captioning [3.5948668755510136]
本稿では,視覚的特徴とテキスト的特徴を組み合わせた視覚的イメージキャプションのための新しい視覚言語モデルを提案する。 DeepEyeNetデータセットの実験では、0.023 BLEU@4の改善と重要な定性的な進歩が示されている。
論文参考訳（メタデータ） (2024-12-23T03:49:29Z)
Clinical Evaluation of Medical Image Synthesis: A Case Study in Wireless Capsule Endoscopy [63.39037092484374]
人工知能(AI)に基づく合成データ生成は、臨床医学の届け方を変えることができる。本研究は,無線カプセル内視鏡(WCE)画像を用いた炎症性腸疾患(IBD)の診断における概念実証による医療用SDGの臨床評価に焦点を当てた。その結果、TIDE-IIは、最先端の生成モデルと比較して品質が向上し、臨床的に可塑性で、非常に現実的なWCE画像を生成することがわかった。
論文参考訳（メタデータ） (2024-10-31T19:48:50Z)
A Multimodal Approach For Endoscopic VCE Image Classification Using BiomedCLIP-PubMedBERT [0.62914438169038]
本稿では,マルチモーダルモデルであるBiomedCLIP PubMedBERTの微細調整によるビデオカプセル内視鏡フレームの異常の分類について述べる。本手法では, 血管拡張症, 出血, エロージョン, エリテマ, 異物, リンパ管拡張症, ポリープ, 潰瘍, ワーム, 正常の10種類の画像に分類する。分類、精度、リコール、F1スコアなどのパフォーマンス指標は、内視鏡フレームの異常を正確に識別する強力な能力を示している。
論文参考訳（メタデータ） (2024-10-25T19:42:57Z)
Decomposing Disease Descriptions for Enhanced Pathology Detection: A Multi-Aspect Vision-Language Pre-training Framework [43.453943987647015]
医学的な視覚言語事前訓練は研究の最前線として現れ、ゼロショットの病理診断を可能にしている。バイオメディカルテキストの複雑なセマンティクスのため、現在の方法では、医学的画像と、非構造化レポートの重要な病理学的所見の整合に苦慮している。これは、大きな言語モデルと医療専門家に相談することで達成される。我々の研究は、近年の手法の精度を最大8.56%まで改善し、17.26%を目に見えるカテゴリーで改善した。
論文参考訳（メタデータ） (2024-03-12T13:18:22Z)
Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文参考訳（メタデータ） (2023-03-30T18:20:00Z)
Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。 CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
論文参考訳（メタデータ） (2022-06-04T13:16:30Z)
Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文参考訳（メタデータ） (2021-08-02T10:42:52Z)
Malignancy Prediction and Lesion Identification from Clinical Dermatological Images [65.1629311281062]
臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
論文参考訳（メタデータ） (2021-04-02T20:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。