論文の概要: A comprehensive multimodal dataset and benchmark for ulcerative colitis scoring in endoscopy
- arxiv url: http://arxiv.org/abs/2603.14559v1
- Date: Sun, 15 Mar 2026 19:15:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.885958
- Title: A comprehensive multimodal dataset and benchmark for ulcerative colitis scoring in endoscopy
- Title(参考訳): 内視鏡検査における潰瘍性大腸炎スコアの総合的マルチモーダルデータセットとベンチマーク
- Authors: Noha Ghatwary, Jiangbei Yue, Ahmed Elgendy, Hanna Nagdy, Ahmed Galal, Hayam Fathy, Hussein El-Amin, Venkataraman Subramanian, Noor Mohammed, Gilberto Ochoa-Ruiz, Sharib Ali,
- Abstract要約: 潰瘍性大腸炎(英: Ulcerative colitis, UC)は、大腸癌のリスクが高くなる慢性粘膜炎症である。
最も広く使用されている内視鏡スコアは、マヨ内視鏡スコア(MES)と潰瘍性大腸炎重症度指数(UCEIS)である。
我々は、専門家検証されたMESとUCEISラベルと詳細な臨床記述を含む、キュレートされたマルチセント・マルチレゾリューションデータセットを導入する。
- 参考スコア(独自算出の注目度): 6.821894881874553
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Ulcerative colitis (UC) is a chronic mucosal inflammatory condition that places patients at increased risk of colorectal cancer. Colonoscopic surveillance remains the gold standard for assessing disease activity, and reporting typically relies on standardised endoscopic scoring metrics. The most widely used is the Mayo Endoscopic Score (MES), with some centres also adopting the Ulcerative Colitis Endoscopic Index of Severity (UCEIS). Both are descriptive assessments of mucosal inflammation (MES: 0 to 3; UCEIS: 0 to 8), where higher values indicate more severe disease. However, computational methods for automatically predicting these scores remain limited, largely due to the lack of publicly available expert-annotated datasets and the absence of robust benchmarking. There is also a significant research gap in generating clinically meaningful descriptions of UC images, despite image captioning being a well-established computer vision task. Variability in endoscopic systems and procedural workflows across centres further highlights the need for multi-centre datasets to ensure algorithmic robustness and generalisability. In this work, we introduce a curated multi-centre, multi-resolution dataset that includes expert-validated MES and UCEIS labels, alongside detailed clinical descriptions. To our knowledge, this is the first comprehensive dataset that combines dual scoring metrics for classification tasks with expert-generated captions describing mucosal appearance and clinically accepted reasoning for image captioning. This resource opens new opportunities for developing clinically meaningful multimodal algorithms. In addition to the dataset, we also provide benchmarking using convolutional neural networks, vision transformers, hybrid models, and widely used multimodal vision-language captioning algorithms.
- Abstract(参考訳): 潰瘍性大腸炎(英: Ulcerative colitis, UC)は、大腸癌のリスクが高くなる慢性粘膜炎症である。
大腸内視鏡検査は、疾患活動を評価するための金の基準であり、報告は通常、標準化された内視鏡検査基準に依存している。
最も広く使用されているのはマヨ内視鏡スコア(MES)で、いくつかのセンターでは潰瘍性大腸炎重症度指数(UCEIS)も採用されている。
どちらも粘膜炎症 (MES: 0 to 3; UCEIS: 0 to 8) の記述的評価であり、高い値はより重篤な疾患を示す。
しかし、これらのスコアを自動予測する計算手法は、一般に公開されているエキスパートアノテートデータセットの欠如と、堅牢なベンチマークの欠如により、依然として限られている。
また、画像キャプションが確立されたコンピュータビジョンタスクであるにも関わらず、臨床的に意味のあるUCイメージの記述を生成するには、大きな研究ギャップがある。
内視鏡システムとセンター間の手続きワークフローのばらつきは、アルゴリズム的堅牢性と一般化性を保証するために、マルチセントデータセットの必要性をさらに強調する。
本研究は、専門家検証されたMESとUCEISラベルと、詳細な臨床記述を含むマルチセント・マルチレゾリューションデータセットについて紹介する。
我々の知る限り、このデータセットは、分類タスクの2つの評価基準と、粘膜の外観と臨床に受け入れられた画像キャプションの推論を記述する専門家が作成したキャプションを組み合わせた初めての包括的なデータセットである。
このリソースは、臨床的に有意義なマルチモーダルアルゴリズムを開発する新しい機会を開く。
データセットに加えて、畳み込みニューラルネットワーク、ビジョントランスフォーマー、ハイブリッドモデル、そして広く使われているマルチモーダル視覚言語キャプションアルゴリズムを用いたベンチマークも提供する。
関連論文リスト
- Multimodal Carotid Risk Stratification with Large Vision-Language Models: Benchmarking, Fine-Tuning, and Clinical Insights [3.5469990240092373]
本研究では,マルチモーダル頸動脈プラーク評価のための最先端および最近の大規模視覚言語モデル (LVLM) の可能性について検討した。
インタビュースタイルの質問シーケンスを通じて現実的な診断シナリオをシミュレートするフレームワークを提案する。
実験の結果、LVLMが非常に強力であるとしても、すべてのLVLMが画像のモダリティと解剖を正確に識別できるわけではないことが判明した。
論文 参考訳(メタデータ) (2025-10-03T11:48:12Z) - Large Language Model Evaluated Stand-alone Attention-Assisted Graph Neural Network with Spatial and Structural Information Interaction for Precise Endoscopic Image Segmentation [16.773882069530426]
本研究では,空間グラフと構造グラフを融合したFOCUS-Medを提案する。
FOCUS-Medは、Dual Graph Convolutional Network (Dual-GCN)モジュールを統合し、コンテキスト空間および位相構造上の依存関係をキャプチャする。
公開ベンチマークの実験では、FOCUS-Medが5つの主要な指標で最先端のパフォーマンスを達成した。
論文 参考訳(メタデータ) (2025-08-09T15:53:19Z) - A Multimodal Approach For Endoscopic VCE Image Classification Using BiomedCLIP-PubMedBERT [0.62914438169038]
本稿では,マルチモーダルモデルであるBiomedCLIP PubMedBERTの微細調整によるビデオカプセル内視鏡フレームの異常の分類について述べる。
本手法では, 血管拡張症, 出血, エロージョン, エリテマ, 異物, リンパ管拡張症, ポリープ, 潰瘍, ワーム, 正常の10種類の画像に分類する。
分類、精度、リコール、F1スコアなどのパフォーマンス指標は、内視鏡フレームの異常を正確に識別する強力な能力を示している。
論文 参考訳(メタデータ) (2024-10-25T19:42:57Z) - Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。
我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
論文 参考訳(メタデータ) (2024-03-19T03:59:14Z) - Multi-task Explainable Skin Lesion Classification [54.76511683427566]
少ないラベル付きデータでよく一般化する皮膚病変に対する数発のショットベースアプローチを提案する。
提案手法は,アテンションモジュールや分類ネットワークとして機能するセグメンテーションネットワークの融合を含む。
論文 参考訳(メタデータ) (2023-10-11T05:49:47Z) - GastroVision: A Multi-class Endoscopy Image Dataset for Computer Aided
Gastrointestinal Disease Detection [6.231109933741383]
本データセットは, 解剖学的所見, 病理所見, ポリープ除去症例, 正常所見を含む。
経験豊富なGI内科医によって注釈され、検証された。
我々のデータセットは、GI病の検出と分類のためのAIベースのアルゴリズムの開発を促進することができると信じている。
論文 参考訳(メタデータ) (2023-07-16T19:36:03Z) - Graph-Ensemble Learning Model for Multi-label Skin Lesion Classification
using Dermoscopy and Clinical Images [7.159532626507458]
本研究では,グラフ畳み込みネットワーク(GCN)を導入し,相関行列として各カテゴリ間の先行的共起を多ラベル分類のためのディープラーニングモデルに活用する。
本稿では,GCNからの予測を融合モデルからの予測の補完情報とみなすグラフ・アンサンブル学習モデルを提案する。
論文 参考訳(メタデータ) (2023-07-04T13:19:57Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-30T18:20:00Z) - Malignancy Prediction and Lesion Identification from Clinical
Dermatological Images [65.1629311281062]
臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。
まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
論文 参考訳(メタデータ) (2021-04-02T20:52:05Z) - Semi-supervised Medical Image Classification with Relation-driven
Self-ensembling Model [71.80319052891817]
医用画像分類のための関係駆動型半教師付きフレームワークを提案する。
これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。
本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
論文 参考訳(メタデータ) (2020-05-15T06:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。