論文の概要: Assessing Multimodal Chronic Wound Embeddings with Expert Triplet Agreement
- arxiv url: http://arxiv.org/abs/2603.29376v2
- Date: Thu, 02 Apr 2026 10:45:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-03 14:21:09.262131
- Title: Assessing Multimodal Chronic Wound Embeddings with Expert Triplet Agreement
- Title(参考訳): 熟練トリプルトアグリーメントによるマルチモーダル慢性装具の評価
- Authors: Fabian Kabus, Julia Hindel, Jelena Bratulić, Meropi Karakioulaki, Ayush Gupta, Cristina Has, Thomas Brox, Abhinav Valada, Harald Binder,
- Abstract要約: オフザシェルフ基礎モデルでは, 難治性難消化性表皮症の臨床的意義を確実に把握することができない。
我々は、小さなコホートから解釈可能な創傷表現を学習するマルチモーダルフレームワークであるTriDermを紹介する。
視覚的モダリティとテキスト的モダリティは、創傷表現型の相補的な側面を捉え、両方のモダリティを融合させることで、専門家との73.5%の合意が得られることを示す。
- 参考スコア(独自算出の注目度): 26.031697701228026
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recessive dystrophic epidermolysis bullosa (RDEB) is a rare genetic skin disorder for which clinicians greatly benefit from finding similar cases using images and clinical text. However, off-the-shelf foundation models do not reliably capture clinically meaningful features for this heterogeneous, long-tail disease, and structured measurement of agreement with experts is challenging. To address these gaps, we propose evaluating embedding spaces with expert ordinal comparisons (triplet judgments), which are fast to collect and encode implicit clinical similarity knowledge. We further introduce TriDerm, a multimodal framework that learns interpretable wound representations from small cohorts by integrating wound imagery, boundary masks, and expert reports. On the vision side, TriDerm adapts visual foundation models to RDEB using wound-level attention pooling and non-contrastive representation learning. For text, we prompt large language models with comparison queries and recover medically meaningful representations via soft ordinal embeddings (SOE). We show that visual and textual modalities capture complementary aspects of wound phenotype, and that fusing both modalities yields 73.5% agreement with experts, outperforming the best off-the-shelf single-modality foundation model by over 5.6 percentage points. We make the expert annotation tool, model code and representative dataset samples publicly available.
- Abstract(参考訳): Recessive dystrophic epidermolysis bullosa (RDEB) は稀な遺伝性皮膚疾患である。
しかし、市販の基盤モデルは、この異種で長い尾の病気に対する臨床的に有意な特徴を確実に捉えておらず、専門家との合意の構造化は困難である。
これらのギャップに対処するために,暗黙的な臨床類似性知識の収集とエンコードが容易な,専門的順序比較(トリップレット判定)による埋め込み空間の評価を提案する。
創傷画像,境界マスク,エキスパートレポートを統合することで,小さなコホートから解釈可能な創傷表現を学習するマルチモーダルフレームワークであるTriDermについても紹介する。
視覚面では、TriDermは創傷レベルアテンションプーリングと非コントラスト表現学習を用いて、視覚基礎モデルをRDEBに適応させる。
テキストに対して,比較クエリを用いた大規模言語モデルの構築と,ソフトオーディショナル埋め込み(SOE)による医学的意味表現の回収を行う。
視覚的モダリティとテキスト的モダリティが創傷表現型の相補的な側面を捉え,両モダリティを融合させることで専門家との73.5%の合意が得られることを示す。
専門家アノテーションツール、モデルコード、代表データセットサンプルを公開しています。
関連論文リスト
- MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning [52.064286116035134]
我々はMed-VQA(Med-VQA)のための視覚的LVLM応答を保証するフレームワークであるMedAlignを開発した。
まず、優先学習を視覚的コンテキストに合わせるために、マルチモーダルな直接選好最適化(mDPO)の目的を提案する。
次に、画像とテキストの類似性を生かし、クエリを専門的でコンテキスト拡張されたLVLMにルーティングする検索型混合処理(RA-MoE)アーキテクチャを設計する。
論文 参考訳(メタデータ) (2025-10-24T02:11:05Z) - Self-Supervised Anatomical Consistency Learning for Vision-Grounded Medical Report Generation [61.350584471060756]
医用画像の臨床的に正確な記述を作成することを目的とした医用レポート生成。
本稿では, 自己監督型解剖学的一貫性学習(SS-ACL)を提案し, 生成された報告を対応する解剖学的領域と整合させる。
SS-ACLは、ヒト解剖学の不変のトップダウン包摂構造にインスパイアされた階層的な解剖学的グラフを構築する。
論文 参考訳(メタデータ) (2025-09-30T08:59:06Z) - Expert-Guided Explainable Few-Shot Learning for Medical Image Diagnosis [2.7946918847372277]
本稿では,放射線技師が提案する関心領域をモデルトレーニングに統合する,専門家による説明可能な数ショット学習フレームワークを提案する。
我々は、BraTS(MRI)とVinDr-CXR(Chest X-ray)の2つの異なるデータセット上で、我々のフレームワークを評価する。
本研究は, 少数症例の医用画像診断において, 評価と解釈のギャップを埋めるために, 専門家が指導する注意指導を取り入れることの有効性を実証するものである。
論文 参考訳(メタデータ) (2025-09-08T05:31:37Z) - Meta-Entity Driven Triplet Mining for Aligning Medical Vision-Language Models [9.76070837929117]
既存のアライメント手法は、微粒な病理属性の分離よりも病気のクラス間の分離を優先する。
本稿では,マルチモーダル三重項学習による画像テキストアライメントを向上させる新しい手法であるMedTrimを提案する。
我々の実証では,MedTrimは,最先端のアライメント手法と比較して,下流検索および分類タスクの性能を向上させることが示されている。
論文 参考訳(メタデータ) (2025-04-22T14:17:51Z) - Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。
提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。
その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-04-10T17:58:22Z) - Rethinking Semi-Supervised Medical Image Segmentation: A
Variance-Reduction Perspective [51.70661197256033]
医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。
まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。
5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
論文 参考訳(メタデータ) (2023-02-03T13:50:25Z) - Malignancy Prediction and Lesion Identification from Clinical
Dermatological Images [65.1629311281062]
臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。
まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
論文 参考訳(メタデータ) (2021-04-02T20:52:05Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳(メタデータ) (2021-02-15T18:46:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。