論文の概要: Generalizable vision-language pre-training for annotation-free pathology
localization
- arxiv url: http://arxiv.org/abs/2401.02044v1
- Date: Thu, 4 Jan 2024 03:09:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-05 15:54:28.381941
- Title: Generalizable vision-language pre-training for annotation-free pathology
localization
- Title(参考訳): アノテーションのない病理像定位のための汎用視覚言語前訓練
- Authors: Hao Yang, Hong-Yu Zhou, Cheng Li, Weijian Huang, Jiarun Liu and
Shanshan Wang
- Abstract要約: 視覚言語による事前学習モデルを提案する。
Free Pathology Localization (AFLOC)
AFLocのコアとなる強みは、画像アノテーションのない多レベル意味構造に基づくコントラスト学習にある。
その結果、AFLOCは6つの最先端の手法を超越し、5つの病因の特定においてヒトのベンチマークを上回ります。
- 参考スコア(独自算出の注目度): 20.919478310005058
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Locating pathologies automatically from medical images aids the understanding
of the emergence and progression of diseases, and such an ability can
significantly benefit clinical diagnostics. However, existing deep learning
models heavily rely on expert annotations and lack generalization capabilities
in open clinical environments. In this study, we present a generalizable
vision-language pre-training model for Annotation-Free pathology Localization
(AFLoc). The core strength of AFLoc lies in its image annotation-free
multi-level semantic structure-based contrastive learning, which
comprehensively aligns multi-granularity medical concepts from reports with
abundant image features, to adapt to the diverse expressions of observed and
emerging unseen pathologies. We conducted extensive experimental validation
across 4 distinct external datasets, encompassing 11 types of chest
pathologies, to verify its generalization ability. The results demonstrate that
AFLoc surpasses 6 state-of-the-art methods and even outperforms the human
benchmark in locating 5 different pathologies, underscoring its suitability for
complex clinical environments.
- Abstract(参考訳): 医学画像から自動的に病理を同定することは、疾患の発生と進行を理解するのに役立ち、そのような能力は臨床診断に大いに役立つ。
しかし、既存のディープラーニングモデルは専門家のアノテーションに強く依存しており、オープン臨床環境では一般化できない。
本研究では,AFLOC ( Annotation-Free pathology Localization) のための視覚言語事前学習モデルを提案する。
AFLocのコアとなる強みは、画像アノテーションのない多段階のセマンティック構造に基づくコントラスト学習にある。
本研究は,11種類の胸部病理を含む4種類の外部データセットを対象に,その一般化能力を検証した。
その結果、AFLOCは6つの最先端の手法を超越し、5つの異なる病態の特定においてヒトのベンチマークよりも優れており、複雑な臨床環境への適応性を示している。
関連論文リスト
- Knowledge-enhanced Visual-Language Pretraining for Computational Pathology [68.6831438330526]
本稿では,公共資源から収集した大規模画像テキストペアを利用した視覚的表現学習の課題について考察する。
ヒト32組織から病理診断を必要とする4,718の疾患に対して50,470個の情報属性からなる病理知識ツリーをキュレートする。
すべてのコード、モデル、そして病理知識ツリーは、研究コミュニティにリリースされます。
論文 参考訳(メタデータ) (2024-04-15T17:11:25Z) - A Clinical-oriented Multi-level Contrastive Learning Method for Disease Diagnosis in Low-quality Medical Images [4.576524795036682]
コントラスト学習(CL)により誘導される疾患診断法は,病変の特徴表現において有意な優位性を示した。
本稿では,病変の特徴を抽出するためのモデルの能力向上を目的とした,臨床指向型多段階CLフレームワークを提案する。
提案されたCLフレームワークは、EyeQとChest X-rayの2つの公開医療画像データセットで検証されている。
論文 参考訳(メタデータ) (2024-04-07T09:08:14Z) - MICA: Towards Explainable Skin Lesion Diagnosis via Multi-Level
Image-Concept Alignment [4.861768967055006]
本稿では, 医療画像と臨床関連概念を多層的に意味的に整合させるマルチモーダル説明型疾患診断フレームワークを提案する。
提案手法は, モデル解釈可能性を維持しながら, 概念検出と疾患診断に高い性能とラベル効率を実現する。
論文 参考訳(メタデータ) (2024-01-16T17:45:01Z) - VALD-MD: Visual Attribution via Latent Diffusion for Medical Diagnostics [0.0]
医用画像における視覚的属性は、医用画像の診断関連成分を明確にすることを目指している。
本稿では、潜在拡散モデルとドメイン固有大言語モデルを組み合わせた新しい生成的視覚属性手法を提案する。
結果として生じるシステムは、ゼロショット局所化疾患誘導を含む様々な潜在能力を示す。
論文 参考訳(メタデータ) (2024-01-02T19:51:49Z) - Robust and Interpretable Medical Image Classifiers via Concept
Bottleneck Models [49.95603725998561]
本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。
具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
論文 参考訳(メタデータ) (2023-10-04T21:57:09Z) - A Transformer-based representation-learning model with unified
processing of multimodal input for clinical diagnostics [63.106382317917344]
本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。
統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
論文 参考訳(メタデータ) (2023-06-01T16:23:47Z) - Multi-Modal Learning Using Physicians Diagnostics for Optical Coherence
Tomography Classification [0.0]
我々は,光学コヒーレンス・トモグラフィーの分析に専門家の診断と知見を取り入れたフレームワークを提案する。
OCTを用いた疾患分類を改善するために,医学診断属性データセットを作成する。
論文 参考訳(メタデータ) (2022-03-20T18:37:20Z) - Malignancy Prediction and Lesion Identification from Clinical
Dermatological Images [65.1629311281062]
臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。
まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
論文 参考訳(メタデータ) (2021-04-02T20:52:05Z) - Modeling and Enhancing Low-quality Retinal Fundus Images [167.02325845822276]
低画質の眼底画像は臨床観察における不確実性を高め、誤診のリスクを引き起こす。
本稿では,グローバルな劣化要因を抑えるために,臨床指向の基盤拡張ネットワーク(cofe-Net)を提案する。
合成画像と実画像の両方の実験により、我々のアルゴリズムは網膜の細部を失うことなく、低品質の眼底画像を効果的に補正することを示した。
論文 参考訳(メタデータ) (2020-05-12T08:01:16Z) - Weakly supervised multiple instance learning histopathological tumor
segmentation [51.085268272912415]
スライド画像全体のセグメント化のための弱教師付きフレームワークを提案する。
トレーニングモデルに複数のインスタンス学習スキームを利用する。
提案するフレームワークは,The Cancer Genome AtlasとPatchCamelyonデータセットのマルチロケーションとマルチ中心公開データに基づいて評価されている。
論文 参考訳(メタデータ) (2020-04-10T13:12:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。