論文の概要: Knowledge-enhanced Visual-Language Pretraining for Computational Pathology
- arxiv url: http://arxiv.org/abs/2404.09942v1
- Date: Mon, 15 Apr 2024 17:11:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 21:27:57.955407
- Title: Knowledge-enhanced Visual-Language Pretraining for Computational Pathology
- Title（参考訳）: コンピュータ病理診断のための知識強化型ビジュアルランゲージプレトレーニング
- Authors: Xiao Zhou, Xiaoman Zhang, Chaoyi Wu, Ya Zhang, Weidi Xie, Yanfeng Wang,
- Abstract要約: 本稿では,公共資源から収集した大規模画像テキストペアを利用した視覚的表現学習の課題について考察する。
ヒト32組織から病理診断を必要とする4,718の疾患に対して50,470個の情報属性からなる病理知識ツリーをキュレートする。
すべてのコード、モデル、そして病理知識ツリーは、研究コミュニティにリリースされます。
- 参考スコア（独自算出の注目度）: 68.6831438330526
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we consider the problem of visual representation learning for computational pathology, by exploiting large-scale image-text pairs gathered from public resources, along with the domain specific knowledge in pathology. Specifically, we make the following contributions: (i) We curate a pathology knowledge tree that consists of 50,470 informative attributes for 4,718 diseases requiring pathology diagnosis from 32 human tissues. To our knowledge, this is the first comprehensive structured pathology knowledge base; (ii) We develop a knowledge-enhanced visual-language pretraining approach, where we first project pathology-specific knowledge into latent embedding space via language model, and use it to guide the visual representation learning; (iii) We conduct thorough experiments to validate the effectiveness of our proposed components, demonstrating significant performance improvement on various downstream tasks, including cross-modal retrieval, zero-shot classification on pathology patches, and zero-shot tumor subtyping on whole slide images (WSIs). All codes, models and the pathology knowledge tree will be released to the research community
- Abstract（参考訳）: 本稿では,公共資源から収集した大規模画像テキストペアと,病理学における領域固有の知識を活用することで,コンピュータ病理学における視覚表現学習の課題を考察する。
具体的には、以下の貢献をします。
(i)32個のヒト組織から病理診断を必要とする4,718の疾患について50,470個の情報属性からなる病理知識ツリーをキュレートする。
私たちの知る限りでは、これが最初の包括的構造的病理知識基盤である。
(II)我々は、言語モデルを介して潜伏埋め込み空間に病理学固有の知識を計画し、それを視覚表現学習の指導に利用する知識強化型視覚言語事前学習手法を開発した。
3) 提案手法の有効性を検証するため, クロスモーダル検索, 病理診断におけるゼロショット分類, スライド画像全体(WSI)におけるゼロショットのサブタイプなど, 様々な下流タスクにおいて, 大幅な性能向上を図っている。
すべてのコード、モデル、病理知識ツリーが研究コミュニティに公開される。
関連論文リスト
- Renal digital pathology visual knowledge search platform based on language large model and book knowledge [0.1398098625978622]
我々は,60冊の腎病理書をもとに,画像分割と対応するテキスト記述のペア化を行った。
GPT2, gemma, LLma, Qwenを含む4大モデルの意味的特徴について検討した。
テキスト記述に基づく病理画像検索のための意味検索システムを構築し,RppDと命名した。
論文 参考訳（メタデータ） (2024-05-27T01:03:12Z) - A Textbook Remedy for Domain Shifts: Knowledge Priors for Medical Image Analysis [48.84443450990355]
ディープネットワークは、医学的なスキャンに適用すると、例外のない状況で失敗することが多いため、自然画像の解析において広く成功している。
胸部X線や皮膚病変画像の文脈において、異なる病院から採取したデータや、性別、人種などの人口統計学的変数によって構築されたデータなど、ドメインシフトに対するモデル感度に焦点をあてる。
医学教育からインスピレーションを得て,自然言語で伝達される明示的な医学知識を基盤としたディープネットワークを提案する。
論文 参考訳（メタデータ） (2024-05-23T17:55:02Z) - Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。
その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
論文 参考訳（メタデータ） (2024-03-21T17:58:56Z) - MLIP: Enhancing Medical Visual Representation with Divergence Encoder
and Knowledge-guided Contrastive Learning [48.97640824497327]
本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。
我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。
特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
論文 参考訳（メタデータ） (2024-02-03T05:48:50Z) - Text-guided Foundation Model Adaptation for Pathological Image
Classification [40.45252665455015]
本稿では、画像とテキストの埋め込み(CITE)を結合して、病理画像分類を強化することを提案する。
CITEは、幅広いバイオメディカルテキストで事前訓練された言語モデルから得られたテキスト洞察を注入し、病理画像理解に基礎モデルを適用する。
論文 参考訳（メタデータ） (2023-07-27T14:44:56Z) - Towards a Visual-Language Foundation Model for Computational Pathology [5.72536252929528]
病理組織学(CONCH)におけるコントラスト学習について紹介する。
CONCHは、様々な組織像、生医学的テキスト、タスクに依存しない事前トレーニングのソースを用いて開発された視覚言語基盤モデルである。
13種類の多様なベンチマークで評価され, 画像分類, セグメンテーション, キャプション, テキスト・ツー・イメージ検索, 画像・テキスト検索における最先端のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-07-24T16:13:43Z) - K-Diag: Knowledge-enhanced Disease Diagnosis in Radiographic Imaging [40.52487429030841]
医用領域知識の指導による視覚表現の訓練を可能にする知識強化フレームワークを提案する。
まず、専門家の知識を明示的に取り入れるために、医療知識グラフの神経表現を学ぶことを提案する。
第二に、ビジュアルエンコーダのトレーニング中に、知識エンコーダのパラメータを凍結させ、効率的な適応のためのプロンプトベクトルのセットを学ぶことを提案する。
論文 参考訳（メタデータ） (2023-02-22T18:53:57Z) - Align, Reason and Learn: Enhancing Medical Vision-and-Language
Pre-training with Knowledge [68.90835997085557]
本稿では,3つの視点から構造化された医療知識を高めるための体系的かつ効果的なアプローチを提案する。
まず、視覚エンコーダと言語エンコーダの表現を知識を通して整列する。
次に,多モード融合モデルに知識を注入し,入力画像とテキストの補足として知識を用いた推論を可能にする。
第3に、知識によって引き起こされるプレテキストタスクを設計することで、画像やテキストの最も重要な情報に重点を置くよう、モデルを指導する。
論文 参考訳（メタデータ） (2022-09-15T08:00:01Z) - A Survey on Graph-Based Deep Learning for Computational Histopathology [36.58189530598098]
我々は、デジタル病理と生検画像パッチの分析に機械学習と深層学習の利用が急速に拡大しているのを目撃した。
畳み込みニューラルネットワークを用いたパッチワイド機能に関する従来の学習は、グローバルなコンテキスト情報をキャプチャしようとする際のモデルを制限する。
本稿では,グラフに基づく深層学習の概念的基盤を提供し,腫瘍の局在と分類,腫瘍浸潤とステージング,画像検索,生存予測の現在の成功について論じる。
論文 参考訳（メタデータ） (2021-07-01T07:50:35Z) - Learning Binary Semantic Embedding for Histology Image Classification
and Retrieval [56.34863511025423]
バイナリ・セマンティック・エンベディング(LBSE)の学習方法を提案する。
効率的な埋め込み、分類、検索を行い、組織像の解釈可能なコンピュータ支援診断を提供する。
3つのベンチマークデータセットで実施された実験は、様々なシナリオにおいてLBSEの優位性を検証する。
論文 参考訳（メタデータ） (2020-10-07T08:36:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。