論文の概要: ConCL: Concept Contrastive Learning for Dense Prediction Pre-training in
Pathology Images
- arxiv url: http://arxiv.org/abs/2207.06733v1
- Date: Thu, 14 Jul 2022 08:38:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-15 13:31:02.060734
- Title: ConCL: Concept Contrastive Learning for Dense Prediction Pre-training in
Pathology Images
- Title(参考訳): ConCL:Dense Prediction Pre-Trainingのための概念コントラスト学習
- Authors: Jiawei Yang, Hanbo Chen, Yuan Liang, Junzhou Huang, Lei He, Jianhua
Yao
- Abstract要約: 自己教師型学習は、このようなアノテーションの多いタスクにアピールする。
病理画像における高密度予測タスクのためのSSLメソッドのベンチマークを最初に行った。
本研究では,高密度事前学習のためのSSLフレームワークであるコントラスト学習(ConCL)を提案する。
- 参考スコア(独自算出の注目度): 47.43840961882509
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Detectingandsegmentingobjectswithinwholeslideimagesis essential in
computational pathology workflow. Self-supervised learning (SSL) is appealing
to such annotation-heavy tasks. Despite the extensive benchmarks in natural
images for dense tasks, such studies are, unfortunately, absent in current
works for pathology. Our paper intends to narrow this gap. We first benchmark
representative SSL methods for dense prediction tasks in pathology images.
Then, we propose concept contrastive learning (ConCL), an SSL framework for
dense pre-training. We explore how ConCL performs with concepts provided by
different sources and end up with proposing a simple dependency-free concept
generating method that does not rely on external segmentation algorithms or
saliency detection models. Extensive experiments demonstrate the superiority of
ConCL over previous state-of-the-art SSL methods across different settings.
Along our exploration, we distll several important and intriguing components
contributing to the success of dense pre-training for pathology images. We hope
this work could provide useful data points and encourage the community to
conduct ConCL pre-training for problems of interest. Code is available.
- Abstract(参考訳): 計算病理ワークフローに欠かせない異物検出
自己教師付き学習(SSL)は、このようなアノテーションの多いタスクにアピールする。
濃密な作業のための自然画像の広範なベンチマークにもかかわらず、これらの研究は残念ながら現在の病理学の研究に欠落している。
私たちの論文はこのギャップを狭めるつもりだ。
まず,病理画像の高密度予測タスクに対するssl手法のベンチマークを行った。
次に,高密度事前学習のためのSSLフレームワークであるコントラスト学習(ConCL)を提案する。
我々は、ConCLが異なるソースから提供される概念をどのように実行し、外部セグメンテーションアルゴリズムや従量検出モデルに依存しない単純な依存性のない概念生成手法を提案する。
大規模な実験は、さまざまな設定で以前の最先端SSLメソッドよりもConCLの方が優れていることを示している。
本研究では,病理画像の高密度事前学習の成功に寄与する重要かつ興味深い要素を抽出する。
この作業が有用なデータポイントを提供し、関心のある問題に対するConCL事前トレーニングをコミュニティに促すことを願っています。
コードは利用可能。
関連論文リスト
- Overcoming Dimensional Collapse in Self-supervised Contrastive Learning
for Medical Image Segmentation [2.6764957223405657]
医用画像解析分野へのコントラスト学習の適用について検討する。
以上の結果から,最先端のコントラスト学習手法であるMoCo v2は,医用画像に適用すると次元的崩壊に遭遇することが明らかとなった。
これを解決するために,局所的な特徴学習と特徴デコレーションという2つの重要な貢献を提案する。
論文 参考訳(メタデータ) (2024-02-22T15:02:13Z) - Enhancing Few-shot CLIP with Semantic-Aware Fine-Tuning [61.902254546858465]
Contrastive Language-Image Pre-Trainingに基づく手法は、数発の適応タスクで有望な性能を示した。
本稿では,タスク固有のセマンティクスに焦点を合わせるために,トレーニングプロセス中にアテンションプーリング層のパラメータを微調整することを提案する。
論文 参考訳(メタデータ) (2023-11-08T05:18:57Z) - GenSelfDiff-HIS: Generative Self-Supervision Using Diffusion for
Histopathological Image Segmentation [5.049466204159458]
自己教師付き学習(SSL)は、注釈のないデータのみを利用するモデルを構築することで、いくつかの欠点を提供する代替パラダイムである。
本稿では,生成拡散モデルを用いて病理像をセグメント化するためのSSLアプローチを提案する。
本手法は,拡散モデルがセグメント化タスクに似た画像から画像への変換タスクを効果的に解くことに基づく。
論文 参考訳(メタデータ) (2023-09-04T09:49:24Z) - Understanding and Improving the Role of Projection Head in
Self-Supervised Learning [77.59320917894043]
自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。
現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。
学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
論文 参考訳(メタデータ) (2022-12-22T05:42:54Z) - Benchmarking Self-Supervised Learning on Diverse Pathology Datasets [10.868779327544688]
自己教師付き学習は、ラベルのないデータを活用する効果的な方法であることが示されている。
我々は、病理画像データに基づいてSSL事前トレーニングを行う最大規模の研究を行う。
核インスタンスセグメンテーションの課題に対してSSLを初めて適用する。
論文 参考訳(メタデータ) (2022-12-09T06:38:34Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳(メタデータ) (2022-10-17T17:57:46Z) - Data-Limited Tissue Segmentation using Inpainting-Based Self-Supervised
Learning [3.7931881761831328]
プレテキストタスクを含む自己教師付き学習(SSL)メソッドは、ラベルなしデータを使用したモデルの最初の事前トレーニングによって、この要件を克服する可能性を示している。
ラベル限定シナリオにおけるCTとMRI画像のセグメンテーションにおける2つのSSL手法の有効性を評価する。
最適に訓練され,実装が容易なSSLセグメンテーションモデルは,ラベル制限シナリオにおけるMRIおよびCT組織セグメンテーションの古典的な手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-10-14T16:34:05Z) - Lesion-Aware Contrastive Representation Learning for Histopathology
Whole Slide Images Analysis [16.264758789726223]
本稿では,スライド画像解析の病理組織学的手法として,Lesion-Aware Contrastive Learning (LACL) という新しいコントラスト表現学習フレームワークを提案する。
実験の結果,LACLは異なるデータセット上での組織像表現学習において,最高の性能を発揮することが示された。
論文 参考訳(メタデータ) (2022-06-27T08:39:51Z) - DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting [91.56988987393483]
本稿では,CLIPから事前学習した知識を暗黙的かつ明示的に活用することで,高密度予測のための新しい枠組みを提案する。
具体的には,CLIPにおける元の画像テキストマッチング問題を画素テキストマッチング問題に変換し,画素テキストスコアマップを用いて高密度予測モデルの学習を指導する。
本手法は,任意の密集予測システムや種々の事前学習された視覚バックボーンに適用可能な,モデルに依存しない手法である。
論文 参考訳(メタデータ) (2021-12-02T18:59:32Z) - DenseCLIP: Extract Free Dense Labels from CLIP [130.3830819077699]
対照的に、CLIP(Contrastive Language- Image Pre-Training)は、オープンボキャブラリゼロショット画像認識において画期的な進歩を遂げた。
DenseCLIP+はSOTAトランスダクティブなゼロショットセマンティックセグメンテーション法を大きなマージンで上回る。
我々の発見は、DenseCLIPが高密度予測タスクの信頼性の高い新たな監視源となることを示唆している。
論文 参考訳(メタデータ) (2021-12-02T09:23:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。