論文の概要: WeakSupCon: Weakly Supervised Contrastive Learning for Encoder Pre-training
- arxiv url: http://arxiv.org/abs/2503.04165v1
- Date: Thu, 06 Mar 2025 07:25:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-07 15:59:36.505047
- Title: WeakSupCon: Weakly Supervised Contrastive Learning for Encoder Pre-training
- Title（参考訳）: WeakSupCon: エンコーダ事前トレーニングのためのコントラスト学習を弱く監視する
- Authors: Bodong Zhang, Hamid Manoochehri, Beatrice S. Knudsen, Tolga Tasdizen,
- Abstract要約: バッグレベルのラベルのみを提供するため、弱教師付き多重インスタンス学習(MIL)は難しい課題である。
Weakly Supervised Contrastive Learning (WeakSupCon) と呼ばれる下流MILタスクのための新しいエンコーダ事前学習手法を提案する。
本手法では,マルチタスク学習を用いて,異なるバッグラベルを持つサンプルに対して,異なるコントラスト学習損失を定義する。
- 参考スコア（独自算出の注目度）: 1.3124513975412253
- License:
- Abstract: Weakly supervised multiple instance learning (MIL) is a challenging task given that only bag-level labels are provided, while each bag typically contains multiple instances. This topic has been extensively studied in histopathological image analysis, where labels are usually available only at the whole slide image (WSI) level, while each whole slide image can be divided into thousands of small image patches for training. The dominant MIL approaches take fixed patch features as inputs to address computational constraints and ensure model stability. These features are commonly generated by encoders pre-trained on ImageNet, foundation encoders pre-trained on large datasets, or through self-supervised learning on local datasets. While the self-supervised encoder pre-training on the same dataset as downstream MIL tasks helps mitigate domain shift and generate better features, the bag-level labels are not utilized during the process, and the features of patches from different categories may cluster together, reducing classification performance on MIL tasks. Recently, pre-training with supervised contrastive learning (SupCon) has demonstrated superior performance compared to self-supervised contrastive learning and even end-to-end training on traditional image classification tasks. In this paper, we propose a novel encoder pre-training method for downstream MIL tasks called Weakly Supervised Contrastive Learning (WeakSupCon) that utilizes bag-level labels. In our method, we employ multi-task learning and define distinct contrastive learning losses for samples with different bag labels. Our experiments demonstrate that the features generated using WeakSupCon significantly enhance MIL classification performance compared to self-supervised approaches across three datasets.
- Abstract（参考訳）: バッグレベルのラベルのみを提供するのに対して、各バッグは通常複数のインスタンスを含むため、弱教師付き多重インスタンス学習(MIL)は難しい作業である。
このトピックは、組織学的画像解析において広く研究されており、ラベルは通常、スライド画像全体(WSI)レベルでのみ利用可能であり、各スライド画像は、トレーニングのために数千の小さなイメージパッチに分割することができる。
支配的なMILアプローチは、固定パッチ機能を入力として、計算制約に対処し、モデルの安定性を保証する。
これらの機能は一般的に、ImageNetで事前トレーニングされたエンコーダ、大規模なデータセットで事前トレーニングされたファンデーションエンコーダ、あるいはローカルデータセットで自己教師付き学習によって生成される。
下流のMILタスクと同じデータセットで事前トレーニングを行う自己教師型エンコーダは、ドメインシフトを緩和し、より良い機能を生成するのに役立つが、バッグレベルのラベルはプロセス中に利用されず、異なるカテゴリのパッチの特徴が集結し、MILタスクの分類性能が低下する可能性がある。
近年,教師付きコントラスト学習(SupCon)による事前学習は,従来の画像分類作業における自己教師付きコントラスト学習やエンドツーエンドトレーニングよりも優れた性能を示している。
本稿では,バッグレベルのラベルを用いたWeakly Supervised Contrastive Learning (WeakSupCon)と呼ばれる,下流MILタスクのための新しいエンコーダ事前学習手法を提案する。
本手法では,マルチタスク学習を用いて,異なるバッグラベルを持つサンプルに対して,異なるコントラスト学習損失を定義する。
WeakSupConを用いて生成された特徴は、3つのデータセットにわたる自己教師型アプローチと比較してMIL分類性能を著しく向上させることを示した。
関連論文リスト
- ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。
スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-12T13:28:46Z) - Rethinking Multiple Instance Learning for Whole Slide Image
Classification: A Bag-Level Classifier is a Good Instance-Level Teacher [22.080213609228547]
複数のインスタンス学習は、WSI(Whole Slide Image)分類において約束されている。
既存の手法は一般に2段階のアプローチを採用しており、学習不可能な特徴埋め込み段階と分類器訓練段階からなる。
バッグレベルの分類器は、良いインスタンスレベルの教師になれると提案する。
論文 参考訳（メタデータ） (2023-12-02T10:16:03Z) - Rethinking Multiple Instance Learning for Whole Slide Image Classification: A Good Instance Classifier is All You Need [18.832471712088353]
MIL設定下では,インスタンスレベルの弱教師付きコントラスト学習アルゴリズムを初めて提案する。
また,プロトタイプ学習による正確な擬似ラベル生成手法を提案する。
論文 参考訳（メタデータ） (2023-07-05T12:44:52Z) - Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。
本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。
提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
論文 参考訳（メタデータ） (2023-04-04T17:59:04Z) - Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。
MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
論文 参考訳（メタデータ） (2022-06-07T02:03:06Z) - Learning Self-Supervised Low-Rank Network for Single-Stage Weakly and
Semi-Supervised Semantic Segmentation [119.009033745244]
本稿では,単一段階弱教師付きセマンティックセマンティックセマンティックセマンティクス(WSSS)と半教師付きセマンティクスセマンティクスセマンティクス(SSSS)のための自己教師付き低ランクネットワーク(SLRNet)を提案する。
SLRNetは、画像の異なるビューから複数の注意深いLR表現を同時に予測し、正確な擬似ラベルを学習する。
Pascal VOC 2012、COCO、L2IDデータセットの実験では、SLRNetは最先端のWSSSメソッドとSSSSメソッドの両方で、さまざまな設定で優れています。
論文 参考訳（メタデータ） (2022-03-19T09:19:55Z) - Multi-label Iterated Learning for Image Classification with Label
Ambiguity [3.5736176624479654]
単一ラベルからの多ラベル学習の帰納バイアスを組み込むために,多ラベル反復学習(MILe)を提案する。
MILeは、バイナリ予測を伝搬することにより、画像のマルチラベル記述を構築する、シンプルだが効果的な手順である。
我々は,MILeがラベルノイズを効果的に低減し,WebVisionのような実世界の大規模ノイズデータに対して最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2021-11-23T22:10:00Z) - Semi-weakly Supervised Contrastive Representation Learning for Retinal
Fundus Images [0.2538209532048867]
本稿では,半弱化アノテーションを用いた表現学習のための,半弱化教師付きコントラスト学習フレームワークを提案する。
SWCLの移動学習性能を7つの公立網膜眼底データセットで実証的に検証した。
論文 参考訳（メタデータ） (2021-08-04T15:50:09Z) - SCARF: Self-Supervised Contrastive Learning using Random Feature
Corruption [72.35532598131176]
本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。
SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
論文 参考訳（メタデータ） (2021-06-29T08:08:33Z) - Generative Multi-Label Zero-Shot Learning [136.17594611722285]
マルチラベルゼロショット学習は、トレーニング中にデータが入手できない複数の見えないカテゴリにイメージを分類する試みである。
我々の研究は、(一般化された)ゼロショット設定におけるマルチラベル機能の問題に最初に取り組みました。
私たちのクロスレベル核融合に基づく生成アプローチは、3つのデータセットすべてにおいて最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2021-01-27T18:56:46Z) - Dual-stream Maximum Self-attention Multi-instance Learning [11.685285490589981]
MIL(Multi-Instance Learning)は、インスタンスレベルのラベルが利用できない間に単一のクラスラベルがインスタンスのバッグに割り当てられる弱い教師付き学習の一種である。
ニューラルネットワークによりパラメータ化されたDSMILモデル(Dual-stream maximum self-attention MIL model)を提案する。
提案手法は,最高のMIL手法と比較して優れた性能を示し,ベンチマークMILデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2020-06-09T22:44:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。