論文の概要: WeakSupCon: Weakly Supervised Contrastive Learning for Encoder Pre-training

• arxiv url: http://arxiv.org/abs/2503.04165v1
• Date: Thu, 06 Mar 2025 07:25:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 17:59:00.715227
• Title: WeakSupCon: Weakly Supervised Contrastive Learning for Encoder Pre-training
• Title（参考訳）: WeakSupCon: エンコーダ事前トレーニングのためのコントラスト学習を弱く監視する
• Authors: Bodong Zhang, Hamid Manoochehri, Beatrice S. Knudsen, Tolga Tasdizen,
• Abstract要約: バッグレベルのラベルのみを提供するため、弱教師付き多重インスタンス学習(MIL)は難しい課題である。 Weakly Supervised Contrastive Learning (WeakSupCon) と呼ばれる下流MILタスクのための新しいエンコーダ事前学習手法を提案する。 本手法では,マルチタスク学習を用いて,異なるバッグラベルを持つサンプルに対して,異なるコントラスト学習損失を定義する。
• 参考スコア（独自算出の注目度）: 1.3124513975412253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weakly supervised multiple instance learning (MIL) is a challenging task given that only bag-level labels are provided, while each bag typically contains multiple instances. This topic has been extensively studied in histopathological image analysis, where labels are usually available only at the whole slide image (WSI) level, while each whole slide image can be divided into thousands of small image patches for training. The dominant MIL approaches take fixed patch features as inputs to address computational constraints and ensure model stability. These features are commonly generated by encoders pre-trained on ImageNet, foundation encoders pre-trained on large datasets, or through self-supervised learning on local datasets. While the self-supervised encoder pre-training on the same dataset as downstream MIL tasks helps mitigate domain shift and generate better features, the bag-level labels are not utilized during the process, and the features of patches from different categories may cluster together, reducing classification performance on MIL tasks. Recently, pre-training with supervised contrastive learning (SupCon) has demonstrated superior performance compared to self-supervised contrastive learning and even end-to-end training on traditional image classification tasks. In this paper, we propose a novel encoder pre-training method for downstream MIL tasks called Weakly Supervised Contrastive Learning (WeakSupCon) that utilizes bag-level labels. In our method, we employ multi-task learning and define distinct contrastive learning losses for samples with different bag labels. Our experiments demonstrate that the features generated using WeakSupCon significantly enhance MIL classification performance compared to self-supervised approaches across three datasets.
• Abstract（参考訳）: バッグレベルのラベルのみを提供するのに対して、各バッグは通常複数のインスタンスを含むため、弱教師付き多重インスタンス学習(MIL)は難しい作業である。 このトピックは、組織学的画像解析において広く研究されており、ラベルは通常、スライド画像全体(WSI)レベルでのみ利用可能であり、各スライド画像は、トレーニングのために数千の小さなイメージパッチに分割することができる。 支配的なMILアプローチは、固定パッチ機能を入力として、計算制約に対処し、モデルの安定性を保証する。 これらの機能は一般的に、ImageNetで事前トレーニングされたエンコーダ、大規模なデータセットで事前トレーニングされたファンデーションエンコーダ、あるいはローカルデータセットで自己教師付き学習によって生成される。 下流のMILタスクと同じデータセットで事前トレーニングを行う自己教師型エンコーダは、ドメインシフトを緩和し、より良い機能を生成するのに役立つが、バッグレベルのラベルはプロセス中に利用されず、異なるカテゴリのパッチの特徴が集結し、MILタスクの分類性能が低下する可能性がある。 近年,教師付きコントラスト学習(SupCon)による事前学習は,従来の画像分類作業における自己教師付きコントラスト学習やエンドツーエンドトレーニングよりも優れた性能を示している。 本稿では,バッグレベルのラベルを用いたWeakly Supervised Contrastive Learning (WeakSupCon)と呼ばれる,下流MILタスクのための新しいエンコーダ事前学習手法を提案する。 本手法では,マルチタスク学習を用いて,異なるバッグラベルを持つサンプルに対して,異なるコントラスト学習損失を定義する。 WeakSupConを用いて生成された特徴は、3つのデータセットにわたる自己教師型アプローチと比較してMIL分類性能を著しく向上させることを示した。

関連論文リスト

• ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
  多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。 スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T13:28:46Z)
• MixSup: Mixed-grained Supervision for Label-efficient LiDAR-based 3D Object Detection [59.1417156002086]
  MixSupは、大量の安価な粗いラベルと、Mixed-fine Supervisionの限られた数の正確なラベルを同時に活用する、より実用的なパラダイムである。 MixSupは、安価なクラスタアノテーションと10%のボックスアノテーションを使用して、完全な教師付きパフォーマンスの97.31%を達成している。
  論文  参考訳（メタデータ） (2024-01-29T17:05:19Z)
• Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
  本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。 仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。 私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
  論文  参考訳（メタデータ） (2023-12-02T16:23:52Z)
• Rethinking Multiple Instance Learning for Whole Slide Image Classification: A Bag-Level Classifier is a Good Instance-Level Teacher [22.080213609228547]
  複数のインスタンス学習は、WSI(Whole Slide Image)分類において約束されている。 既存の手法は一般に2段階のアプローチを採用しており、学習不可能な特徴埋め込み段階と分類器訓練段階からなる。 バッグレベルの分類器は、良いインスタンスレベルの教師になれると提案する。
  論文  参考訳（メタデータ） (2023-12-02T10:16:03Z)
• Rethinking Multiple Instance Learning for Whole Slide Image Classification: A Good Instance Classifier is All You Need [18.832471712088353]
  MIL設定下では,インスタンスレベルの弱教師付きコントラスト学習アルゴリズムを初めて提案する。 また,プロトタイプ学習による正確な擬似ラベル生成手法を提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:44:52Z)
• The Rise of AI Language Pathologists: Exploring Two-level Prompt Learning for Few-shot Weakly-supervised Whole Slide Image Classification [23.004237397025822]
  本稿では,FSWCと表記される病的全スライド画像(WSI)分類における弱教師あり学習の概念を紹介する。 大規模言語モデル GPT-4 の即時学習と活用に基づく解法を提案する。 提案手法では,GPT-4を質問応答モードで活用し,インスタンスレベルとバッグレベルの両方で言語事前知識を取得し,インスタンスレベルとバッグレベルの言語プロンプトに統合する。
  論文  参考訳（メタデータ） (2023-05-29T05:35:44Z)
• Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
  本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。 本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。 提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:04Z)
• MaskCon: Masked Contrastive Learning for Coarse-Labelled Dataset [19.45520684918576]
  我々は、@textbfMask$ed $textbfCon$trastive Learning($textbfMaskCon$)と呼ばれる対照的な学習方法を提案する。 各サンプルに対して,本手法は,他のサンプルに対して粗いラベルを付与して軟質ラベルを生成する。 提案手法は, 各種データセットにおける現状よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-03-22T17:08:31Z)
• Multiple Instance Learning via Iterative Self-Paced Supervised Contrastive Learning [22.07044031105496]
  バッグレベルのラベルのみが利用可能な場合の個々のインスタンスの学習表現は、MIL(Multiple Case Learning)の課題である。 我々は、MIL表現のための新しいフレームワーク、Iterative Self-paced Supervised Contrastive Learning (ItS2CLR)を提案する。 バッグレベルのラベルから派生したインスタンスレベルの擬似ラベルを活用することで、学習された表現を改善する。
  論文  参考訳（メタデータ） (2022-10-17T21:43:32Z)
• Large Loss Matters in Weakly Supervised Multi-Label Classification [50.262533546999045]
  まず、観測されていないラベルを負のラベルとみなし、Wタスクをノイズの多いマルチラベル分類にキャストする。 ノイズラベルを記憶しないために,大規模な損失サンプルを拒絶または補正する新しいW法を提案する。 提案手法は, 弱教師付きマルチラベル分類において, 大きな損失を適切に処理することが重要であることを検証した。
  論文  参考訳（メタデータ） (2022-06-08T08:30:24Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)
• Large-Scale Pre-training for Person Re-identification with Noisy Labels [125.49696935852634]
  雑音ラベル(PNL)を利用した大規模事前学習フレームワークを開発した。 原則として、これらの3つのモジュールの合同学習は、1つのプロトタイプに類似したクラスタの例だけでなく、プロトタイプの割り当てに基づいてノイズラベルを修正します。 このシンプルな事前学習タスクは、ベルやwhiを使わずに"LUPerson-NL"でSOTA Re-ID表現をスクラッチから学習するスケーラブルな方法を提供する。
  論文  参考訳（メタデータ） (2022-03-30T17:59:58Z)
• Learning Self-Supervised Low-Rank Network for Single-Stage Weakly and Semi-Supervised Semantic Segmentation [119.009033745244]
  本稿では,単一段階弱教師付きセマンティックセマンティックセマンティックセマンティクス(WSSS)と半教師付きセマンティクスセマンティクスセマンティクス(SSSS)のための自己教師付き低ランクネットワーク(SLRNet)を提案する。 SLRNetは、画像の異なるビューから複数の注意深いLR表現を同時に予測し、正確な擬似ラベルを学習する。 Pascal VOC 2012、COCO、L2IDデータセットの実験では、SLRNetは最先端のWSSSメソッドとSSSSメソッドの両方で、さまざまな設定で優れています。
  論文  参考訳（メタデータ） (2022-03-19T09:19:55Z)
• Multi-label Iterated Learning for Image Classification with Label Ambiguity [3.5736176624479654]
  単一ラベルからの多ラベル学習の帰納バイアスを組み込むために,多ラベル反復学習(MILe)を提案する。 MILeは、バイナリ予測を伝搬することにより、画像のマルチラベル記述を構築する、シンプルだが効果的な手順である。 我々は,MILeがラベルノイズを効果的に低減し,WebVisionのような実世界の大規模ノイズデータに対して最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-23T22:10:00Z)
• Nested Multiple Instance Learning with Attention Mechanisms [2.6552823781152366]
  多重インスタンス学習(MIL)は、未知のラベルを持つデータの複数のインスタンスをバッグに分類する弱い教師付き学習の一種である。 我々は,最外側のバッグのみをラベル付けし,インスタンスを潜在ラベルとして表現するNested MILを提案する。 提案モデルでは,画像領域における関連インスタンスの発見とともに,高精度な性能を実現する。
  論文  参考訳（メタデータ） (2021-11-01T13:41:09Z)
• Semi-weakly Supervised Contrastive Representation Learning for Retinal Fundus Images [0.2538209532048867]
  本稿では,半弱化アノテーションを用いた表現学習のための,半弱化教師付きコントラスト学習フレームワークを提案する。 SWCLの移動学習性能を7つの公立網膜眼底データセットで実証的に検証した。
  論文  参考訳（メタデータ） (2021-08-04T15:50:09Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• Generative Multi-Label Zero-Shot Learning [136.17594611722285]
  マルチラベルゼロショット学習は、トレーニング中にデータが入手できない複数の見えないカテゴリにイメージを分類する試みである。 我々の研究は、(一般化された)ゼロショット設定におけるマルチラベル機能の問題に最初に取り組みました。 私たちのクロスレベル核融合に基づく生成アプローチは、3つのデータセットすべてにおいて最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2021-01-27T18:56:46Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)
• Dual-stream Maximum Self-attention Multi-instance Learning [11.685285490589981]
  MIL(Multi-Instance Learning)は、インスタンスレベルのラベルが利用できない間に単一のクラスラベルがインスタンスのバッグに割り当てられる弱い教師付き学習の一種である。 ニューラルネットワークによりパラメータ化されたDSMILモデル(Dual-stream maximum self-attention MIL model)を提案する。 提案手法は,最高のMIL手法と比較して優れた性能を示し,ベンチマークMILデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2020-06-09T22:44:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。