論文の概要: Online pseudo labeling for polyp segmentation with momentum networks
- arxiv url: http://arxiv.org/abs/2209.14599v1
- Date: Thu, 29 Sep 2022 07:33:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 17:21:35.063977
- Title: Online pseudo labeling for polyp segmentation with momentum networks
- Title（参考訳）: モーメントネットワークを用いたポリプセグメンテーションのためのオンライン擬似ラベリング
- Authors: Toan Pham Van, Linh Bao Doan, Thanh Tung Nguyen, Duc Trung Tran, Quan
Van Nguyen, Dinh Viet Sang
- Abstract要約: 半教師付き学習では、ラベルの品質がモデルパフォーマンスにおいて重要な役割を果たす。
本稿では,学生ネットワークのトレーニングに使用される擬似ラベルの品質を高めるための,新しい擬似ラベル方式を提案する。
実験結果は, 通常の手法を3%超え, ある程度のデータセットで完全に監督された結果に近づいた。
- 参考スコア（独自算出の注目度）: 5.920947681019466
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Semantic segmentation is an essential task in developing medical image
diagnosis systems. However, building an annotated medical dataset is expensive.
Thus, semi-supervised methods are significant in this circumstance. In
semi-supervised learning, the quality of labels plays a crucial role in model
performance. In this work, we present a new pseudo labeling strategy that
enhances the quality of pseudo labels used for training student networks. We
follow the multi-stage semi-supervised training approach, which trains a
teacher model on a labeled dataset and then uses the trained teacher to render
pseudo labels for student training. By doing so, the pseudo labels will be
updated and more precise as training progress. The key difference between
previous and our methods is that we update the teacher model during the student
training process. So the quality of pseudo labels is improved during the
student training process. We also propose a simple but effective strategy to
enhance the quality of pseudo labels using a momentum model -- a slow copy
version of the original model during training. By applying the momentum model
combined with re-rendering pseudo labels during student training, we achieved
an average of 84.1% Dice Score on five datasets (i.e., Kvarsir, CVC-ClinicDB,
ETIS-LaribPolypDB, CVC-ColonDB, and CVC-300) with only 20% of the dataset used
as labeled data. Our results surpass common practice by 3% and even approach
fully-supervised results on some datasets. Our source code and pre-trained
models are available at https://github.com/sun-asterisk-research/online
learning ssl
- Abstract（参考訳）: セマンティックセグメンテーションは医用画像診断システムの開発に欠かせない課題である。
しかし、注釈付き医療データセットの構築は高価である。
したがって、この状況では半教師付き手法が重要である。
半教師付き学習では、ラベルの品質がモデルパフォーマンスにおいて重要な役割を果たす。
本研究では,学生ネットワークの学習に使用する擬似ラベルの品質を高めるための,新しい擬似ラベリング戦略を提案する。
我々は、ラベル付きデータセット上で教師モデルを訓練し、訓練された教師を用いて学生のトレーニングに擬似ラベルを描画する多段階半教師訓練アプローチに従う。
これにより、擬似ラベルはトレーニングの進行とともに更新され、より正確になる。
従来の方法と我々の方法の主な違いは、学生の研修過程で教師モデルを更新することである。
したがって、学生の学習過程で擬似ラベルの品質が向上する。
また、トレーニング中に元のモデルのスローコピー版である運動量モデルを用いて、擬似ラベルの品質を高めるための単純かつ効果的な戦略を提案する。
学生のトレーニング中に擬似ラベルの再レンダリングと組み合わせて運動量モデルを適用することで、ラベル付きデータとして使用されるデータセットのわずか20%で、平均84.1%のDice Scoreを5つのデータセット(Kvarsir、CVC-ClinicDB、ETIS-LaribPolypDB、CVC-ColonDB、CVC-300)で達成した。
実験結果は, 通常の手法を3%超え, ある程度のデータセットで完全に教師付きの結果に近づいた。
ソースコードと事前訓練済みモデルはhttps://github.com/sun-asterisk-research/online learning sslで利用可能です。
関連論文リスト
- Pseudo Labels for Single Positive Multi-Label Learning [0.0]
単一正のマルチラベル学習(SPML)はコスト効率の良いソリューションであり、モデルがイメージ毎にひとつの正のラベルでトレーニングされる。
本研究では,1つの正のデータを完全なラベル付きデータに変換する手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T17:21:42Z) - Doubly Robust Self-Training [46.168395767948965]
本稿では,新しい半教師付きアルゴリズムである二重頑健な自己学習を導入する。
通常の自己学習ベースラインよりも2倍頑健な損失の優位性を実証する。
論文 参考訳（メタデータ） (2023-06-01T00:57:16Z) - You Only Need One Thing One Click: Self-Training for Weakly Supervised
3D Scene Understanding [107.06117227661204]
私たちはOne Thing One Click''を提案する。つまり、アノテーションはオブジェクトごとに1つのポイントをラベル付けするだけです。
グラフ伝搬モジュールによって促進されるトレーニングとラベル伝搬を反復的に行う。
我々のモデルは、ポイントクラスタリング戦略を備えた3Dインスタンスセグメンテーションと互換性がある。
論文 参考訳（メタデータ） (2023-03-26T13:57:00Z) - Large-Scale Pre-training for Person Re-identification with Noisy Labels [125.49696935852634]
雑音ラベル(PNL)を利用した大規模事前学習フレームワークを開発した。
原則として、これらの3つのモジュールの合同学習は、1つのプロトタイプに類似したクラスタの例だけでなく、プロトタイプの割り当てに基づいてノイズラベルを修正します。
このシンプルな事前学習タスクは、ベルやwhiを使わずに"LUPerson-NL"でSOTA Re-ID表現をスクラッチから学習するスケーラブルな方法を提供する。
論文 参考訳（メタデータ） (2022-03-30T17:59:58Z) - Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition [98.25592165484737]
CMPL(Cross-Model Pseudo-Labeling)と呼ばれる,より効果的な擬似ラベル方式を提案する。
CMPLは、それぞれRGBモダリティとラベル付きデータのみを使用して、Kinetics-400とUCF-101のTop-1の精度を17.6%と25.1%で達成している。
論文 参考訳（メタデータ） (2021-12-17T18:59:41Z) - Weakly Supervised Pseudo-Label assisted Learning for ALS Point Cloud
Semantic Segmentation [1.4620086904601473]
競合ポイントクラウドの結果は通常、大量のラベル付きデータに依存します。
本研究では,基礎的事実を限定した正確な結果を得るための擬似ラベル方式を提案する。
論文 参考訳（メタデータ） (2021-05-05T08:07:21Z) - SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。
まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。
次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
論文 参考訳（メタデータ） (2020-11-20T08:26:10Z) - Self-training For Pre-training Language Models [0.5139874302398955]
業界におけるNLPアプリケーションでは、ユーザや顧客が生成する大量のデータがあります。
私たちの学習フレームワークは、この膨大な未ラベルデータに基づいています。
論文 参考訳（メタデータ） (2020-11-18T01:35:01Z) - Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。
本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。
本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文 参考訳（メタデータ） (2020-06-27T08:13:58Z) - Improving Semantic Segmentation via Self-Training [75.07114899941095]
半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。
まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。
私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
論文 参考訳（メタデータ） (2020-04-30T17:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。