論文の概要、ライセンス

# (参考訳) 半監督胸部X線分類のための自己監督平均教師 [全文訳有]

Self-supervised Mean Teacher for Semi-supervised Chest X-ray Classification ( http://arxiv.org/abs/2103.03629v1 )

ライセンス: CC BY 4.0
Fengbei Liu, Yu Tian, Filipe R. Cordeiro, Vasileios Belagiannis, Ian Reid, Gustavo Carneiro(参考訳) ディープラーニングモデルのトレーニングは通常、効果的な収束と一般化のために大量の注釈データを必要とする。 しかし,良質なアノテーションを得ることは,ラベリング作業に専門家の放射線科医が必要となるため,手間と費用がかかる作業である。 The study of semi-supervised learning in medical image analysis is then of crucial importance given that it is much less expensive to obtain unlabelled images than to acquire images labelled by expert radiologists.Essenti ally, semi-supervised methods leverage large sets of unlabelled data to enable better training convergence and generalisation than if we use only the small set of labelled images.In this paper, we propose the Self-supervised Mean Teacher for Semi-supervised (S$^2$MTS$^2$) learning that combines self-supervised mean-teacher pre-training with semi-supervised fine-tuning. s$^2$mts$^2$の主な革新は、無限個の正の問合せと重要な特徴を用いて平均教師表現を改善するジョイントコントラスト学習に基づく自己教師付き平均教師事前学習である。 このモデルは,半教師学習で訓練された指数的移動平均教師フレームワークを用いて微調整され,データセットChest X-ray14の胸部疾患の多ラベル分類問題に対するS$^2$MTS$^2$の検証を行った。

The training of deep learning models generally requires a large amount of annotated data for effective convergence and generalisation. However, obtaining high-quality annotations is a laboursome and expensive process due to the need of expert radiologists for the labelling task. The study of semi-supervised learning in medical image analysis is then of crucial importance given that it is much less expensive to obtain unlabelled images than to acquire images labelled by expert radiologists.Essenti ally, semi-supervised methods leverage large sets of unlabelled data to enable better training convergence and generalisation than if we use only the small set of labelled images.In this paper, we propose the Self-supervised Mean Teacher for Semi-supervised (S$^2$MTS$^2$) learning that combines self-supervised mean-teacher pre-training with semi-supervised fine-tuning. The main innovation of S$^2$MTS$^2$ is the self-supervised mean-teacher pre-training based on the joint contrastive learning, which uses an infinite number of pairs of positive query and key features to improve the mean-teacher representation. The model is then fine-tuned using the exponential moving average teacher framework trained with semi-supervised learning.We validate S$^2$MTS$^2$ on the thorax disease multi-label classification problem from the dataset Chest X-ray14, where we show that it outperforms the previous SOTA semi-supervised learning methods by a large margin.
公開日: Fri, 5 Mar 2021 12:25:36 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Self-supervised Mean Teacher for Semi-supervised 半監督者のための自己指導平均教師 0.47
Chest X-ray Classification (cid:63) Fengbei Liu1 胸部X線分類 (出典:63) Fengbei Liu1 0.73
(cid:63) Yu Tian1,4 (出典:63)Yu Tian1,4 0.57
Filipe R. Cordeiro2 Filipe R. Cordeiro 0.87
Vasileios Belagiannis3 Vasileios Belagiannis3 0.88
Ian Reid1 Gustavo Carneiro1 Ian Reid1 Gustavo Carneiro1 0.84
1 2 0 2 r a M 5 ] V C . 1 2 0 2 r a m 5 ] v c である。 0.80
s c [ 1 v 9 2 6 3 0 . s c [ 1 v 9 2 6 3 0 . 0.85
3 0 1 2 : v i X r a 3 0 1 2 : v i X r a 0.85
1 Australian Institute for Machine Learning, University of Adelaide アデレード大学オーストラリア機械学習研究所 0.50
2 Universidade Federal Rural de Pernambuco, Brazil 4 South Australian Health and Medical Research Institute 2 Nationalversidade Federal Rural de Pernambuco, Brazil 4 South Australia Health and Medical Research Institute (英語) 0.92
3 Universit¨at Ulm, Germany ドイツ・ウルム大学3校 0.70
Abstract. The training of deep learning models generally requires a large amount of annotated data for effective convergence and generalisation. 抽象。 ディープラーニングモデルのトレーニングは通常、効果的な収束と一般化のために大量の注釈データを必要とする。 0.69
However, obtaining high-quality annotations is a laboursome and expensive process due to the need of expert radiologists for the labelling task. しかし,良質なアノテーションを得ることは,ラベリング作業に専門家の放射線科医が必要となるため,手間と費用がかかる作業である。 0.56
The study of semi-supervised learning in medical image analysis is then of crucial importance given that it is much less expensive to obtain unlabelled images than to acquire images labelled by expert radiologists.Essenti ally, semi-supervised methods leverage large sets of unlabelled data to enable better training convergence and generalisation than if we use only the small set of labelled images.In this paper, we propose the Self-supervised Mean Teacher for Semi-supervised (S2MTS2) learning that combines self-supervised mean-teacher pre-training with semi-supervised finetuning. The study of semi-supervised learning in medical image analysis is then of crucial importance given that it is much less expensive to obtain unlabelled images than to acquire images labelled by expert radiologists.Essenti ally, semi-supervised methods leverage large sets of unlabelled data to enable better training convergence and generalisation than if we use only the small set of labelled images.In this paper, we propose the Self-supervised Mean Teacher for Semi-supervised (S2MTS2) learning that combines self-supervised mean-teacher pre-training with semi-supervised finetuning. 0.92
The main innovation of S2MTS2 is the self-supervised mean-teacher pretraining based on the joint contrastive learning, which uses an infinite number of pairs of positive query and key features to improve the mean-teacher representation. s2mts2の主な革新は、無限個の正の問合せと重要な特徴を用いて平均教師表現を改善するジョイントコントラスト学習に基づく自己教師付き平均教師プリトレーニングである。 0.73
The model is then fine-tuned using the exponential moving average teacher framework trained with semi-supervised learning.We validate S2MTS2 on the thorax disease multi-label classification problem from the dataset Chest X-ray14, where we show that it outperforms the previous SOTA semi-supervised learning methods by a large margin. このモデルは、半教師学習で訓練された指数移動平均教師フレームワークを使用して微調整され、データセットChest X-ray14から胸部疾患マルチラベル分類問題についてS2MTS2を検証し、従来のSOTA半教師学習法を大きなマージンで上回ることを示す。 0.63
Our code is available at https://github.com/ fengbeiliu/semi-ches t. 私たちのコードはhttps://github.com/ fengbeiliu/semi-ches tで入手できます。 0.44
Keywords: Semi-supervised learning · Chest X-ray · Self-supervised learning · Multi-label classification. キーワード: 半教師付き学習 · 胸部x線 · 自己教師付き学習 · マルチラベル分類。 0.65
Introduction 1 Deep learning has shown outstanding results in medical image analysis problems [11, 16, 19, 21, 22, 29, 30]. はじめに 1 深層学習は医用画像解析問題(11,16,19,21,22,29,3 0)において顕著な結果を示した。 0.70
However, this performance usually depends on the availability of labelled datasets, which is expensive to obtain given that the labelling process requires expert radiologists. しかし、この性能は通常、ラベル付きデータセットの可用性に依存するが、ラベル付けプロセスには専門家の放射線科医が必要であるため、取得には費用がかかる。
訳抜け防止モード: しかし、このパフォーマンスは通常ラベル付きデータセットの可用性に依存する。 ラベル付けのプロセスには 専門の放射線技師が必要です
0.70
This limitation motivates the study of semi-supervised learning (SSL) methods that train models with a small set of labelled data and a large set of unlabelled data. この制限は、ラベル付きデータの小さなセットと大きなラベル付きデータのセットでモデルをトレーニングする半教師付き学習(SSL)手法の研究を動機付けている。 0.71
(cid:63) First two authors contributed equally to this work. (cid:63)最初の2人の著者がこの作品に等しく貢献した。 0.59
英語(論文から抽出)日本語訳スコア
2 Authors Suppressed Due to Excessive Length 2 長すぎることによる作者の抑制 0.75
The current state-of-the-art (SOTA) SSL is based on pseudo-labelling methods [1, 18], consistency-enforcin g approaches [3, 17, 28], self-supervised and semi-supervised learning (S4L) [6,10,35], and graph-based label propagation [1]. 現在の最新(SOTA)SSLは、擬似ラベリング方法 [1, 18]、一貫性強化アプローチ [3, 17, 28]、自己監視および半監視学習 (S4L) [6,10,35]、グラフベースのラベル伝播[1]に基づいています。 0.64
Pseudo-labelling is an intuitive SSL technique, where confident predictions from the model are transformed into pseudo-labels for the unlabelled data, which are then used to re-train the model [18]. Pseudo-labelling は直感的なSSL技術であり、モデルからの確実な予測を非ラベルデータのための擬似ラベルに変換し、モデル [18] を再トレーニングするために使用される。 0.71
Consistency-enforcin g regularisation is based on training for a consistent output given model [23, 28] or input data [3, 17] perturbations. 一貫性強化正規化は、一貫した出力モデル [23, 28] または入力データ [3, 17] に対するトレーニングに基づいている。 0.75
S4L methods are based on selfsupervised pre-training [5, 13], followed by supervised fine-tuning using few labelled samples [6, 10, 35]. S4L法は, 自己教師付き事前学習 [5, 13] と, ラベル付きサンプル [6, 10, 35] を用いて教師付き微調整を行う。 0.60
Graph-based methods rely on label propagation on graphs [1]. グラフベースの手法はグラフ上のラベルの伝搬に依存する[1]。 0.72
Recently, Yang et al [33] suggested that self-supervision pre-training provides better feature representations than consistency-enforcin g approaches in SSL. 最近、Yang et al [33]は、自己監督プリトレーニングは、SSLの一貫性強化アプローチよりも優れた機能表現を提供すると提案した。 0.42
However, previous S4L approaches use only the labelled data in the fine-tuning stage, missing useful training information present in the unlabelled data. しかし、従来のS4Lアプローチでは、ラベル付きデータのみを使用しており、未ラベルデータに存在する有用なトレーニング情報が欠落している。 0.52
Furthermore, self-supervised pretraining [5, 13] tends to use limited amount of samples to represent each class, but recently, Cai et al [4] showed that better representation can be obtained with an infinite amount of samples. さらに,自己教師付き事前学習 [5, 13] は,各クラスを表現するために限られた量のサンプルを用いる傾向があるが,最近ではcaiらによって,無限量のサンプルでより良い表現が得られることが示された。 0.71
Also, recent research [27] suggests that the student-teacher framework, such as the mean-teacher [28], works better in multi-label semi-supervised tasks than other SSL methods. また,最近の研究[27]では,平均教師[28]のような生徒-教員のフレームワークが,SSLメソッドよりも多ラベル半教師付きタスクに適していることが示唆されている。 0.67
We speculate that this is because other methods are usually designed to work with softmax activation that only works in multi-class problems, while mean-teacher [28] does not have this constraint and can work in multi-label problems. 平均教師[28]はこの制約を持っておらず、マルチラベル問題でも機能するのに対し、他のメソッドは通常、マルチクラス問題でのみ機能するソフトマックスアクティベーションで動作するように設計されているためである。 0.69
In this paper, we propose a self-supervised mean-teacher for semi-supervised (S2MTS2) 本稿では,半監督(S2MTS2)のための自己監督平均教師を提案する。 0.52
learning approach that combines S4L [6, 10, 35] with consistency-enforcin g learning based on the mean-teacher algorithm [28]. 平均教師アルゴリズム[28]に基づくS4L [6, 10, 35]と一貫性強化学習を組み合わせた学習アプローチ。 0.87
The main contribution of our method is the self-supervised mean-teacher pre-training with the joint contrastive learning [4]. 本手法の主な貢献は, 自己指導型平均教師前訓練と, 共同造影学習 [4] である。 0.75
To the best of our knowledge, this is the first approach, in our field, to train the mean teacher model with self-supervised learning. 私たちの知識を最大限に活かすために、これは私たちの分野では、自己監督学習で平均教師モデルを訓練する最初のアプローチです。 0.71
This model is then fine-tuned with semisupervised learning using the exponential moving average teacher framework [28]. このモデルは指数平均教師フレームワーク[28]を使用して半教師付き学習で微調整される。 0.73
We evaluate S2MTS2 on the Chest X-ray14 dataset [32] that contains thorax disease multilabel classification. 胸部疾患のマルチラベル分類を含むChest X-ray14データセット[32]上でS2MTS2を評価する。 0.64
In the benchmark that uses up to 20% of the training set as labelled, we show that our method outperforms the SOTA on semi-supervised learning [1, 23]. 学習セットの最大20%をラベル付きで使用するベンチマークでは,本手法が半教師付き学習のsotaを上回っていることを示す [1, 23]。 0.65
Moreover, we investigate each component of our framework for their contribution to the overall model in the ablation study. さらに, アブレーション研究の全体モデルへの貢献について, フレームワークの各成分について検討した。 0.79
2 Related Works SSL is a research topic that is gaining attention from the medical image analysis community due to the expensive image annotation process [2, 8] and the growing number of large-scale datasets available in the field [32]. 関連作品2件 SSLは、高価な画像アノテーションプロセス [2, 8] と、この分野で利用可能な大規模データセットの増加 [32] により、医療画像分析コミュニティから注目を集めている研究トピックである。 0.79
The current SOTA SSL methods are based on consistency-enforcin g approaches that leverage the unlabelled data to regularise the model prediction consistency [17, 28]. 現在のSOTA SSLメソッドは、モデル予測整合性[17, 28]を正則化するために、乱れのないデータを活用する一貫性強化アプローチに基づいている。 0.63
Li et al [20] use the idea of [17] to regularise the skin lesion segmentation consistency. Li et al [20]は[17]の考えを使用して皮膚病変の区分の一貫性を正規化します。 0.65
Other related papers [9, 34] extend the mean teacher [28] to encourage consistency between the prediction by the student and teacher models for atrium and brain lesion segmentation. その他の関連論文 [9, 34] は平均教師 [28] を拡張し、生徒の予測と心房および脳病変の分節に関する教師モデルとの一貫性を促進する。 0.82
The SOTA SSL method on Chest X-ray images [23] exploits the consistency in the relations between labelled 胸部X線画像のSOTA SSL法[23]はラベル付き関係の整合性を利用する 0.70
英語(論文から抽出)日本語訳スコア
Self-supervised Mean Teacher for Semi-supervised Chest X-ray Classification 半監督胸部X線分類のための自己監督平均教師 0.55
3 Fig. 1: Description of the proposed self-supervised mean-teacher for semi-supervised (S2MTS2) learning. 3 フィギュア。 1:半監督(S2MTS2)学習のための自己監督平均教師の提案の説明。 0.62
The main contribution of the paper resides in the top part of the figure, with the self-supervised mean-teacher pre-training based on joint contrastive learning, which uses an infinite number of pairs of positive query and key features sampled from the unlabelled images to minimise (cid:96)p(.) この論文の主な貢献は図の上部にあり、ジョイントコントラスト学習に基づく自己教師付き平均教師の事前学習は、ラベルなしの画像からサンプリングされた無限個の正のクエリと重要な特徴を使って(cid:96)p(.)を最小化する。 0.78
in (1). This model is then fine-tuned with the exponential moving average teacher in a semi-supervised learning framework that uses both labelled and unlabelled sets to minimise (cid:96)cls(.) (1)である。 このモデルは、ラベル付きと非ラベル付きの両方を使用して(cid:96)cls(.)を最小化する半教師学習フレームワークで指数移動平均教師と微調整されます。 0.72
and (cid:96)con(.) そして(cid:96)con(.) 0.91
in (2). and unlabelled data. (2)に登場。 ラベルのないデータです 0.69
None of these methods explores a self-supervised consistencyenforcing method to pre-train an SSL model, as we propose. 提案手法では,sslモデルを事前学習するための自己教師付き一貫性強化手法は検討されていない。 0.56
Self-supervised learning methods [5, 13] are also being widely investigated in SSL because they can provide good representations [6, 10, 35]. 自己教師付き学習手法 [5, 13] も,優れた表現を提供することができるため,SSL において広く研究されている。 0.83
However, these methods ignore the large amount of unlabelled data to be used during SSL, which may lead to unsatisfactory generalisation process. しかし、これらの手法はSSLで使用する大量の不正データを無視し、不満足な一般化プロセスにつながる可能性がある。 0.64
An important point in self-supervised learning is on how to define the classes to be learned. 自己監督学習の重要なポイントは、学習するクラスをどのように定義するかです。 0.73
In general, each class is composed of a single pair of augmented images from the same image, and many pairs of augmentations from different images [4–6,13,31]. 一般に、各クラスは同一の画像からの1対の増補画像と、異なる画像 [4–6,13,31] からの多くの増補からなる。 0.81
The use of a single pair of images to form a class has been criticised by Cai et al [4], who propose the joint contrastive learning (JCL), which is an efficient way to form a class with an infinite number of augmented images from the same image to leverage the statistical dependency between different augmentations. クラスを形成するために1対のイメージを使用することは、同じイメージから無限個の拡張画像を持つクラスを形成する効率的な方法である統合コントラスト学習(joint contrastive learning, jcl)を提案するcai et al [4]によって批判されている。 0.69
Our self-supervised learning is based on the idea JCL [4]. 自己監督学習はjcl[4]の考え方に基づいている。 0.68
3 Method In this section, we introduce our two-stage learning framework in detail (see Fig 1). 3 方法 このセクションでは、2段階学習フレームワークについて詳しく説明します(図1参照)。 0.80
We assume that we have a small labelled dataset, denoted by DL = {(xi, yi)}|DL| i=1 , DL = {(xi, yi)}|DL| i=1 で表される小さなラベル付きデータセットがあると仮定する。 0.78
英語(論文から抽出)日本語訳スコア
4 Authors Suppressed Due to Excessive Length Y represents the label set. 4 著者 過剰な長さのために抑制された Y はラベル セットを表します。 0.59
We consider a multi-label problem and thus(cid:80)|Y| where the image is represented by x ∈ X ⊂ RH×W×C, and class y ∈ {0, 1}|Y|, where c=1 yi(c) ∈ [0,|Y|]. 多重ラベル問題を考えると、(cid:80)|Y| ここで像は x ∈ X は RH×W×C で表され、類 y ∈ {0, 1}|Y| は c=1 yi(c) ∈ [0,|Y|] で表される。 0.85
The unlabelled dataset is defined by DU = {xi}|DU| i=1 with |DL| << |DU|. ラベルなしデータセットは DU = {xi}|DU| i=1 で |DL| << |DU| で定義される。 0.70
Our model consists of a student and a teacher model [28], denoted by parameters θ, θ(cid:48) ∈ Θ, respectively, which parameterize the classifier fθ : X → [0, 1]|Y|. 我々のモデルは、それぞれパラメータ θ と θ(cid:48) ∈ > で表される生徒と教師モデル [28] から構成され、分類器 fθ : X → [0, 1]|Y| をパラメータ化する。 0.88
This classifier can be decomposed as fθ = hθ1 ◦ gθ2, with gθ2 : X → Z and hθ1 : Z → [0, 1]|Y|. この分類器は fθ = hθ1 > gθ2 と gθ2 : X → Z と hθ1 : Z → [0, 1]|Y| と分解できる。 0.81
(cid:83)DU}|DX | The first stage (top of Fig 1) of the training consists of a self-supervised learning that uses the images from DL and DU , denoted by DX = {xi|xi ∈ DX i=1 , with DX L representing the images from the set DL, where our method minimises the joint L contrastive learning loss [4], defined in (1). (cid:83)DU}|DX | トレーニングの最初の段階(図1の上部)は、DX = {xi|xi ∈ DX i=1 で示されるDLとDUの画像を使用する自己監督学習で構成され、DX L はセットされたDLの画像を表す。
訳抜け防止モード: (cid:83)DU}|DX | 第1段階(図1の上部)は、DLとDUの画像を用いた自己教師あり学習である。 DX = { xi|xi ∈ DX i=1 で表され、DX L は集合 DL の画像を表す。 ここでは、(1 )で定義された L との対比学習損失 [4 ] を最小化する。
0.82
This means that during this first stage, we only learn the parameters for gθ2. つまり、この最初の段階では、gθ2 のパラメータしか学ばないということです。 0.61
The second stage (bottom of Fig 1) fine-tunes this pre-trained student-teacher model using the semi supervised consistency loss defined in (2). 第2段階(図1)は、2で定義された半監督整合性損失を使用して、この事前訓練された学生教師モデルを微調整する。 0.57
Below we provide details on the losses and training. 以下は、損失とトレーニングの詳細である。 0.69
log 3.1 Joint Contrastive Learning to Self-supervise the Mean-teacher Pre-training The self-supervised pre-training of the mean-teacher using joint contrastive learning (JCL) [4], presented in this section, is the main technical contribution of this paper. ログ 3.1 自己教師前訓練の自己監督のための共同コントラスト学習 共同コントラスト学習(JCL)を用いた平均教師の自己監督前訓練 [4] このセクションでは、この論文の主な技術的貢献です。 0.73
The teacher and student process an input image to return the keys k ∈ Z and the queries q ∈ Z with k = gθ(cid:48) (x) and q = gθ2(x). 教師と生徒は入力画像を処理してキー k ∈ Z とクエリ q ∈ Z を k = gθ(cid:48) (x) と q = gθ2(x) で返す。 0.87
We also assume that we have a 2 set of augmentation functions, i.e., random crop and resize, rotation and Gaussian blur, denoted by A = {al : X → X}|A| (cid:34) (cid:3)(cid:35) exp(cid:2) 1 (cid:3) l=1. また、a = {al : x → x}|a| (cid:34) (cid:3) (cid:35) exp(cid:2) 1 (cid:3) l=1 で表される2組の加法関数、すなわちランダム作物とリサイズ、回転とガウスのぼやけを持つと仮定する。 0.75
Then JCL minimises the following loss [4, 25]: |DX |(cid:88) M(cid:88) (cid:3) +(cid:80)K exp(cid:2) 1 j=1 exp(cid:2) 1 τ q(cid:62) i k+ (cid:96)p(DX , θ2, θ(cid:48) 2) = − 1 1 i,m |DX| i k− τ q(cid:62) τ q(cid:62) i k+ M i,j i,m m=1 i=1 (1) where τ is the temperature hyper-parameter, the query qi = gθ2(a(xi)), with a ∈ A. i ) = N (µki, Σki) and ki = gθ(cid:48) i,m ∼ p(k+ i ), with p(k+ the positive key k+ (a(xi)) (i.e., i,j ∈ a sample from the data augmentation distribution for x), and the negative keys k− 2 {µkj}i,j∈{1,..,|DX |},i(cid:54)=j represents a negative key for query qi. Then JCL minimises the following loss [4, 25]: |DX |(cid:88) M(cid:88) (cid:3) +(cid:80)K exp(cid:2) 1 j=1 exp(cid:2) 1 τ q(cid:62) i k+ (cid:96)p(DX , θ2, θ(cid:48) 2) = − 1 1 i,m |DX| i k− τ q(cid:62) τ q(cid:62) i k+ M i,j i,m m=1 i=1 (1) where τ is the temperature hyper-parameter, the query qi = gθ2(a(xi)), with a ∈ A. i ) = N (µki, Σki) and ki = gθ(cid:48) i,m ∼ p(k+ i ), with p(k+ the positive key k+ (a(xi)) (i.e., i,j ∈ a sample from the data augmentation distribution for x), and the negative keys k− 2 {µkj}i,j∈{1,..,|DX |},i(cid:54)=j represents a negative key for query qi. 0.97
In (1), M denotes the number of positive keys, and Cai et al [4] describe a loss that minimises a bound to (1) for M → ∞ – below, the minimisation of (cid:96)p(.) 1) では、M は正のキーの数を表し、Cai et al [4] は、(1) に対して M → ∞ – の下では (cid:96)p(.) の最小化を最小化する損失を記述している。 0.81
in (1) is realised by the minimisation of this bound. in (1) は、この境界の最小化によって実現される。 0.68
As defined above, the generative model p(k+ i ) is denoted by the Gaussian N (µki, Σki ), where the mean µki and covariance Σki are estimated from a set of keys {k+ (al(xi))}al∈A formed by different views of xi. 上述したように、生成モデル p(k+ i ) はガウス N (μki, Σki ) で表され、平均 μki と共分散 Σki は xi の異なるビューで形成されたキー {k+ (al(xi))} の集合から推定される。 0.89
The set of negative keys i,l = gθ(cid:48) {µkj}i,j∈{1,..,|DX |},i(cid:54)=j is stored in a memory queue [13] that is updated in a first-in2 first-out way, where the mean of the keys in {µki}|DX | i=1 are inserted to the memory queue to replace the oldest key means from previous training iterations. 負のキー i,l = gθ(cid:48) {μkj}i,j∂{1,..,|DX |},i(cid:54)=j のセットは、最初のin2で更新されたメモリキュー[13]に格納される。
訳抜け防止モード: ネガティブキーのセット。 i, l = g*(cid:48 ) μkj}i, j∈{1, ..,|DX |},i(cid:54)=jはメモリキュー [13 ] に格納され、最初の - in2 - out way で更新される。 μki}|DX | i=1 のキーの平均をメモリキューに挿入する。 過去の訓練の反復から最も古い重要な手段を取り替えるために。
0.79
The memory queue has been designed to increase the number of negative samples without sacrificing computation efficiency. メモリキューは、計算効率を犠牲にすることなく、負のサンプル数を増やすように設計されている。
訳抜け防止モード: メモリキューは 計算効率を犠牲にすることなく、負のサンプル数を増加させる。
0.75
The training of the student-teacher model [13, 28, 36] is achieved by updating the student parameter using the loss in (1), as in θ2(t) = θ2(t − 1) − ∇θ2(cid:96)p(DX , θ2, θ(cid:48) 2), where t is the training iteration. 学生-教師モデル [13, 28, 36] の訓練は θ2(t) = θ2(t − 1) − θ2(cid:96)p(dx , θ2, θ(cid:48) 2) のように(1) の損失を用いて学生パラメータを更新することで達成される。 0.83
The teacher model parameter is updated with exponen2(t − 1) + (1 − α)θ2(t), with α ∈ [0, 1]. 教師モデルパラメータは、α ∈ [0, 1] を持つ exponen2(t − 1) + (1 − α)θ2(t) で更新される。 0.90
tial moving average (EMA) with θ(cid:48) θ(cid:48)による潮位移動平均(EMA) 0.80
2(t) = αθ(cid:48) 2(t) = α(cid:48) 0.95
, , 0.85
英語(論文から抽出)日本語訳スコア
Self-supervised Mean Teacher for Semi-supervised Chest X-ray Classification 半監督胸部X線分類のための自己監督平均教師 0.55
5 For this pre-training stage, we notice that training for more epochs always improve the model regularisation given that it is difficult to overfit the training set with the loss in (1). 5 この事前学習の段階では,(1)の損失を伴ってトレーニングセットに過度に適合することが困難であるため,よりエポックなトレーニングが常にモデル正規化を改善することに気付く。 0.82
Hence, we select the last epoch student model gθ2(.) したがって、最後のエポックな学生モデル gθ2() を選択する。 0.70
to initialise the fine-tuning stage, defined below in Sec. 下記のSecで定義されている微調整ステージを初期化する。 0.55
3.2. 3.2 Fine-tuning the Mean Teacher To fine tune the mean teacher, we follow the approach in [13, 28] using the following (cid:88) loss to train the student model: (cid:96)t(DL,DU , θ, θ(cid:48)) = 1 |DL| (cid:96)con(fθ(xi), fθ(cid:48)(xi)), (xi,yi)∈DL (cid:83)DX (2) log(fθ(xi)), (cid:96)con(fθ(xi), fθ(cid:48)(xi)) = (cid:107)fθ(xi)−fθ(cid:48)(xi)(cid:107 )2, where (cid:96)cls(yi, fθ(xi)) = −y(cid:62) and D = DU i L . 3.2. 3.2 平均教師の微調整 平均教師を微調整するために、次の(cid:88)損失を使用して学生モデルを訓練する[13, 28]のアプローチに従います。(cid:96)t(DL,DU 、(cid:48)) = 1 |DL|(cid:96)con(f*(xi),f *(cid:48)(xi)),(xi,y i)∈DL(cid:83)DX(2) log(f*(xi)),(cid:96) con(f*(xi),f*(cid:48 )(xi) = (cid:107)f(xi)−f*(cid:48)(xi)(cid:1 07) ここで、(cid:96)(y)=(y)=(y)=(y)= DU(y)= DU(xi)とL。 0.77
The training of the student-teacher model [13, 28, 36] is achieved by updating the student parameter using the loss in (2), as in θ(t) = θ(t − 1) − ∇θ(cid:96)t(DL,DU , θ, θ(cid:48)), where t is the training iteration. 学生教師モデルの訓練 [13, 28, 36] は、t が訓練の反復である s(t) = s(t − 1) − s(cid:96)t(DL,DU , s, s(cid:48)) のように、(2) の損失を用いて学生パラメータを更新することによって達成される。 0.81
The teacher model parameter is updated with exponential moving average (EMA) with θ(cid:48)(t) = αθ(cid:48)(t−1)+(1−α)θ(t), with α ∈ [0, 1]. 教師モデルパラメータは θ(cid:48)(t) = αθ(cid:48)(t−1)+(1−α)θ(t) と α ∈ [0, 1] の指数移動平均 (ema) で更新される。 0.89
After finishing the fine-tuning stage, we select the teacher model fθ(cid:48)(.) 微調整段階を終えた後、教師モデル fθ(cid:48)() を選択する。 0.70
to estimate the multi-label classification for test images. 試験画像の複数ラベル分類を推定します。 0.83
(cid:88) xi∈D (cid:88) xi∈D 0.65
(cid:96)cls(yi, fθ(xi))+ (cid:96)cls(yi, fθ(xi))+ 0.97
1 |D| 4 Experiment 4.1 Dataset Setup We use Chest X-ray14 [32] to evaluate our method. 1 |D| 4 Experiment 4.1 Dataset Setup Chest X-ray14 [32]を使用してメソッドを評価します。 0.71
The dataset contains 112,120 chest x-ray images from 30,805 different patients. データセットには30,805人の異なる患者の胸部X線画像112,120枚が含まれている。 0.44
There are 14 different labels (each label represents a disease) in the dataset, where each patient can have multiple diseases at the same time, forming a multi-label classification problem. データセットには14の異なるラベル(各ラベルは疾患を表す)があり、各患者は同時に複数の疾患を患うことができ、複数のラベルの分類問題を形成する。 0.82
To compare with previous papers [1, 23], we adopt the official train/test data split. 以前の論文 [1, 23] と比較して, 公式の列車/テストデータ分割を採用する。 0.78
For the self-supervised pretraining of the mean teacher, we used all the unlabelled images (86k samples) from the training set. 平均教師の自己指導型事前訓練では, トレーニングセットの未学習画像(86kサンプル)を全て使用した。 0.77
For the semi-supervised fine-tuning of the mean teacher, we follow the papers [1, 23] and experiment with training sets containing different proportions of labelled data (2%,5%,10%,15%,20%). 平均教師の半教師による微調整については, [1,23] 論文に従い,ラベル付きデータの比率の異なるトレーニングセット(2%,5%,10%,15%,20%)を用いて実験を行った。 0.81
We report the classification result on the official test set (26k samples) using area under the ROC curve (AUC). ROC曲線(AUC)下の領域を用いて、公式試験セット(26kサンプル)の分類結果を報告します。 0.77
Implementation Details 4.2 We use the DenseNet-121 [15] as our backbone model, similarly to [14,32]. 実施内容 4.2 DenseNet-121[15]をバックボーンモデルとして使用します。 0.53
We resized the original images from 1024 × 1024 to 512 × 512 for faster processing. 元の画像を1024×1024から512×512にリサイズして処理を高速化しました。 0.66
For the selfsupervised pre-training of the mean teacher, we use the data augmentation proposed in [5], consisting of random resize and crop, random rotation, and random horizontal flipping, except for the random grayscale because the X-ray images are originally in grayscale. 平均教師の自己監督前訓練には、X線画像がもともとグレースケールであるため、ランダムグレースケールを除いて、ランダムな再サイズと作物、ランダムな回転、ランダムな水平反転からなる[5]で提案されたデータ増強を使用します。 0.73
We use Adam optimiser and learning rate of 0.03. 我々はAdam optimiserと学習率0.03を使用します。 0.71
Furthermore, we follow Chen et al ’s discovery [6] and replace the projection head from a two-layer multi-layer さらに、Chen et alの発見[6]に従い、2層の多層層から投影ヘッドを置き換えます。 0.66
英語(論文から抽出)日本語訳スコア
6 Authors Suppressed Due to Excessive Length 6 長すぎることによる作者の抑制 0.75
perceptron (MLP) [5] to a three-layer MLP. perceptron (MLP) [5] to a three-layer MLP. 0.98
The pre-training stage takes 100 epochs, the batch size is set to 16, and learning rate is 0.05. 事前トレーニング段階は100エポックかかり、バッチサイズは16に設定され、学習率は0.05です。 0.74
The fine-tuning takes 30 epochs with learning rate decayed by 0.1 at 15, 25 epochs. 微調整は30エポック、学習速度は15,25エポックで0.1低下する。 0.69
The whole code is written in Pytorch. コード全体はpytorchで書かれている。 0.76
We use 4 Nvidia Volta-100 for the self-supervised stage and 1 Nvidia RTX 2080ti for fine-tuning. 自己監督ステージにはnvidia volta-100、4チューニングにはnvidia rtx 2080tiを使用します。
訳抜け防止モード: Nvidia Volta-100を4台使用 そして1台のNvidia RTX 2080tiを微調整。
0.83
4.3 Experimental Results In this section, we show the semi-supervised experimental results on ChestX-ray14. 4.3 実験結果 この節では, ChestX-ray14 の半教師付き実験結果を示す。 0.70
We evaluate our approach based on different percentage of labelled data (i.e., 2%, 5%, 10%, 15%, 20%) on the official test set, as shown in Table 1. 表1に示すように、公式テストセットのラベル付きデータ(すなわち、2%、5%、10%、15%、20%)の異なる割合に基づいて、私たちのアプローチを評価します。 0.74
The set of labelled data used for each percentage above follows the same strategy of previous works [1,23]. 上記のパーセンテージごとに使用されるラベル付きデータのセットは、以前の作品と同じ戦略に従っている [1,23]。 0.67
Our S4L achieves the SOTA AUC results on all different percentages of labels. 我々のS4Lは、ラベルの全ての異なるパーセンテージでSOTA AUC結果を達成する。 0.62
Our model surpasses the previous SOTA SRC-MT [23] by a large margin of 8.7% and 6.8% AUC gap for the 2% and 5% labelled set cases, respectively, where we use a backbone architecture of lower complexity (Densenet121 instead of the DenseNet169 of [23]). 我々のモデルは,従来のSOTA SRC-MT[23]を,2%と5%のラベル付きセットケースでそれぞれ8.7%と6.8%のAUCギャップで上回り,低複雑性のバックボーンアーキテクチャ([23]のDenseNet169の代わりにDensenet121)を使用する。 0.80
Using the same Densenet121 backbone, GraphXnet [1] fails to classify precisely for the 2% and 5% labelled set cases. 同じDensenet121バックボーンを使用して、GraphXnet [1]は2%と5%のラベル付きセットケースを正確に分類できない。 0.71
Our method surpasses GraphXnet by more than 20% AUC gap in both cases. どちらの場合も,GraphXnetを20%以上のAUCギャップで上回ります。 0.62
Furthermore, we achieve the SOTA results of the field for the 10%, 15% and 20% labelled set cases, outperforming all previous semi-supervised methods [1, 23]. さらに, 10%, 15%, 20%のラベル付き集合の場合において, 従来の半教師付き手法 [1, 23] を上回り, sota結果を得た。 0.59
It is worth noting that our model trained with 5% of the labelled set achieves better results than SRC-MT with 15% of labelled.We also compare with a recently proposed selfsupervised methods, MoCo V2 [7], adapted to our semi-supervised task, using MoCo V2 to pretrain the network followed by the fine-tuning stage using different percentages of labelled data. ラベル付集合の5%でトレーニングしたモデルでは,ラベル付集合の15%でSRC-MTよりも優れた結果が得られることに注意が必要だ。また,最近提案された自己教師付き手法であるMoCo V2[7]を半教師付きタスクに適用し,MoCo V2を用いてネットワークの事前トレーニングを行い,ラベル付データの異なるパーセンテージを用いて微調整段階に到達した。 0.65
Our method outperforms MoCo V2 by almost 10% AUC when using 2% of labelled set, and almost 3% AUC for 10% of labelled set. 本手法はラベル付き集合の2%,ラベル付き集合の10%に対して約3%のaucを用いて,moco v2を約10%aucで上回っている。
訳抜け防止モード: 2 %のラベル付き集合を用いる場合,MoCo V2 は AUC で約 10 % 向上する。 約3 % AUC for 10 % of labeled set。
0.77
Our result for 20% labelled set achieves comparable 81.06% AUC performance as the supervised learning approaches – 81.20% from MoCo V2 (Densenet 121) and 81.75% from SRC-MT (Densenet 169) using 100% of the labelled samples. ラベル付きセットの20%は、教師付き学習手法であるMoCo V2(Densenet 121)の81.20%、SRC-MT(Densenet 169)の81.75%に匹敵する81.06%のAUC性能を実現した。 0.77
Such result indicates the effectiveness of our proposed S2MTS2 in SSL benchmark problems. その結果,SSLベンチマーク問題におけるS2MTS2の有効性が示唆された。 0.60
We also show the class-level performance using 20% of the labelled data and compare with other SOTA methods in Tab. また、ラベル付きデータの20%を用いてクラスレベルの性能を示し、Tabの他のSOTA手法と比較する。 0.64
2. We compare with the previous baselines, namely original mean teacher (MT) with Densenet169, SRC-MT with Densenet169, MoCo V2, and GraphXNet with Densenet121. 2. 従来のベースラインであるDensenet169のオリジナル平均教師(MT)、Densenet169のSRC-MT、MoCo V2、Densenet121のGraphXNetと比較します。
訳抜け防止モード: 2. Densenet169と、従来のベースライン、すなわち、最初の平均教師(MT)を比較した。 SRC - MT with Densenet169, MoCo V2, GraphXNet with Densenet121 .
0.83
We also train a baseline Densenet121 model with 20% labelled data using Imagenet pre-trained model. また、Imagenet事前学習モデルを用いて20%ラベル付きデータを持つベースラインDensenet121モデルをトレーニングする。 0.67
Our method achieves the best results on nine classes, surpassing the original MT [28] and its extension SRCMT [23] by a large margin, demonstrating the effectiveness of our self-supervised learning. 本手法は,mt [28] とその拡張scmt [23] を高いマージンで上回り,自己教師付き学習の有効性を示す9つのクラスで最高の結果を得た。 0.77
Furthermore, we compare our approach on the fully-supervised Chest X-ray14 benchmark in Tab. さらに,完全教師付き胸部x-ray14ベンチマークをtabで比較した。 0.57
3. To the best of our knowledge, Hermoza et al [14] has the SOTA supervised classification method containing a complex structure (relying on the weaklysupervised localisation of lesions) with a mean AUC of 82.1% (over the 14 classes), while ours reports a mean AUC of 82.5%. 3. 私たちの知識を最大限に活用するために、Hermoza et al [14]は、82.1%の平均AUC(14クラス以上)と、82.5%の平均AUCを含む複雑な構造を含むSOTA監督分類方法を持っています。 0.76
Hence, our model, using the whole labelled set, achieves the SOTA performance on 8 classes and an average that surpasses the previous supervised methods by a minimum of 0.4% and a maximum of 8% AUC. そこで,本モデルでは,ラベル付き集合全体のSOTA性能を8クラスで達成し,従来の教師付き手法を0.4%,最大8%のAUCで上回る平均値を得た。 0.72
This indicates that our method not only performs well on semi-supervised tasks but このことは,本手法が半教師付きタスクにのみ有効であることを示している。 0.41
英語(論文から抽出)日本語訳スコア
Self-supervised Mean Teacher for Semi-supervised Chest X-ray Classification 半監督胸部X線分類のための自己監督平均教師 0.55
7 Label Percentage 2% 5% 10% 15% 20% 100% Graph XNet [1] 53.00 58.00 63.00 68.00 78.00 N/A SRC-MT* [23] 66.95 72.29 75.28 77.76 79.23 81.75 MOCO V2 [7] 65.97 73.84 77.07 79.37 80.17 81.20 75.69 78.96 79.90 80.31 81.06 82.51 7 Label Percentage 2% 10% 10% 100% Graph XNet [1] 53.00 58.00 63.00 68.00 N/A SRC-MT* [23] 66.95 72.29 75.28 77.76 79.23 81.75 MOCO V2 [7] 65.97 73.84 77.07 79.37 80.17 81.20 75.69 79.90 80.31 81.06 82.51 0.76
Ours Table 1: Mean AUC result (over the 14 disease classes) for different label set training percentages. 我々の 表1: 異なるラベルセットのトレーニングパーセンテージに対するAUCの結果(14以上の疾患クラス)。 0.67
* indicates the methods that use Densenet169 as backbone architecture. * バックボーンアーキテクチャとして densenet169 を使用するメソッドを示す。 0.72
Fig. 2: Examples of classification by our model (trained with 20% labelled data) on Chest X-ray14 [32] images. フィギュア。 2:胸部x線14[32]画像におけるモデルによる分類例(20%ラベル付きデータで訓練)。 0.61
Red indicates the ground truth label. 赤は真実のラベルを表す。 0.73
Method Atelectasis Cardiomegaly Effusion Infiltration Mass Nodule Pneumonia Pneumothorax Consolidation Edema Emphysema Fibrosis Pleural Thicken Hernia Mean 心肺気胸統合性浮腫浮腫性線維症多発性胸膜ヘルニア平均の1例 0.64
75.75 80.71 79.87 69.16 78.40 74.49 69.55 84.70 71.85 81.61 89.75 79.30 73.46 86.05 78.19 75.75 80.71 79.87 69.16 78.40 74.49 69.55 84.70 71.85 81.61 89.75 79.30 73.46 86.05 78.19 0.41
75.38 87.7 81.58 70.4 78.03 73.64 69.27 86.12 73.11 82.94 88.98 79.22 75.63 87.27 79.23 75.38 87.7 81.58 70.4 78.03 73.64 69.27 86.12 73.11 82.94 88.98 79.22 75.63 87.27 79.23 0.41
Densenet-121 GraphXNet [1] MOCO V2 [7] MT [23] * SRC-MT [23] * Ours 78.57 88.08 82.87 70.68 82.57 76.60 72.25 86.55 75.47 84.83 91.88 81.73 76.86 85.98 81.06 Densenet-121 GraphXNet [1] MOCO V2 [7] MT [23] * SRC-MT [23] * Ours 78.57 88.08 82.87 70.68 82.57 76.60 72.25 86.55 75.47 84.83 91.88 81.73 76.86 85.98 81.06 0.60
75.12 87.37 80.81 70.67 77.72 73.27 69.17 85.63 72.51 82.72 88.16 78.24 74.43 87.74 78.83 75.12 87.37 80.81 70.67 77.72 73.27 69.17 85.63 72.51 82.72 88.16 78.24 74.43 87.74 78.83 0.41
71.89 87.99 79.2 72.05 80.9 71.13 76.64 83.7 73.36 80.2 84.07 80.34 75.7 87.22 78.88 71.89 87.99 79.2 72.05 80.9 71.13 76.64 83.7 73.36 80.2 84.07 80.34 75.7 87.22 78.88 0.41
77.21 85.84 81.62 70.91 81.71 76.72 71.08 85.92 74.47 83.57 91.10 80.96 75.65 85.62 80.17 77.21 85.84 81.62 70.91 81.71 76.72 71.08 85.92 74.47 83.57 91.10 80.96 75.65 85.62 80.17 0.41
Table 2: Class-level AUC comparison between our S2MTS2 and other semi-supervised SOTA approaches trained with 20% of labelled data. 表2: ラベル付きデータの20%をトレーニングしたS2MTS2と他の半教師付きSOTAアプローチのクラスレベルのAUC比較。 0.61
* denotes the methods that use Densenet-169 as backbone. * densenet-169 をバックボーンとして使用するメソッドを表す。 0.66
also achieves SOTA results on supervised learning. また、教師付き学習で SOTA 結果を達成します。 0.52
In Fig 2, we show some examples of predictions by our model (trained with 20% labelled data) on the test set of Chest X-ray14 [32]. 図2では、チェストX線14[32]のテストセット上で、我々のモデルによる予測(20%ラベル付きデータで訓練された)の例を示す。 0.72
4.4 Ablation Study We study the impact of different components of our proposed S2MTS2 in Tab. 4.4 タブにおけるS2MTS2の異なる成分の影響について検討した。 0.67
4. Using the proposed self-supervised learning with just the student model, our model achieves 4. 学生モデルのみを用いた自己指導型学習モデルの構築 0.75
英語(論文から抽出)日本語訳スコア
8 Authors Suppressed Due to Excessive Length 8 長すぎることによる作者の抑制 0.75
Method Atelectasis Cardiomegaly Effusion Infiltration Mass Nodule Pneumonia Pneumothorax Consolidation Edema Emphysema Fibrosis Pleural Thicken Hernia Mean 心肺気胸統合性浮腫浮腫性線維症多発性胸膜ヘルニア平均の1例 0.64
Wang et al [32] Li et al [21] CheXNet [26] CRAL [12] Ma et al [24] Hermoza et al [14] Ours 78.7 87.4 83.8 70.9 83.3 79.9 73.9 87.1 75.9 84.5 93.7 83.4 79.3 93.3 82.5 Table 3: Class-level AUC comparison between our S2MTS2 and other supervised SOTA approaches trained with 100% of labelled data. Wang et al [32] Li et al [21] CheXNet [26] CRAL [12] Ma et al [24] Hermoza et al [14] Ours 78.7 87.4 83.8 70.9 83.3 79.9 73.9 87.1 75.9 84.5 93.4 83.3 93.3 93.3 82.5 Table 3: S2MTS2とラベル付きデータの100%で訓練された他の教師付きSOTAアプローチ間のクラスレベルのAUC比較。 0.67
75.5 86.7 81.5 69.4 80.2 73.5 69.8 82.8 72.2 83.5 85.6 80.3 74.9 89.4 78.9 75.5 86.7 81.5 69.4 80.2 73.5 69.8 82.8 72.2 83.5 85.6 80.3 74.9 89.4 78.9 0.41
78.1 88.3 83.1 69.7 83 76.4 72.5 86.6 75.8 85.3 91.1 82.6 78 91.8 81.6 78.1 88.3 83.1 69.7 83 76.4 72.5 86.6 75.8 85.3 91.1 82.6 78 91.8 81.6 0.45
77.7 89.4 82.9 69.6 83.8 77.1 72.2 86.2 75 84.6 90.8 82.7 77.9 93.4 81.7 77.7 89.4 82.9 69.6 83.8 77.1 72.2 86.2 75 84.6 90.8 82.7 77.9 93.4 81.7 0.43
77.5 88.1 83.1 69.5 82.6 78.9 74.1 87.9 74.7 84.6 93.6 83.3 79.3 91.7 82.1 77.5 88.1 83.1 69.5 82.6 78.9 74.1 87.9 74.7 84.6 93.6 83.3 79.3 91.7 82.1 0.41
72.9 84.6 78.1 67.3 74.3 75.8 63.3 79.3 72 71 75.1 76.1 73 66.8 73.9 72.9 84.6 78.1 67.3 74.3 75.8 63.3 79.3 72 71 75.1 76.1 73 66.8 73.9 0.47
70 81 75.9 66.1 69.3 66.9 65.8 79.9 70.3 80.5 83.3 78.6 68.4 87.2 74.5 70 81 75.9 66.1 69.3 66.9 65.8 79.9 70.3 80.5 83.3 78.6 68.4 87.2 74.5 0.45
Self-supervised JCL MT AUC (2%) AUC (5%) AUC (10%) AUC (15%) AUC (20%) 80.14 80.62 80.57 81.06 JCL MT AUC (2%) AUC (5%) AUC (10%) AUC (15%) AUC (20%) 80.14 80.62 80.57 81.06 0.94
72.95 73.60 74.80 75.69 72.95 73.60 74.80 75.69 0.45
79.28 79.83 79.70 80.31 79.28 79.83 79.70 80.31 0.45
76.82 77.46 77.66 78.96 76.82 77.46 77.66 78.96 0.45
78.54 79.18 79.08 79.90 78.54 79.18 79.08 79.90 0.45
(cid:88) (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) 0.73
(cid:88) (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) 0.73
Table 4: Ablation studies of our method with different components. 表4: 異なる成分を用いた方法のアブレーション研究。 0.81
”Self-supervised” indicates the traditional self-supervised learning with contrastive loss [5]. 自己指導型」とは,従来の自己指導型学習と対照的な損失[5]を指す。 0.53
”JCL” replaces contrastive loss with (1), ”MT” stands for fine-tuned with student-teacher learning instead only fine-tuned on only labelled samples. 対比損失を(1)に置き換える「JCL」は、ラベル付きサンプルだけで微調整する代わりに、学生教師の学習で微調整される「MT」の略です。 0.63
at least 72.95% mean AUC on various percentages of labelled training data. 少なくとも72.95%は、ラベル付きトレーニングデータの様々な割合でAUCを意味する。 0.58
Adding the JCL component improves the baseline by around 1% mean AUC on each training percentage. JCLコンポーネントを追加することで、トレーニングパーセンテージ毎の平均AUCが約1%向上する。 0.79
Adding the mean teacher boosts the result by 1.5% to 2% mean AUC on each training percentage. 平均的な教師を追加することで、各訓練率で1.5%から2%の平均aucが向上する。 0.62
The combination of all our proposed three components achieves SOTA performance on semi-supervised task. 提案する3つのコンポーネントの組み合わせは,半教師付きタスク上でのSOTA性能を実現する。 0.54
5 Conclusion In this paper, we presented a novel semi-supervised framework, the Self-supervised Mean Teacher for Semi-supervised (S2MTS2) learning. 5 結論本論文では,S2MTS(Self-supervis ed Mean Teacher for Semi-supervised (S2MTS2)ラーニングという,新しい半教師フレームワークを提示した。 0.57
The main contribution of S2MTS2 is the self-supervised mean teacher pre-trained based on joint contrastive learning [4], using an infinite number of pairs of positive query and key features. S2MTS2の主な貢献は、無数の肯定的なクエリと重要な特徴を用いて、共同コントラスト学習に基づく教師付き平均教師である[4]。 0.69
This model is then fine-tuned with the exponential moving average teacher framework. このモデルは指数移動平均教師フレームワークで微調整されます。 0.75
S2MTS2 is validated on the thorax disease multi-label classification problem from the dataset Chest X-ray14 [32]. S2MTS2は、データセットChest X-ray14 [32]から胸骨疾患マルチラベル分類問題で検証されます。 0.65
The experiments show that our method outperforms the previous SOTA semi-supervised learning methods by a large margin in all benchmarks containing a varying percentage of labelled data. 実験の結果,従来のSOTA半教師付き学習法より,ラベル付きデータの割合の異なる全ベンチマークで大きなマージンで上回る結果を得た。 0.63
We also show that the method holds the SOTA results on Chest X-ray14 [32] even for the fully-supervised problem. また,チェストX線14[32]上のSOTA結果を完全監視問題でも保持していることを示した。 0.63
The ablation study アブレーション研究は 0.69
英語(論文から抽出)日本語訳スコア
Self-supervised Mean Teacher for Semi-supervised Chest X-ray Classification 半監督胸部X線分類のための自己監督平均教師 0.55
9 shows the importance of three main components of the method, namely self-supervised learning, JCL, and the mean-teacher model. 9 メソッドの3つの主要なコンポーネント、すなわち自己監督学習、JCL、平均教師モデルの重要性を示しています。 0.79
We will investigate the performance of our method on other semi-supervised medical imaging benchmarks in the future. 将来的には、他の半監督医療画像ベンチマークでこの方法のパフォーマンスを調べます。 0.56
References 1. Aviles-Rivero, A.I., Papadakis, N., Li, R., Sellars, P., Fan, Q., Tan, R.T., Sch¨onlieb, C.B. 参照1。 Aviles-Rivero, A.I., Papadakis, N., Li, R., Sellars, P., Fan, Q., Tan, R.T., Sch sonlieb, C.B. 0.78
: Graphxnet - chest x-ray classification under extreme minimal supervision. : Graphxnet - 極端に最小限の監督の下で胸部X線分類。 0.64
arXiv preprint arXiv:1907.10085 (2019) 2. arXiv preprint arXiv:1907.10085 (2019) 2。 0.81
Bai, W., et al : Semi-supervised learning for network-based cardiac mr image segmentation. Bai, W., et al : ネットワーク型心臓MRI画像分割のための半教師あり学習 0.76
In: International Conference on Medical Image Computing and Computer-Assisted Intervention. In: International Conference on Medical Image Computing and Computer-Assisted Intervention 0.86
pp. 253–260. pp. 253–260. 0.78
Springer (2017) 3. Springer (2017) 3。 0.83
Berthelot, D., Carlini, N., Cubuk, E.D., Kurakin, A., Sohn, K., Zhang, H., Raffel, C.: Remixmatch: Semi-supervised learning with distribution alignment and augmentation anchoring. Berthelot, D., Carlini, N., Cubuk, E.D., Kurakin, A., Sohn, K., Zhang, H., Raffel, C.: Remixmatch: Semi-supervised Learning with Distribution alignment and augmentation anchoring。 0.92
arXiv preprint arXiv:1911.09785 (2019) 4. arXiv preprint arXiv:1911.09785 (2019) 4。 0.81
Cai, Q., Wang, Y., Pan, Y., Yao, T., Mei, T.: Joint contrastive learning with infinite possibilities. Cai, Q., Wang, Y., Pan, Y., Yao, T., Mei, T.: 無限の可能性を持った共同コントラスト学習。 0.90
arXiv preprint arXiv:2009.14776 (2020) 5. arXiv preprint arXiv:2009.14776 (2020) 5 0.87
Chen, T., Kornblith, S., Norouzi, M., Hinton, G.: A simple framework for contrastive learning of visual representations. Chen, T., Kornblith, S., Norouzi, M., Hinton, G.: 視覚表現のコントラスト学習のためのシンプルなフレームワーク。 0.86
In: International conference on machine learning. In: 機械学習に関する国際会議。 0.82
pp. 1597–1607. pp. 1597–1607. 0.78
PMLR (2020) 6. PMLR (2020) 6。 0.79
Chen, T., Kornblith, S., Swersky, K., Norouzi, M., Hinton, G.: Big self-supervised models are strong semi-supervised learners. Chen, T., Kornblith, S., Swersky, K., Norouzi, M., Hinton, G.: 大きな自己監督モデルは、強力な半教師付き学習者です。 0.80
arXiv preprint arXiv:2006.10029 (2020) 7. arXiv preprint arXiv:2006.10029 (2020) 7 0.87
Chen, X., Fan, H., Girshick, R., He, K.: Improved baselines with momentum contrastive learning. Chen, X., Fan, H., Girshick, R., He, K.: モーメント対比学習によるベースラインの改善。 0.85
arXiv preprint arXiv:2003.04297 (2020) 8. arXiv preprint arXiv:2003.04297 (2020) 8 0.87
Cheplygina, V., de Bruijne, M., Pluim, J.P.: Not-so-supervised: a survey of semi-supervised, multi-instance, and transfer learning in medical image analysis. Cheplygina, V., de Bruijne, M., Pluim, J.P.: Not-so-supervised: 医療画像解析における半監督、マルチインスタンス、転送学習の調査。 0.80
Medical image analysis 54, 280–296 (2019) 9. 医療画像解析54, 280–296 (2019) 9。 0.92
Cui, W., Liu, Y., Li, Y., Guo, M., Li, Y., Li, X., Wang, T., Zeng, X., Ye, C.: Semi-supervised brain lesion segmentation with an adapted mean teacher model. Cui, W., Liu, Y., Li, Y., Guo, M., Li, Y., Li, X., Wang, T., Zeng, X., Ye, C.: 適応平均教師モデルを用いた半監督脳病変分割。 0.84
In: International Conference on Information Processing in Medical Imaging. In: International Conference on Information Processing in Medical Imaging (英語) 0.89
pp. 554–565. pp. 554–565. 0.78
Springer (2019) 10. Springer (2019) 10。 0.83
Dai, A.M., Le, Q.V. 大, A.M., Le, Q.V. 0.78
: Semi-supervised sequence learning. : 半教師付きシーケンス学習。 0.66
arXiv preprint arXiv:1511.01432 (2015) 11. arXiv preprint arXiv:1511.01432 (2015) 11。 0.80
Fan, D.P., Ji, G.P., Zhou, T., Chen, G., Fu, H., Shen, J., Shao, L.: Pranet: Parallel reverse attention network for polyp segmentation. Fan, D.P., Ji, G.P., Zhou, T., Chen, G., Fu, H., Shen, J., Shao, L.: Pranet: Parallel reverse attention network for polyp segmentation。 0.94
In: International Conference on Medical Image Computing and Computer-Assisted Intervention. In: International Conference on Medical Image Computing and Computer-Assisted Intervention 0.86
pp. 263–273. pp. 263–273. 0.78
Springer (2020) 12. 春(2020年)12。 0.55
Guan, Q., Huang, Y.: Multi-label chest x-ray image classification via category-wise residual attention learning. Guan, Q., Huang, Y.:Multi-label chest X-ray image classification by category-wise residual attention learning。 0.84
Pattern Recognition Letters 130, 259–266 (2020) 13. パターン認識文字130, 259–266 (2020) 13。 0.90
He, K., Fan, H., Wu, Y., Xie, S., Girshick, R.: Momentum contrast for unsupervised visual representation learning. He, K., Fan, H., Wu, Y., Xie, S., Girshick, R.: Momentum contrast for unsupervised visual representation learning。 0.84
In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. In: IEEE/CVF Conference on Computer Vision and Pattern Recognition の開催。 0.83
pp. 9729–9738 (2020) 14. pp. 9729–9738 (2020) 14. 0.88
Hermoza, R., Maicas, G., Nascimento, J.C., Carneiro, G.: Region proposals for saliency map refinement for weakly-supervised disease localisation and classification. hermoza, r., maicas, g., nascimento, j.c., carneiro, g.: region proposals for saliency map refinement for weakly-supervised disease localization and classification (英語) 0.82
In: International Conference on Medical Image Computing and Computer-Assisted Intervention. In: International Conference on Medical Image Computing and Computer-Assisted Intervention 0.86
pp. 539– 549. pp. 539– 549. 0.90
Springer (2020) 15. スプリンガー(2020年)15位。 0.49
Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K.Q. Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K.Q 0.87
: Densely connected convolutional networks. : 高度に繋がった畳み込みネットワーク。 0.70
In: Proceedings of the IEEE conference on computer vision and pattern recognition (2017) 16. In: IEEE Conference on Computer Vision and Pattern Recognition (2017) 16の開催。 0.70
Jonmohamadi, Y., Takeda, Y., Liu, F., Sasazawa, F., Maicas, G., Crawford, R., Roberts, J., Pandey, A.K., Carneiro, G.: Automatic segmentation of multiple structures in knee arthroscopy using deep learning. Jonmohamadi, Y., Takeda, Y., Liu, F., Sasazawa, F., Maicas, G., Crawford, R., Roberts, J., Pandey, A.K., Carneiro, G.: 深層学習を用いた膝関節鏡における複数の構造の自動分割。 0.91
IEEE Access 8, 51853–51861 (2020) IEEE Access 8, 51853–51861 (2020) 0.96
英語(論文から抽出)日本語訳スコア
10 Authors Suppressed Due to Excessive Length 10 長すぎることによる作者の抑制 0.75
17. Laine, S., Aila, T.: Temporal ensembling for semi-supervised learning. 17. Laine, S., Aila, T. : 半教師あり学習のためのテンポラルアンサンブル 0.76
arXiv preprint arXiv:1610.02242 (2016) 18. arXiv preprint arXiv:1610.02242 (2016) 18。 0.80
Lee, D.H., et al : Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks. lee, d.h., et al : pseudo-label: the simple and efficient semi-supervised learning method for deep neural networks 0.88
In: Workshop on challenges in representation learning, ICML. In: 表現学習における課題に関するワークショップ,ICML。 0.76
vol. 3 (2013) 19. Vol. 3 (2013) 19. 0.77
Lee, J.G., Jun, S., Cho, Y.W., Lee, H., Kim, G.B., Seo, J.B., Kim, N.: Deep learning in medical imaging: general overview. Lee, J.G., Jun, S., Cho, Y.W., Lee, H., Kim, G.B., Seo, J.B., Kim, N.: Deep Learning in Medical Imaging: General overview 0.95
Korean journal of radiology 18(4), 570 (2017) 20. 韓国の放射線医学雑誌18(4)、570 (2017) 20。 0.72
Li, X., Yu, L., Chen, H., Fu, C.W., Heng, P.A. Li, X., Yu, L., Chen, H., Fu, C.W., Heng, P.A. 0.99
: Semi-supervised skin lesion segmentation via transformation consistent self-ensembling model. トランスフォーメーション整合性セルフアンサンブルモデルによる半監視皮膚病変分割。 0.68
arXiv preprint arXiv:1808.03887 (2018) 21. arXiv preprint arXiv:1808.03887 (2018) 21。 0.80
Li, Z., Wang, C., Han, M., Xue, Y., Wei, W., Li, L.J., Fei-Fei, L.: Thoracic disease identification and localization with limited supervision. Li, Z., Wang, C., Han, M., Xue, Y., Wei, W., Li, L.J., Fei-Fei, L.: 胸部疾患の同定と局所化。
訳抜け防止モード: Li, Z., Wang, C., Han, M. Xue, Y., Wei, W., Li, L.J. Fei - Fei, L. : 胸部疾患の同定と限定監督による局在化
0.86
In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. In: IEEE Conference on Computer Vision and Pattern Recognition の開催。 0.72
pp. 8290–8299 (2018) 22. pp. 8290–8299 (2018) 22. 0.88
Liu, F., et al : Self-supervised depth estimation to regularise semantic segmentation in knee arthroscopy. liu, f., et al: self-supervised depth estimation to regularise semantic segmentation in knee arthroscopy 0.77
In: MICCAI. pp. 内:MICCAI。 pp. 0.72
594–603. Springer (2020) 23. 594–603. スプリンガー(2020年)23話。 0.59
Liu, Q., et al : Semi-supervised medical image classification with relation-driven selfensembling model. Liu, Q., et al : 関係駆動型セルフアンサンブルモデルを用いた半監督医療画像分類。 0.75
IEEE Transactions on Medical Imaging 39(11), 3429–3440 (2020) thoracic disease image classification with 24. IEEE Transactions on Medical Imaging 39(11), 3429-3440 (2020) 胸部疾患の画像分類は24。 0.83
Ma, C., Wang, H., Hoi, S.C.: Multi-label cross-attention networks. Ma, C., Wang, H., Hoi, S.C.: マルチラベルのクロスアテンションネットワーク。 0.72
In: International Conference on Medical Image Computing and Computer-Assisted Intervention. In: International Conference on Medical Image Computing and Computer-Assisted Intervention 0.86
pp. 730–738. pp. 730–738. 0.78
Springer (2019) 25. 春(2019年) 25歳。 0.50
Oord, A.v.d., Li, Y., Vinyals, O.: Representation learning with contrastive predictive coding. Oord, A.v.d., Li, Y., Vinyals, O.: コントラスト予測符号による表現学習。 0.75
arXiv preprint arXiv:1807.03748 (2018) 26. arXiv preprint arXiv:1807.03748 (2018) 26。 0.80
Rajpurkar, P., Irvin, J., Zhu, K., Yang, B., Mehta, H., Duan, T., Ding, D., Bagul, A., Langlotz, C., Shpanskaya, K., et al : Chexnet: Radiologist-level pneumonia detection on chest x-rays with deep learning. Rajpurkar, P., Irvin, J., Zhu, K., Yang, B., Mehta, H., Duan, T., Ding, D., Bagul, A., Langlotz, C., Shpanskaya, K., et al : Chexnet: 深層学習を伴う胸部X線に対する放射線科レベルの肺炎検出。 0.89
arXiv preprint arXiv:1711.05225 (2017) 27. arXiv preprint arXiv:1711.05225 (2017) 27。 0.80
Rizve, M.N., Duarte, K., Rawat, Y.S., Shah, M.: In defense of pseudo-labeling: An uncertainty-aware pseudo-label selection framework for semi-supervised learning. Rizve, M.N., Duarte, K., Rawat, Y.S., Shah, M.: In Defense of pseudo-labeling: An uncertainty-aware pseudo-label selection framework for semi-supervised learning。 0.79
arXiv preprint arXiv:2101.06329 (2021) 28. arXiv preprint arXiv:2101.06329 (2021) 28。 0.79
Tarvainen, A., Valpola, H.: Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results. Tarvainen, A., Valpola, H.: 平均的な一貫性のターゲットは、半教師付きディープラーニングの結果を改善する。 0.70
arXiv preprint arXiv:1703.01780 (2017) 29. arXiv preprint arXiv:1703.01780 (2017) 29。 0.80
Tian, Y., Maicas, G., Pu, L.Z.C.T., Singh, R., Verjans, J.W., Carneiro, G.: Few-shot anomaly detection for polyp frames from colonoscopy. tian, y., maicas, g., pu, l.z.c.t., singh, r., verjans, j.w., carneiro, g.: few-shot anomaly detection for polyp frames from colonoscopy 0.77
In: International Conference on Medical Image Computing and Computer-Assisted Intervention. In: International Conference on Medical Image Computing and Computer-Assisted Intervention 0.86
pp. 274–284. pp. 274–284. 0.78
Springer (2020) 30. 春(2020年)30歳。 0.55
Tian, Y., Pu, L.Z., Singh, R., Burt, A.D., Carneiro, G.: One-stage five-class polyp detection and classification. Tian, Y., Pu, L.Z., Singh, R., Burt, A.D., Carneiro, G.: 1段階の5級ポリプ検出と分類。 0.79
In: 2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019). 2019年IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019)に参加。 0.85
pp. 70–73. pp. 70–73. 0.78
IEEE (2019) 31. IEEE (2019) 31。 0.83
Wang, T., Isola, P.: Understanding contrastive representation learning through alignment and uniformity on the hypersphere. Wang, T., Isola, P.: ハイパースフィア上のアライメントと均一性によるコントラスト表現学習を理解する。 0.75
In: International Conference on Machine Learning. In: 機械学習に関する国際会議。 0.82
pp. 9929– 9939. pp. 9929– 9939. 0.90
PMLR (2020) 32. PMLR (2020) 32。 0.74
Wang, X., Peng, Y.a. Wang, X., Peng, Y.a. 0.96
: Chestx-ray8: Hospital-scale chest x-ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases. 胸部x線8 : 病院規模の胸部x線データベースと共通胸部疾患の弱い分類と局在に関するベンチマーク 0.71
In: CVPR (2017) 33. CVPR (2017) 33。 0.56
Yang, Y., Xu, Z.: Rethinking the value of labels for improving class-imbalanced learning. Yang, Y., Xu, Z.: クラスアンバランス学習を改善するためのラベルの価値を再考する。 0.76
arXiv preprint arXiv:2006.07529 (2020) 34. arXiv preprint arXiv:2006.07529 (2020) 34。 0.79
Yu, L., Wang, S., Li, X., Fu, C.W., Heng, P.A. Yu, L., Wang, S., Li, X., Fu, C.W., Heng, P.A. 0.99
: Uncertainty-aware self-ensembling model for semi-supervised 3d left atrium segmentation. : 半監督3d左心房分割のための不確実性認識自己アンサンブルモデル。 0.46
In: MICCAI. pp. 内:MICCAI。 pp. 0.72
605–613. Springer (2019) 35. 605–613. スプリンガー(2019年)35話。 0.60
Zhai, X., Oliver, A., Kolesnikov, A., Beyer, L.: S4l: Self-supervised semi-supervised learning. Zhai, X., Oliver, A., Kolesnikov, A., Beyer, L.: S4l: 自己監督型半教師学習。 0.84
In: ICCV. pp. 内:ICCV。 pp. 0.77
1476–1485 (2019) 36. 1476–1485 (2019) 36. 0.92
Zhou, H.Y., et al : Comparing to learn: Surpassing imagenet pretraining on radiographs by comparing image representations. Zhou, H.Y., et al: Comparing to learn: Surpassing imagenet Pretraining on Radiographs by Comparison image representations (特集 画像表現) 0.82
In: International Conference on Medical Image Computing and Computer-Assisted Intervention. In: International Conference on Medical Image Computing and Computer-Assisted Intervention 0.86
pp. 398–407. pp. 398–407. 0.78
Springer (2020) Springer (複数形 Springers) 0.62
                     ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。