論文の概要、ライセンス

# (参考訳) doublematch: セルフスーパービジョンによる半教師付き学習の改善 [全文訳有]

DoubleMatch: Improving Semi-Supervised Learning with Self-Supervision ( http://arxiv.org/abs/2205.05575v1 )

ライセンス: CC BY 4.0
Erik Wallin, Lennart Svensson, Fredrik Kahl, Lars Hammarstrand(参考訳) 教師付き学習の成功を受けて、半教師付き学習(SSL)がますます人気が高まっている。 SSLは、ラベル付きトレーニングセットに加えて、未ラベルデータの巨大なコレクションを使用してモデルを適合させる一連のメソッドである。 最近成功したsslメソッドのほとんどは、疑似ラベル法に基づいている: 自信のあるモデル予測がトレーニングラベルとして機能する。 これらの手法は多くのベンチマークデータセットで印象的な結果を示しているが、このアプローチの欠点は、ラベルのないデータがトレーニング中に使用されるわけではないことである。 本論文では,疑似ラベル法と自己教師付き損失を組み合わせた新しいsslアルゴリズムであるdoublematchを提案する。 本手法は,既存のSSL手法と比較してトレーニング時間を短縮しつつ,複数のベンチマークデータセット上で最先端の精度を実現する。 コードはhttps://github.com/w alline/doublematch.c omで入手できる。

Following the success of supervised learning, semi-supervised learning (SSL) is now becoming increasingly popular. SSL is a family of methods, which in addition to a labeled training set, also use a sizable collection of unlabeled data for fitting a model. Most of the recent successful SSL methods are based on pseudo-labeling approaches: letting confident model predictions act as training labels. While these methods have shown impressive results on many benchmark datasets, a drawback of this approach is that not all unlabeled data are used during training. We propose a new SSL algorithm, DoubleMatch, which combines the pseudo-labeling technique with a self-supervised loss, enabling the model to utilize all unlabeled data in the training process. We show that this method achieves state-of-the-art accuracies on multiple benchmark datasets while also reducing training times compared to existing SSL methods. Code is available at https://github.com/w alline/doublematch.
公開日: Wed, 11 May 2022 15:43:48 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Improving Semi-Supervised Learning with 半教師付き学習の改善 0.64
DoubleMatch: Self-Supervision ダブルマッチ セルフスーパービジョン 0.46
Erik Wallin1,2, Lennart Svensson2, Fredrik Kahl2, Lars Hammarstrand2 Erik Wallin1,2, Lennart Svensson2, Fredrik Kahl2, Lars Hammarstrand2 0.39
{walline,lennart.sven sson,fredrik.kahl,la rs.hammarstrand}@chalmers.se walline,lennart.sven sson,fredrik.kahl,la rs.hammarstrand}@chalmers.se 0.35
1Saab AB, 2Chalmers University of Technology 1Saab AB, 2Chalmers University of Technology 0.47
2 2 0 2 y a M 1 1 2 2 0 2 y a m 1 1 である。 0.54
] G L . s c [ ] G L。 sc [ 0.47
1 v 5 7 5 5 0 1 v 5 7 5 5 0 0.43
. 5 0 2 2 : v i X r a . 5 0 2 2 : v i X r a 0.42
Abstract—Following the success of supervised learning, semisupervised learning (SSL) is now becoming increasingly popular. Abstract — 教師付き学習の成功に続いて、半教師付き学習(SSL)がますます人気が高まっている。 0.51
SSL is a family of methods, which in addition to a labeled training set, also use a sizable collection of unlabeled data for fitting a model. SSLは、ラベル付きトレーニングセットに加えて、未ラベルデータの巨大なコレクションを使用してモデルを適合させる一連のメソッドである。 0.71
Most of the recent successful SSL methods are based on pseudo-labeling approaches: letting confident model predictions act as training labels. 最近成功したsslメソッドのほとんどは、疑似ラベル法に基づいている: 自信のあるモデル予測がトレーニングラベルとして機能する。
訳抜け防止モード: 最近のSSLメソッドの多くは擬似ラベリングアプローチに基づいている。 自信あるモデル予測が トレーニングラベルとして機能します
0.73
While these methods have shown impressive results on many benchmark datasets, a drawback of this approach is that not all unlabeled data are used during training. これらの手法は多くのベンチマークデータセットで印象的な結果を示しているが、このアプローチの欠点は、ラベルのないデータがトレーニング中に使用されるわけではないことである。 0.57
We propose a new SSL algorithm, DoubleMatch, which combines the pseudo-labeling technique with a self-supervised loss, enabling the model to utilize all unlabeled data in the training process. 本論文では,疑似ラベル法と自己教師付き損失を組み合わせた新しいsslアルゴリズムであるdoublematchを提案する。
訳抜け防止モード: 擬似ラベリング手法と自己教師付き損失を組み合わせた新しいSSLアルゴリズムであるDoubleMatchを提案する。 トレーニングプロセスにおいて、モデルがすべてのラベルのないデータを活用できるようにする。
0.70
We show that this method achieves state-of-the-art accuracies on multiple benchmark datasets while also reducing training times compared to existing SSL methods. 本手法は,既存のSSL手法と比較してトレーニング時間を短縮しつつ,複数のベンチマークデータセット上で最先端の精度を実現する。 0.65
Code is available at https://github.com/w alline/doublematch. コードはhttps://github.com/w alline/doublematch.c omで入手できる。 0.42
I. INTRODUCTION I. イントロダクション 0.64
Supervised learning has gained much attention in recent years because of remarkable achievements in fields such as image classification [1], object detection [2], and natural language processing [3]. 近年,画像分類 [1] やオブジェクト検出 [2] ,自然言語処理 (3) などの分野での卓越した業績により,教師付き学習が注目されている。 0.81
The impressive results are typically fueled by vast amounts of labeled data with datasets such as ImageNet [4] and COCO [5]. 印象的な結果は、imagenet [4] や coco [5] といったデータセットを持つ膨大な量のラベル付きデータによって引き起こされる。 0.67
In many practical applications, however, labeled data might be scarce or require expert domain knowledge to attain. しかし、多くの実用的なアプリケーションでは、ラベル付きデータは不足するか、専門家のドメイン知識が必要となる。 0.59
In contrast, unlabeled data are often much easier to acquire, e g , through web scraping or unsupervised sensor recordings, thus creating a natural demand for methods that can successfully learn from data without prior labels. 対照的に、ラベルのないデータは、Webスクレイピングや教師なしのセンサ記録を通じて、取得しやすく、従って、事前のラベルなしでデータからうまく学習できる方法の自然な需要を生み出す。 0.69
Semi-supervised learning is the procedure of combining unlabeled data with a (typically) much smaller set of labeled data for fitting a model. 半教師付き学習は、ラベル付きデータと(典型的には)はるかに小さなラベル付きデータを組み合わせてモデルを適合させる手順である。 0.68
There are two main ideas behind the most well-performing methods for semi-supervised learning: consistency regularization and pseudo-labeling. 半教師付き学習の最も優れた手法には、一貫性の正則化と擬似ラベル付けという2つの背景がある。 0.47
The former means encouraging consistent predictions on unlabeled data across different views of the same sample, e g , through domain-specific data augmentation. 前者は、ドメイン固有のデータ拡張を通じて、同じサンプルの異なるビューにまたがるラベルなしデータの一貫した予測を奨励することを意味する。 0.65
Pseudo-labeling, on the other hand, involves using confident model predictions on unlabeled data as de facto training labels. 一方、擬似ラベル付けでは、ラベルなしデータの確実なモデル予測をデファクトトレーニングラベルとして使用する。 0.65
UDA [6] and FixMatch [7] recently gained wide recognition because of their simple yet powerful frameworks for combining consistency regularization and pseudo-labeling in semi-supervised learning. UDA [6] と FixMatch [7] は、半教師付き学習における一貫性の正規化と擬似ラベルを結合するシンプルなフレームワークにより、最近広く認知されるようになった。 0.58
Among their reported results is, e g , an impressive classification accuracy of 94.93% on CIFAR-10 [8] using only 250 labeled images for training [7]. CIFAR-10[8]では,250個のラベル付き画像のみをトレーニング用として,94.93%の印象的な分類精度が得られた。 0.80
However, Fig. 1. A unification of semi- and self-supervised frameworks. しかし、 図1。 半監督フレームワークと自己管理フレームワークの統合。 0.50
While many existing methods for semi-supervised learning operate in the label space, DoubleMatch operates in both the label and feature spaces for a more efficient use of unlabeled data. 既存の半教師あり学習の方法はラベル空間で動作しているが、doublematchはラベル空間と特徴空間の両方で動作し、ラベルなしのデータをより効率的に利用する。 0.62
Red arrows mark the flow of gradients. 赤い矢印は勾配の流れを示す。 0.68
despite their excellent performance, these methods have the drawback of only enforcing consistency regularization on unlabeled data with confident model predictions while harder data samples are essentially discarded. 優れた性能にもかかわらず、これらの手法は、信頼性のあるモデル予測を伴うラベルのないデータに対して、一貫性の規則化のみを強制するのに欠点がある。
訳抜け防止モード: 優れたパフォーマンスにもかかわらず これらの方法には欠点があります 確実なモデル予測を伴うラベルなしデータの整合正則化のみを強制する 一方 難しいデータサンプルは 基本的に捨てられます
0.68
For challenging datasets, in particular, this means the model only uses a smaller part of unlabeled data during training (the relatively easier part). 特に挑戦的なデータセットでは、トレーニング中にラベル付けされていないデータの小さな部分(比較的簡単な部分)しか使用しない。 0.73
We show that this inefficient and incomplete use of unlabeled data leads to unnecessarily long training times and, for some datasets, reductions in classification accuracy. この非効率で不完全なラベル付きデータの使用は、不要な訓練時間といくつかのデータセットにおいて、分類精度の低下につながることを示す。 0.64
An alternative to semi-supervised training is to instead train fully without label information. 半教師訓練の代替手段は、ラベル情報なしで完全に訓練することである。 0.62
This practice is referred to as self-supervised learning, and the goal is not to predict classes but instead to learn feature representations of the data that can be used for downstream tasks [9]–[11]. このプラクティスを自己教師付き学習(self-supervised learning)と呼び、目標はクラスを予測するのではなく、ダウンストリームタスク[9]–[11]で使用できるデータの特徴表現を学ぶことだ。 0.74
By focusing on learning the fundamental representations of the data, these methods can more fully exploit the unlabeled training data and are in this respect more efficient than many semi-supervised methods. データの基本表現を学習することに集中することにより、これらの手法はラベルのないトレーニングデータをより十分に活用することができ、この点において多くの半教師付き手法よりも効率的である。 0.55
However, these methods do not extend the training data with task-specific information as in the case of, e g , UDA and FixMatch. しかし、これらの方法は、例えば UDA や FixMatch のように、タスク固有の情報でトレーニングデータを拡張しない。 0.64
if the end task is classification, 最終課題が分類されたら 0.62
Analogously to semi-supervised learning, self-supervised learning is heavily based on consistency regularization, which 半教師付き学習と同様に、自己教師付き学習は一貫性の正規化に基づいている。 0.45
英語(論文から抽出)日本語訳スコア
makes the two fields closely related. 2つの分野が密接に関連しています 0.55
Generally, methods for both semi- and self-supervised learning employ a setting where a teacher model predicts optimization targets for a student model, making gradients flow only through the student predictions. 概して、半教師学習と自己指導学習の両方の方法は、教師モデルが生徒モデルの最適化目標を予測し、生徒の予測を通してのみ勾配を流す設定を用いる。 0.75
The teacher and student models often share parameters, either by making the teacher a moving average of the student or by using the same parameters. 教師と生徒のモデルはしばしばパラメータを共有し、教師を生徒の移動平均とするか、同じパラメータを使用する。 0.71
We propose DoubleMatch, an extension of FixMatch, which solves its inefficient use of unlabeled data by taking inspiration from research on self-supervised learning. 自己教師あり学習の研究から着想を得て,ラベルなしデータの非効率利用を解消するfixmatchの拡張であるdoublematchを提案する。 0.74
Fig 1 illustrates how DoubleMatch unifies the typical setups for semi- and selfsupervised learning by operating both in the label and feature space for unlabeled data. 図1は、ラベルとラベルなしデータの特徴空間の両方を操作することで、DoubleMatchが半教師あり学習の典型的なセットアップを統一する方法について説明している。
訳抜け防止モード: fig 1は、doublematchが半教師あり学習のための典型的なセットアップをいかに統一するかを示す ラベルなしデータのラベルと特徴空間の両方で動作します。
0.66
In the label space, as with FixMatch for confident data, the model is evaluated based on predicted class distributions (pseudo-label loss). ラベル空間では、自信のあるデータに対するFixMatchと同様に、予測されたクラス分布(擬似ラベル損失)に基づいてモデルを評価する。 0.70
Whereas, in the feature space, the model is assessed based on the similarity of the predicted feature representations (self-supervised loss). 一方、特徴空間では、予測された特徴表現(自己教師付き損失)の類似性に基づいてモデルを評価する。 0.74
More specifically, with motivation from methods such as [11], [12], we suggest adding a self-supervised feature loss to the FixMatch framework by enforcing consistency regularization on all unlabeled data in the feature space. より具体的には、[11]、[12]のようなメソッドの動機付けにより、機能空間のすべてのラベルなしデータに一貫性の規則化を強制することにより、fixmatchフレームワークに自己教師付き機能損失を追加することを提案します。 0.56
Moreover, we can add this term with minimal computational overhead because we do not require additional augmentations or model predictions. さらに、追加の補足やモデル予測を必要としないため、計算オーバーヘッドを最小限にしてこの用語を追加できる。 0.62
Our main contributions of this work are: 1) We propose adding a self-supervised loss to the Fix- 本研究の主な貢献は次のとおりである。 1) 固定に自己監督的損失を加えることを提案する。
訳抜け防止モード: この作品の主な貢献は: 1である。 自己の付加 -修正に対する教師付き損失-
0.72
Match framework. Matchフレームワーク。 0.71
2) We demonstrate that our method leads to faster training times and increased classification accuracy than previous SOTA across multiple datasets. 2)本手法は,複数のデータセットにまたがる従来のSOTAよりも訓練時間を短縮し,分類精度を向上することを示した。 0.65
3) We analyze the importance of a pseudo-labeling loss for 3)擬似ラベル損失の重要性を解析する。 0.74
different sizes of the labeled training set. ラベル付きトレーニングセットの異なるサイズです 0.67
II. RELATED WORK Research in semi-supervised learning dates back to the 1960s [13]–[15]. II。 関連作業 半教師付き学習の研究は1960年代 [13]–[15] にさかのぼる。 0.68
Over the last couple of years, research in semi-supervised learning has been dominated by methods combining the use of consistency regularization and pseudolabeling [6], [7]. 過去2年間、半教師付き学習の研究は、一貫性の正規化と擬似ラベル [6], [7] を組み合わせる手法によって支配されてきた。 0.72
One of these methods is FixMatch [7], which this work proposes an extension of. これらのメソッドの1つは FixMatch [7] で、これは拡張の提案である。 0.76
A. FixMatch FixMatch [7] made a big impact on the field of semisupervised learning because of its well-performing yet simple method for combining consistency regularization and pseudolabeling. a.フィクスマッチ FixMatch [7]は、一貫性の正則化と疑似ラベル付けを組み合わせた、優れたパフォーマンスでシンプルな方法であるため、半教師付き学習の分野に大きな影響を与えた。 0.55
FixMatch is similar to the marginally earlier UDA [6] although slightly less complex. FixMatch は UDA [6] のごく初期のものに似ているが、やや複雑ではない。 0.64
As proposed by ReMixMatch [16], FixMatch employs consistency regularization through a setup with weak and strong data augmentations. remixmatch [16] が提案したように、fixmatchは、弱いデータ拡張のセットアップを通じて一貫性の正規化を採用する。 0.55
The weak augmentation consists of a random horizontal flip followed by a random image translation, while the strong augmentation utilizes sharp imagetransformations such as RandAugment [17], CTAugment [16], and CutOut [18]. 弱い増強はランダムな水平フリップとランダムな画像変換で構成され、強い増強はRandAugment [17]、CTAugment [16]、CutOut [18]のようなシャープな画像変換を利用する。 0.62
The strong domain-specific augmentations for consistency regularization are highlighted as a crucial component in the performance gain compared to many previous 整合性正則化のための強いドメイン固有の拡張は、以前の多くのものと比較してパフォーマンス向上の重要な要素として強調される。 0.57
methods, which use, e g , domain-agnostic perturbations [19]– [22] or MixUp-augmentations [23]–[25]. 例えば、ドメインに依存しない摂動 [19]–[22] または MixUp-augmentation [23]–[25] を使用するメソッド。 0.63
FixMatch also makes use of pseudo-labeling, which can be compactly described as the practice of using model predictions as training labels. FixMatchは擬似ラベルも使用しており、モデル予測をトレーニングラベルとして使用するプラクティスとしてコンパクトに記述することができる。 0.70
While there are many variations of this technique [26]–[29], FixMatch follows the confidencebased pseudo-labels introduced by UDA. 26]–[29] このテクニックには多くのバリエーションがあるが、fixmatchはudaによって導入された信頼性に基づく擬似ラベルに従う。 0.59
The confidencebased pseudo-labels in FixMatch are designed such that only predictions on unlabeled data above a predetermined confidence-threshold are used for training. FixMatchの信頼に基づく疑似ラベルは、所定の信頼閾値以上のラベル付きデータの予測のみをトレーニングに使用するように設計されている。 0.62
The artificial label used in the cross-entropy loss is then the argmax of the confident prediction. クロスエントロピー損失に使用される人工ラベルは、自信のある予測のargmaxとなる。 0.70
The proposed method in this article is an extension of the FixMatch framework, following both its augmentation scheme and pseudo-labeling strategy. 本稿では,fixmatchフレームワークの拡張として,拡張スキームと擬似ラベル戦略について述べる。 0.60
B. Extensions of FixMatch B. FixMatchの拡張 0.91
As a consequence of the simplicity and high performance of FixMatch, there have been several subsequent studies trying to extend and improve on this framework [30]–[34]. FixMatchの単純さと高性能化の結果、その後のいくつかの研究がこのフレームワーク [30]–[34] を拡張し、改善しようとしている。 0.69
For example, FlexMatch [30] and Dash [31] propose two different ways of introducing dynamic confidence-thresholds, replacing the constant threshold of FixMatch. 例えば、FlexMatch [30] と Dash [31] は、FixMatchの定数しきい値を置き換える、動的信頼性閾値を導入する2つの異なる方法を提案しています。 0.65
DP-SSL [32] generates pseudolabels using a data programming scheme with an ensemble of labeling functions, each specialized in a subset of the classes in the classification problem. DP-SSL[32]は、分類問題におけるクラスのサブセットに特化して、ラベル関数のアンサンブルを持つデータプログラミングスキームを用いて擬似ラベルを生成する。 0.76
In contrast to our work, methods such as [30]–[32], [34] aim to improve FixMatch through alternative strategies for pseudo-label selections. 私たちの仕事とは対照的に、[30]–[32], [34]のようなメソッドは、擬似ラベル選択の代替戦略を通じてフィクスマッチを改善することを目的としています。
訳抜け防止モード: 私たちの仕事とは対照的に、[30]–[32 ]のようなメソッドは 【34】照準 擬似ラベル選択のための代替戦略によるフィクスマッチを改善する。
0.80
Our proposed method instead focuses on improving the consistency regularization of FixMatch and thus could potentially be further improved by using pseudo-labeling strategies proposed by [30]–[32], [34]. 提案手法は, [30]–[32], [34] によって提案された擬似ラベル戦略を用いることにより, 修正マッチの一貫性の規則化を改善することに焦点を当てている。 0.79
C. Self-supervised learning This section gives a very brief overview of research in selfsupervised learning that has inspired our work. c.自己監督学習 この記事では、我々の研究にインスピレーションを与えた自己教師型学習の研究の概要を紹介する。 0.61
Fully without labels, the goal of self-supervised learning is not to predict classes, but instead to learn representations of data that can be used for downstream tasks. ラベルなしでは、自己教師付き学習の目標はクラスを予測するのではなく、ダウンストリームタスクに使用できるデータの表現を学ぶことだ。
訳抜け防止モード: ラベルのない完全な自己指導型学習の目標は クラスを予測するのではなく、ダウンストリームタスクに使用できるデータの表現を学ぶのです。
0.81
Similarly to semi-supervised learning, recent advances in self-supervised learning have been largely reliant on consistency regularization through heavy use of domain-specific data augmentation [9]–[12], [35]. 半教師付き学習と同様に、近年の自己教師付き学習の進歩は、ドメイン固有のデータ拡張[9]–[12],[35]を多用することにより、一貫性の正則化に大きく依存している。 0.61
Influential works such as [9], [10] make use of the computeheavy contrastive loss for self-supervised learning, not only maximizing similarities between augmentations of the same data but also minimizing the agreement between different data. 9],[10]などの影響力のある著作は,自己教師付き学習におけるコントラスト損失を,同じデータの強化間の類似性を最大化するだけでなく,異なるデータ間の合意を最小化する。 0.82
However, more recent works [11], [12], [35] show that a contrastive loss is not required to achieve competitive self-learning performance. しかし,最近の研究 [11], [12], [35] では,競争的自己学習性能を達成するには対照的損失は必要ではない。 0.85
Instead, they show that it is sufficient to, as in, e g , FixMatch, focus on maximizing similarities between augmentations of the same data (consistency regularization). 代わりに彼らは、例えば、FixMatchのように、同じデータの拡張(一貫性の正規化)の類似性を最大化するのが十分であることを示す。 0.68
This means that self-supervised learning losses similar to those in [11], [12], [35] can be integrated into, e g , FixMatch with a minimal additional computational load. これは、[11]、[12]、[35]のような自己教師付き学習損失を、最小限の計算負荷で、例えばFixMatchに統合できることを意味します。
訳抜け防止モード: これはつまり,自己 - 教師付き学習損失が [11 ] に類似している,ということだ。 12 ], [35 ] を最小の計算負荷でfixmatch などに統合することができる。
0.82
For this work, we take particular inspiration from SimSiam [11] by incorporating a similar self-supervised loss into our method. 本研究は,SimSiam [11] から,同様の自己監督的損失を本手法に組み込むことで,特にインスピレーションを得たものである。 0.65
英語(論文から抽出)日本語訳スコア
Fig. 2. Graph showing loss evaluation for unlabeled images. 図2。 ラベルなし画像の損失評価を示すグラフ。 0.70
Double slash marks a stop-gradient operation. ダブルスラッシュは停止段階の動作を示す。 0.54
D. Self-supervision in semi-supervised learning d. 半教師付き学習における自己スーパービジョン 0.42
Lastly, similarly to this paper, there has been some other work covering self-supervision techniques in semi-supervised learning [16], [36]–[39]. 最後に、本論文と同様に、半教師付き学習 [16], [36]–[39] における自己超越技術に関する他の研究がある。 0.70
For example, EnAET [36], ReMixMatch [16], and S4L [37] incorporate a self-supervised task that involves predicting the parameters of some stochastic image transformation that is applied to an unlabeled image. 例えば、EnAET [36]、ReMixMatch [16]、S4L [37]は、ラベルなし画像に適用される確率的画像変換のパラメータを予測する自己教師付きタスクを組み込んでいる。 0.63
USADTM [38] proposes a self-supervised loss that involves evaluating similarities between three different views of unlabeled data. USADTM[38]は、ラベルなしデータの3つの異なるビュー間の類似性を評価する自己監督的損失を提案する。
訳抜け防止モード: USADTM[38 ]が自己監督型損失の提案 ラベルなしデータの3つの異なるビューの類似性を評価することです
0.71
Contrary to our proposed method, the selfsupervision in these methods requires introducing additional data augmentations and, as in case of USADTM, a more complex pseudo-label selection, all of which increases the computational load. 提案手法とは対照的に,これらの手法では付加的なデータ拡張が必要であり,USADTMの場合と同様,より複雑な擬似ラベル選択により計算負荷が増大する。 0.82
III. METHOD This section describes DoubleMatch, our proposed method. III。 方法 本稿では,提案手法であるDoubleMatchについて述べる。 0.56
Many existing methods for semi-supervised learning have two central terms in their loss functions: a supervised loss term for labeled data and a pseudo-label loss term for unlabeled data [6], [7], [27]. 半教師付き学習の既存の方法は、ラベル付きデータの教師付き損失項とラベル付きデータ [6], [7], [27] の擬似ラベル的損失項の2つの中心的項を持つ。
訳抜け防止モード: 半教師付き学習のための多くの既存手法は、損失関数に2つの中心項を持つ : ラベル付きデータに対する教師付き損失項 ラベルなしデータの擬似ラベル損失項 [6 ] [ 7 ] , [ 27 ] .
0.74
We propose to add a third, self-supervised loss term, to fully utilize unlabeled data for faster training and increased accuracy. 我々は,ラベルのないデータを完全に活用し,より高速なトレーニングと精度の向上を実現するために,自己教師付き損失項を3つ追加することを提案する。 0.53
This term acts as a natural extension with minimal computational overhead to methods that utilize consistency regularization through data augmentation. この用語は、データ拡張による一貫性の正則化を利用するメソッドに対して、最小限の計算オーバーヘッドを持つ自然な拡張として機能する。 0.50
We choose to apply our idea to the FixMatch [7] framework but the method proposed can easily be applied to similar frameworks such as UDA [6]. FixMatch [7] フレームワークに私たちのアイデアを適用することにしましたが、提案されたメソッドは UDA [6] のような同様のフレームワークに簡単に適用できます。 0.72
The training algorithm of DoubleMatch for a single batch is summarized in Algorithm 1 and detailed below. 単一バッチに対するDoubleMatchのトレーニングアルゴリズムは、アルゴリズム1で要約し、以下に詳述する。 0.80
For a C-class image classification problem, the supervised loss in FixMatch is the standard cross-entropy loss given by Cクラスの画像分類問題では、FixMatchの教師付き損失は標準のクロスエントロピー損失である。 0.76
H(yi, pi), (1) H(yi, pi) (1) 0.39
where B is the batch size, yi ∈ RC×1 is the ground-truth onehot label for image i, pi ∈ RC×1 is the predicted probability B がバッチサイズで、yi ∈ RC×1 が画像 i の基幹1ホットラベル、pi ∈ RC×1 が予測確率である。 0.82
distribution for image i, and H(x, y) = −(cid:80) x log y is the 画像 i の分布と H(x, y) = −(cid:80) x log y は 0.79
cross-entropy between two probability distributions. 2つの確率分布間のクロスエントロピー。 0.64
B(cid:88) i=1 B(第88回) i=1 である。 0.47
ll = 1 B The supervised loss is supplemented with a pseudo-label ll = 1B 監視された損失は擬似ラベルで補足される 0.48
loss on unlabeled data: ラベルのないデータの損失: 0.75
µB(cid:88) μB (cid:88) 0.36
i=1 lp = i=1 である。 lp = 0.37
1 µB 1{max(wi) > τ}H(argmax(wi), qi). 1μB 1{max(wi) > τ}h(argmax(wi), qi) である。 0.62
(2) Here, µ ∈ Z+ and τ ∈ [0, 1] are hyperparameters where µ determines the ratio of labeled to unlabeled data in a batch and τ sets the confidence threshold for assigning pseudo-labels. (2) ここで μ ∈ z+ と τ ∈ [0, 1] は超パラメータであり、μ はバッチ内のラベル付きデータに対するラベル付きの割合を決定し、τ は擬似ラベルを割り当てるための信頼しきい値を設定する。 0.57
The probability distributions wi and qi are the predictions for a weak and a strong augmentation, respectively, of the unlabeled sample i. 確率分布wiとqiは、ラベルなしサンプルiの弱および強増強の予測である。 0.57
We let argmax : RC×1 → {0, 1}C×1 so that it returns a one-hot vector, and 1{·} is the indicator function. argmax : rc×1 → {0, 1}c×1 とすると、1-ホットベクトルを返し、1{·} をインジケータ関数とする。 0.78
Finally, we let the prediction on the weakly augmented image act as the teacher, meaning we consider wi to be constant when back-propagating through this loss term. 最後に,弱増倍画像の予測を教師として行なわせた。つまり,この損失項をバックプロパゲーションする場合,wiは一定であると考えられる。 0.77
The two loss terms from (1) and (2) constitute the key components of the FixMatch method. 1)と(2)の2つの損失項は、フィクスマッチ法の重要な構成要素である。 0.74
In our method, we add an additional consistency regularization between the two different augmentations of unlabeled data. 提案手法では,ラベルなしデータの2つの異なる拡張の間に,一貫性の規則化を付加する。 0.61
This consistency regularization is enforced not on the predicted probability distributions but on the feature vectors from the penultimate layer of the classification network. この整合性正規化は、予測された確率分布ではなく、分類ネットワークの最後層からの特徴ベクトルに適用される。 0.76
This added loss improves the data efficiency of the method by operating on all unlabeled data, and not only for data with confident predictions as in (2). この追加損失は、(2)に自信のある予測を持つデータだけでなく、すべてのラベルなしデータで操作することで、メソッドのデータ効率を向上させる。 0.70
Inspired by the SimSiam [11] method for self-supervised learning, we use the negative cosine similarity for this loss. 自己教師学習のためのSimSiam [11]法に着想を得て,この損失に対して負のコサイン類似性を用いる。 0.68
Similarly to [11], in order to allow for differences between the feature representations of weakly and strongly augmented versions of the same image, we feed the feature representation of the strongly augmented image through a trainable linear projection head before evaluating the cosine similarity. 同様に [11] と同様に、同じ画像の特徴表現の弱さと強増像の差を許容するために、コサイン類似性を評価する前に、トレーニング可能な線形投影ヘッドを介して強増像の特徴表現をフィードする。 0.80
We end up with our proposed additional loss term: 最終的に 新たな損失項を提案しました 0.58
h(vi) · zi (cid:107)h(vi)(cid:1 07)(cid:107)zi(cid:1 07) = − 1 h(vi) · zi (cid:107)h(vi)(cid:1 07)(cid:107)zi(cid:1 07) = − 1 0.45
ls = − 1 cos(h(vi), zi). ls = − 1 cos(h(vi), zi)。 0.38
(3) µB In this expression, zi ∈ Rd×1 is the output from the penultimate layer of the classification network for the weakly augmented version of image i. (3) μb この式における zi ∈ rd×1 は、画像i の弱拡張版に対する分類ネットワークのペナルティファイト層からの出力である。 0.81
The dimension of this vector, d, is determined by the network architecture. このベクトルの次元 d はネットワークアーキテクチャによって決定される。 0.72
Similarly, vi ∈ Rd×1 同様に、vi ∈ Rd×1 0.83
µB i=1 μB i=1 である。 0.35
µB(cid:88) μB (cid:88) 0.36
i=1 µB(cid:88) i=1 である。 μB (cid:88) 0.34
英語(論文から抽出)日本語訳スコア
is the output from the penultimate layer for the strongly augmented version of image i. 画像iの強化されたバージョンに対するペナルティメート層からの出力です。 0.69
However, vi is also fed through the trainable linear projection head, h : Rd×1 → Rd×1. しかし、vi は訓練可能な線型射影ヘッド h : Rd×1 → Rd×1 を通しても供給される。 0.69
Again, the prediction on the weakly augmented image acts as the teacher, so we consider zi as constant when evaluating the gradient w.r.t. this loss term. また,弱増倍画像の予測は教師として機能するので,この損失項の勾配 w.r.t を評価する際,zi は定数であると考える。 0.71
Finally, (cid:107) · (cid:107) is the l2 norm. 最後に (cid:107) · (cid:107) は l2 ノルムである。 0.64
For each batch, we let the full loss be 各バッチに対して、全損失を計上する。 0.67
l = ll + lp + wsls, l = ll + lp + wsls である。 0.86
(4) where ws ∈ R+ is a hyperparameter determining the weight of the self-supervised loss term. (4) では、ws ∈ R+ は自己教師付き損失項の重みを決定するハイパーパラメータである。 0.70
We empirically find that it is important to obtain a good balance between ll and wsls in this loss, meaning that a well-tuned value for ws will be largely correlated with the number of labeled training data (see Section IV-D). この損失において, ll と wsls のバランスが良好であること,すなわち ws の順に調整された値は, ラベル付きトレーニングデータの数と大きく相関する(第IV-D節参照)。 0.67
Note that our loss function is identical to that used in FixMatch when ws = 0. ws = 0 の場合、われわれの損失関数はfixmatch で使われるものと同じである。 0.79
A graph showing the loss evaluation for unlabeled images is displayed in Fig 2 where we divide the network into three parts: ネットワークを3つの部分に分けた図2に、ラベルなし画像の損失評価を示すグラフを表示する。 0.82
• f, backbone: the network up to the final layer, • g, prediction head: the final layer of the classification • f, backbone: 最終層までのネットワーク • g, prediction head: the final layer of the classification 0.74
network, • h, projection head: a single dimension-preserving linear layer for transforming features of strongly augmented unlabeled images. ネットワーク • h, projection head: 強く拡張されたラベル付き画像の特徴を変換するための単一の次元保存線形層。 0.58
A. Data augmentation Data augmentation has proved to be a central component of self- and semi-supervised learning [7], [10]. A.データ拡張 データ拡張は、自己と半教師付き学習の中心的な構成要素であることが証明されている [7], [10]。 0.68
We follow one of the augmentation schemes used in FixMatch [7] where the weak augmentation is a horizontal flip with probability 0.5 followed by a random translation with maximum distance 0.125 of the image height. 本稿では,フィクスマッチ [7] において,画像高さの最大距離 0.125 のランダム翻訳により,確率 0.5 の水平反転を特徴とする拡張スキームの1つに追従する。 0.71
The strong augmentation stacks the weak augmentation, CTA [16], and Cutout [18]. 強い増強は弱い増強、CTA[16]、およびカットアウト[18]を積み重ねる。 0.63
B. Optimizer and regularization For optimization, we stay close to the FixMatch settings and use SGD with Nesterov momentum [40]. B.最適化と正規化 最適化のために、FixMatch設定に近づき、Nesterovの勢いでSGDを使用します [40]。 0.62
The learning rate, η, is set to follow a cosine scheme [41] given by 学習率ηは、与えられたコサインスキーム[41]に従うように設定される 0.74
(cid:18) (cid:19) (cid:18) (cid:19) 0.39
πk 2K η = η0 cos πk 2K η = η0 cos 0.42
γ where η0 is the initial learning rate, k is the current training step and K is the total number of training steps. γ η0 が最初の学習率、k が現在のトレーニングステップ、K がトレーニングステップの総数である。 0.56
We define one training step as one gradient update in the SGD optimization. 1つのトレーニングステップを、sgd最適化の勾配更新として定義します。 0.58
The decay rate is determined by the hyperparameter γ ∈ (0, 1). 減衰速度はハイパーパラメータ γ ∈ (0, 1) によって決定される。 0.83
Contrary to FixMatch which uses a constant γ, we suggest tuning γ for different datasets in order to minimize overfitting. 定数 γ を用いる FixMatch とは対照的に,オーバーフィッティングを最小限に抑えるため,異なるデータセットに対する γ チューニングを提案する。 0.75
Finally, we add weight-decay regularization to the loss as 最後に、損失に減量正規化を加える。 0.58
(cid:0)(cid:107)θf(cid:107)2 + (cid:107)θg(cid:107)2 + (cid:107)θh(cid:107)2(cid:1) , (cid:0)(cid:107)θf(cid:107)2 + (cid:107)θg(cid:107)2 + (cid:107)θh(cid:107)2(cid:1) , 0.38
lw = wd 1 2 lw = wd 1 2 0.43
where θf , θg and θh are the vectors of parameters in the backbone, prediction head and projection head, respectively, and wd is a hyperparameter controlling the weight of this regularization term. θf , θg および θh はそれぞれバックボーン、予測ヘッド、投射ヘッドのパラメータのベクトルであり、wd はこの正規化項の重みを制御する超パラメータである。 0.76
The weight-decay is identical to FixMatch with the exception that DoubleMatch has the additional parameters from the projection head, θh. weight-decay は、doublematch が射影ヘッド θh から追加パラメータを持つ例外を除いて fixmatch と同じである。 0.74
(5) (6) Algorithm 1 DoubleMatch algorithm Require: Strong augmentation β, weak augmentation α, (5) (6) アルゴリズム1 ダブルマッチアルゴリズムが必要:強い増大β、弱い増大α、 0.55
labeled batch {(x1, y1), · · · , (xB, yB)}, unlabeled batch {˜x1, · · · , ˜xµB}, unsupervised loss weight ws, weight decay parameter wd, confidence threshold τ, backbone model f, prediction layer g, projection layer h ラベル付きバッチ {(x1, y1), · · · , (xB, yB)}, ラベル付きバッチ { ^x1, · · · , ^xμB}, 教師なし損失重量 ws, 重み劣化パラメータ wd, 信頼しきい値τ, バックボーンモデル f, 予測層g, 投影層h 0.82
1: (cid:46) Cross-entropy loss for (weakly augmented) labeled data 2: for i = 1, · · · , B do pi = g ◦ f (α(xi)) 3: 4: end for 5: ll = 1 B 1: (cid:46) ラベル付きデータのクロスエントロピー損失 2: i = 1, · · · , B do pi = g > f (α(xi)) 3: 4: end for 5: ll = 1 B 0.74
i=1 H(yi, pi) i=1 H(yi, pi) 0.47
(cid:80)B zi = f (α(˜xi)) vi = f (β(˜xi)) qi = g(vi) wi = stopgrad(g(zi)) (cid:80)b zi = f (α( sxi)) vi = f (β( sxi)) qi = g(vi) wi = stopgrad(g(zi)) 0.42
6: (cid:46) Predictions on unlabeled data 7: for i = 1, · · · , µB do 8: 9: 10: 11: 12: end for 13: (cid:46) Self-supervised cosine similarity 14: ls = − 1 15: (cid:46) Cross-entropy with pseudo-labels 16: lp = 1 µB 6: (cid:46) unlabeled data 7: for i = 1, · · · · , μb do 8: 9: 10: 11: 12: end for 13: (cid:46) self-supervised cosine similarity 14: ls = − 1 15: (cid:46) cross-entropy with pseudo-labels 16: lp = 1 μb 0.48
(cid:80)µB (cid:80)µB (cid:80)μB (cid:80)μB 0.35
i=1 µB i=1 である。 μB 0.35
i=1 cos(h(vi), stopgrad(zi)) i=1 cos(h(vi), stopgrad(zi)) 0.46
return ll + lp + wsls + wd ll + lp + wsls + wd を返します。 0.79
1 2 1{max(wi) > τ}H(argmax(wi), qi) 1 2 1{max(wi) > τ}H(argmax(wi, qi) 0.41
(cid:0)(cid:107)θf(cid:107)2 + (cid:107)θg(cid:107)2 + (cid:107)θh(cid:107)2(cid:1) (cid:0)(cid:107)θf(cid:107)2 + (cid:107)θg(cid:107)2 + (cid:107)θh(cid:107)2(cid:1) 0.37
(cid:46) Weak augmentation (cid:46) Strong augmentation (cid:46)弱増強(cid:46)強増強 0.36
IV. EXPERIMENTS/RESULTS In this section we evaluate our method on a set of benchmark datasets for image classification. IV。 実験・結果 本稿では,画像分類のためのベンチマークデータセットのセット上で,本手法の評価を行う。 0.51
We use the datasets CIFAR-10 [8], CIFAR-100 [8], SVHN [42] and STL-10 [43] with different sizes of the labeled training set. CIFAR-10[8], CIFAR-100[8], SVHN[42], STL-10[43]のデータセットをラベル付きトレーニングセットの異なるサイズで使用しています。 0.77
We compare our results with reported error rates from similar works. 同様の研究から得られたエラー率と比較した。 0.66
For fair comparisons, we choose works that state using similar experimental setups as us with the same data folds and the same architectures [7], [31], [32]. 公正な比較のために、同じデータフォールドと同じアーキテクチャ [7], [31], [32] で、私たちと同じ実験的なセットアップを使用して、その状態を選択する。 0.79
The results are shown in Table I where we present mean and standard deviation of the error rate on the test set using five different data folds. 結果は表Iで示され、5つの異なるデータフォールドを用いてテストセット上の誤差率の平均偏差と標準偏差を示す。 0.85
We choose to report both the minimum error rate for the full training run, and the median for the 20 last evaluations. 我々は、フルトレーニングランの最小エラー率と、20回の最終評価の中央値の両方を報告することを選択します。 0.68
FixMatch [7] uses the median of the last evaluations for their results, while others are not clear on this point. fixmatch [7] は最後の評価結果の中央値を使用するが、それ以外の点については明確ではない。 0.66
We use an exponential moving average of the model parameters (with momentum 0.999) to evaluate the performance on the test set. モデルパラメータの指数関数移動平均(運動量0.999)を用いてテストセットの性能評価を行った。 0.79
We train DoubleMatch using 352, 000 training steps with batch size B = 64 in all our experiments. すべての実験でバッチサイズB = 64の352,000のトレーニングステップを使ってDoubleMatchをトレーニングします。 0.70
The method is implemented in TensorFlow and is based on the FixMatch codebase. このメソッドはTensorFlowで実装されており、FixMatchコードベースに基づいている。 0.72
All experiments are carried out on Nvidia A100 GPUs. すべての実験はNvidia A100 GPU上で行われる。 0.86
The full list of hyperparameters can be found in Section IV-D. ハイパーパラメータの完全なリストはセクションIV-Dで見ることができる。 0.63
A. Classification results 1) CIFAR-10 and SVHN: The datasets CIFAR-10 and SVHN both consist of color images of size 32 × 32. A.分類結果 1) CIFAR-10 と SVHN: データセット CIFAR-10 と SVHN は32×32のカラー画像で構成されている。 0.83
Both datasets contain ten classes where CIFAR-10 has classes such as dog, horse and ship while the classes in SVHN are the ten digits. CIFAR-10は犬、馬、船などのクラスを持ち、SVHNのクラスは10桁である。 0.60
CIFAR-10 has a test set of 10,000 images and a training set of 50,000 images. CIFAR-10には1万枚の画像と5万枚の画像の訓練セットがある。 0.63
SVHN has 26,032 images for testing and 73,257 for training. SVHNはテスト用26,032枚、トレーニング用73,257枚である。 0.53
For these datasets we use a Wide ResNet28-2 [44] with 1.5M parameters. これらのデータセットには1.5Mパラメータを持つWide ResNet28-2[44]を使用します。 0.59
This architecture makes the dimension of our feature vectors d = 128. このアーキテクチャは、我々の特徴ベクトル d = 128 の次元を作る。 0.77
Even though we たとえ私達が 0.77
英語(論文から抽出)日本語訳スコア
ERROR RATES ON DIFFERENT DATASETS USING DIFFERENT SIZES FOR THE LABELED TRAINING SET. ラベル付きトレーニングセットにおける差分サイズを用いた差分データセットの誤差率 0.38
DOUBLEMATCH ACHIEVES STATE-OF-THE-ART ダブルマッチが現状を達成 0.24
TABLE I RESULTS ON MANY COMBINATIONS. テーブルI 結果が多種多様である。 0.39
CIFAR-10 CIFAR-100 CIFAR-10 CIFAR-100 0.44
SVHN STL-10 SVHN STL-10 0.36
Method MixMatch [7], [24] 方法 MixMatch [7], [24] 0.38
UDA [6], [7] UDA [6], [7] 0.38
DP-SSL [32] DP-SSL [32] 0.42
Dash (CTA) [31] Dash (CTA) [31] 0.43
40 labels 250 labels 4000 labels 400 labels 2500 labels 10000 labels 40 labels 250 labels 1000 labels 1000 labels 10.41±0.61 47.54±11.50 11.05±0.86 29.05±5.93 8.82±1.08 7.66±0.56 5.23±0.45 ReMixMatch [7], [16] 19.10±9.64 5.44±0.05 5.17±0.63 11.39±3.35 5.07±0.33 FixMatch (CTA) [7] 4.78±0.26 6.54±0.98 4.97±0.42 3.96±0.25 4.78±0.12 9.16±4.31 DoubleMatch (last 20) 14.02±5.71 5.72±0.51 4.46±0.20 4.35±0.20 13.59±5.60 5.56±0.42 DoubleMatch (min) 40ラベル 250ラベル 400ラベル 2500ラベル 10000ラベル 40ラベル 1000ラベル 1000ラベル 1000ラベル 10.41±0.61 47.54±11.50ラベル 1000ラベル 1000ラベル 10.41±5.93 8.82±1.08 7.66±0.56 5.23±0.45 ReMixMatch [7], [16] 19.10±9.64 5.44±0.05 5.17±0.63 11.39±3.35 5.07±0.33 FixMatch (CTA) [7] 4.78±6 6.54±8 4.97±0.42 3.96±5 4.78±0.12 9.16±431ダブルマッチ (20) 14.02±71.72±1.20±0.32 ダブルマッチ (20) 0.40
67.61±1.32 39.94±0.37 59.28±0.88 33.13±0.22 44.28±2.06 27.43±0.31 49.95±3.01 28.64±0.24 43.17±1.29 28.00±0.79 44.83±1.36 27.85±0.19 42.61±1.15 27.48±0.19 41.83±1.22 27.07±0.26 67.61±1.32 39.94±0.37 59.28±0.88 33.13±0.22 44.28±2.06 27.43±0.31 49.95±3.01 28.64±0.24 43.17±1.29 28.00±0.79 44.83±1.36 27.85±0.19 42.61±1.15 27.48±0.19 41.83±1.22 27.07±0.26 0.09
42.55±14.53 3.98±0.23 52.63±20.51 5.69±2.76 2.92±0.48 3.34±0.20 2.64±0.64 7.65±7.65 2.16±0.36 2.98±0.86 3.14±1.60 2.38±0.29 16.50±13.73 2.58±0.53 15.37±11.81 2.37±0.35 42.55±14.53 3.98±0.23 52.63±20.51 5.69±2.76 2.92±0.48 3.34±0.20 2.64±0.64 7.65±7.65 2.16±0.36 2.98±0.86 3.14±1.60 2.38±0.29 16.50±13.73 2.58±0.53 15.37±11.81 2.37±0.35 0.18
28.31±0.33 24.50±0.25 23.03±0.56 23.18±0.11 22.24±0.31 22.77±0.21 21.69±0.26 21.22±0.17 28.31±0.33 24.50±0.25 23.03±0.56 23.18±0.11 22.24±0.31 22.77±0.21 21.69±0.26 21.22±0.17 0.19
3.50±0.28 2.46±0.24 2.65±0.08 2.36±0.19 1.99±0.18 2.14±0.09 2.25±0.09 2.10±0.07 3.50±0.28 2.46±0.24 2.65±0.08 2.36±0.19 1.99±0.18 2.14±0.09 2.25±0.09 2.10±0.07 0.19
6.42±0.10 4.88±0.18 4.72±0.13 4.31±0.15 4.23±0.20 4.13±0.06 4.83±0.17 4.65±0.17 6.42±0.10 4.88±0.18 4.72±0.13 4.31±0.15 4.23±0.20 4.13±0.06 4.83±0.17 4.65±0.17 0.19
obtain competitive results on many of the splits, we do perform worse than SOTA, especially in the very-low label regime. 多くの分割で競争結果を得ることができ、特に非常に低いラベル体制では、SOTAよりもパフォーマンスが悪くなります。 0.60
2) CIFAR-100: CIFAR-100 is similar to CIFAR-10 in that it consists of color images of size 32 × 32 with training and test sets of size 50,000 and 10,000 respectively. 2) cifar-100: cifar-100はサイズ32×32のカラーイメージと、それぞれ50,000と10,000のトレーニングセットとテストセットで構成されている点において、cifar-10に似ている。 0.50
However, CIFAR-100 contains 100 classes, making it a much more challenging classification problem. しかし、CIFAR-100には100のクラスがあり、より難しい分類問題となっている。 0.75
For this dataset, we use the Wide ResNet-28-8 architecture with 24M parameters, resulting in d = 512. このデータセットでは、24Mパラメータを持つWide ResNet-28-8アーキテクチャを使用し、d = 512となる。 0.71
On this dataset, we achieve SOTA results across all splits, not only beating FixMatch and ReMixMatch, but also the more recent methods DP-SSL and Dash. このデータセットでは、FixMatchやReMixMatchを圧倒するだけでなく、DP-SSLやDashといった最近のメソッドでもSOTAの結果が得られます。 0.66
3) STL-10: The dataset STL-10 comprises color images of size 96× 96 belonging to ten classes. 3) STL-10: データセットSTL-10は、10つのクラスに属する96×96のカラー画像を含む。 0.71
It has a labeled training set of 5,000 images and a unlabeled training set of 100,000 images. 5000枚の画像のラベル付きトレーニングセットと、10万枚の画像のラベル付きトレーニングセットがある。 0.64
Its distribution of unlabeled data is wider than the labeled distribution, meaning that the unlabeled set contains classes that are not present in the labeled set. ラベルなしデータの分布はラベル付き分布よりも広く、ラベルなし集合はラベル付き集合に存在しないクラスを含むことを意味する。 0.80
Here we use a Wide ResNet-37-2 with 6M parameters, making d = 256. ここでは 6M パラメータを持つ Wide ResNet-37-2 を使用し、d = 256 となる。 0.67
On this dataset, we achieve a very competitive error rate, surpassed only by the result reported by Dash. このデータセットでは、Dashが報告した結果のみを上回り、非常に競合的なエラー率を達成する。 0.69
B. Training speed Running FixMatch for its full training duration on CIFAR100 using a single A100 GPU takes 5 days of wall-time. B.訓練速度 単一のa100 gpuを使ったcifar100でのフルトレーニング期間のfixmatchの実行には5日間の壁時間を要する。
訳抜け防止モード: B.訓練速度 単一A100 GPUを用いたCIFAR100のフルトレーニング期間のFixMatchの実行 壁は5日かかります。
0.84
DoubleMatch reduces these long training times by more efficiently making use of unlabeled data through the added self-supervised loss. DoubleMatchは、ラベルなしのデータをより効率的に利用することで、これら長いトレーニング時間を短縮する。 0.62
While the methods we use as comparison in Table I run for little more than 1M training steps, we run DoubleMatch for only roughly a third of that. Table Iで比較として使用するメソッドは100万以上のトレーニングステップで実行されますが、DoubleMatchはおよそ3分の1で実行しています。 0.75
A clear illustration of our increase in training speed is seen in Fig 3 where we compare DoubleMatch to FixMatch during training runs on CIFAR-100 with 10,000 labeled training data and on STL-10 with 1,000 labeled data. fig 3では、トレーニング中のdoublematchとfixmatchを、10,000のラベル付きトレーニングデータを持つcifar-100と、1000のラベル付きデータを持つstl-10で実行しています。 0.70
C. Discussion We present an extension of FixMatch, which outperforms the original work in terms of prediction accuracy and training efficiency on CIFAR-100, STL-10, and 2/3 splits of SVHN. C.討論 我々は,CIFAR-100,STL-10,SV HNの2/3分割における予測精度とトレーニング効率において,オリジナルよりも優れたFixMatchの拡張を提案する。 0.54
We note a particularly high performance on CIFAR-100 (new SOTA) and STL-10. CIFAR-100(新しいSOTA)とSTL-10では特に高い性能を示す。 0.73
Our hypothesis for the results on these two datasets is that the self-supervised loss contributes to the biggest improvement when it is difficult to reach high これら2つのデータセットの結果に対する我々の仮説は、自己監督的損失は高い到達が困難である場合に最大の改善をもたらすというものである。 0.63
y c a r u c c A y c a r u c c A 0.43
78 74 96 94 78 74 96 94 0.42
y c a r u c c A y c a r u c c A 0.43
CIFAR-100 STL-10 CIFAR-100 STL-10 0.44
0 0.2 0.4 0.6 0 0.2 0.4 0.6 0.40
0.8 Training step 1 ·106 0.8 修業段階 1 ·106 0.42
DoubleMatch FixMatch ダブルマッチ FixMatch 0.54
Fig. 3. Comparing FixMatch to DoubleMatch on training runs on CIFAR100 and STL-10. 図3。 FixMatchとDoubleMatchの比較は、CIFAR100とSTL-10で実行される。 0.62
We see that DoubleMatch reaches higher accuracies with roughly one third of the training steps. DoubleMatchはトレーニングのおよそ3分の1のステップで、より高い精度に達しています。 0.61
classification accuracies on the unlabeled training set. 未ラベルの訓練セットの 分類精度。 0.70
Low accuracies on the unlabeled set could be either due to ラベルなし集合の低い精度は、どちらかが原因かもしれない 0.63
1) the difficulty of the classification problem, as in the case with CIFAR-100, or 1) cifar-100の場合のように,分類問題の難しさ,又は 0.79
2) due to the unlabeled data coming from a wider distribution than the labeled training set, as in the case with STL-10. 2) STL-10の場合のように, ラベル付きトレーニングセットよりも広範な分布から得られたラベル付きデータが原因である。 0.78
For CIFAR-10 and SVHN, it is generally possible to reach high accuracies on the unlabeled training set so the quality of the pseudo-labels can be very high, making a self-supervised loss less important. CIFAR-10 と SVHN では、通常、ラベルなしトレーニングセット上で高い精度に到達することが可能であり、擬似ラベルの品質が非常に高く、自己監督的損失がより重要でない。 0.62
In Table I, we include Dash [31] and DP-SSL [32]. 表 i には dash [31] と dp-ssl [32] が含まれます。 0.73
These are recent methods that, similarly to us, aim to improve the FixMatch framework. これらは私たちと同様、FixMatchフレームワークの改善を目指している最近のメソッドです。 0.75
However, contrary to DoubleMatch, these methods focus on improving the pseudo-labeling aspect: Dash through a dynamic confidence threshold and DP-SSL by an ensemble of labeling functions. しかし、doublematchとは対照的に、これらの手法は擬似ラベル機能の改善に焦点を当てている: dashは動的信頼しきい値、dp-sslはラベル機能の集合である。 0.58
Both of these methods report improvements compared to FixMatch. どちらの方法もfixmatchと比較して改善が報告されている。 0.51
A future line of work could be combining these improved methods for pseudo-label selections with the self-supervised loss from DoubleMatch. 将来の作業は、これらの改良された擬似ラベル選択法と、ダブルマッチによる自己教師付き損失を組み合わせることである。 0.52
D. Hyperparameters D.ハイパーパラメータ 0.61
For CIFAR-10, SVHN and STL-10 we use γ = 7/8 and wd = 0.0005. CIFAR-10、SVHN、STL-10ではγ = 7/8、wd = 0.0005 を用いる。 0.64
For CIFAR-100 we use γ = 5/8 and wd = CIFAR-100では γ = 5/8 と wd = 0.82
英語(論文から抽出)日本語訳スコア
0.001. For ws, we use 10, 5, 2 for CIFAR-100 with 10,000, 2,500 and 400 labels respectively; 5, 1, 0.5 for CIFAR-10 with 4,000, 250 and 40 labels; 0.05, 0.05, 0.001 for SVHN with 1,000, 250 and 40 labels; and 1.0 for STL-10 with 1,000 labels. 0.001. wsでは10,5,2,1万,2,500,400ラベルのCIFAR-100,4000,250,4 0ラベルのCIFAR-10,1000,250,40 ラベルのSVHN0.05,0.05,0001,1 000ラベルのSTL-10,1.0ラベルのSTL-10を使用する。 0.54
We use η0 = 0.3, µ = 7, B = 64, τ = 0.95 and SGD momentum 0.9 for all datasets. すべてのデータセットに対して η0 = 0.3, μ = 7, b = 64, τ = 0.95, sgd momentum 0.9 を用いる。 0.77
We run all experiments for 352,000 training steps. すべての実験を352,000のトレーニングステップで実施しています。 0.55
V. ABLATION In this section we cover two ablation studies related to our method. V.アブレーション 本節では,本手法に関する2つのアブレーション研究について述べる。 0.60
First, we show results from experiments where the cosine similarity in our self-supervised loss is replaced by other similarity functions. まず, 自己教師付き損失のコサイン類似度を他の類似度関数に置き換えた実験結果を示す。 0.75
The second ablation study regards the importance of the pseudo-labeling loss for different sizes of the labeled training set. 第2のアブレーション研究は、ラベル付きトレーニングセットの異なるサイズにおける擬似ラベル損失の重要性を考察した。 0.67
A. Self-supervised loss functions A.自己監督的損失関数 0.60
In DoubleMatch we use a cosine similarity for the selfsupervised loss term according to (3). DoubleMatch では、(3) に従って自己教師付き損失項にコサイン類似性を用いる。 0.71
We have conducted experiments with other loss functions. 我々は他の損失関数を用いた実験を行った。 0.69
One alternative to the cosine similarity is a simple mean squared error, as used in, e g , [20]: コサイン類似性の1つの代替は、eg , [20] で使われる単純な平均二乗誤差である。 0.72
ls = 1 µBd ls = 1 μBd 0.41
(h(vi) − zi)T (h(vi) − zi). (h(vi) − zi)T(h(vi) − zi) 0.37
(7) Another alternative, as done in, e g , [35] is to apply the softmax function to the feature vectors and then calculate the cross-entropy loss as (7) 別の選択肢として,例えば [35] では,特徴ベクトルにsoftmax関数を適用してクロスエントロピー損失を計算する,という方法もある。 0.63
ls = 1 µB H(σ(h(vi)), σ(zi/λ)). ls = 1μB h(σ(h(vi)), σ(zi/λ)) である。 0.56
(8) Here, λ is a parameter that can be used to sharpen the resulting distribution for the prediction of weakly augmented data. (8) ここで、λ は弱い拡張データの予測のために結果の分布を鋭くするために使用できるパラメータである。 0.63
The standard softmax function, σ(·), is given by 標準ソフトマックス函数 σ(·) は与えられた 0.68
µB(cid:88) μB (cid:88) 0.36
i=1 µB(cid:88) i=1 である。 μB (cid:88) 0.34
i=1 σk(x) = i=1 である。 σk(x) = 0.40
exk(cid:80)D exk (複数形 exks) 0.46
j=1 exj for x ∈ RD×1, j=1 exj x ∈ rd×1 の場合 0.58
(9) where σk and xk are the k:th elements of σ and x respectively. (9) ここで σk と xk はそれぞれ σ と x の k:th の元である。 0.61
We have evaluated the different loss function on CIFAR-100 with 10,000 labels, where we made training runs using 我々は、CIFAR-100の異なる損失関数を1万ラベルで評価し、そこでトレーニングを行った。 0.73
1) MSE 2) Softmax with λ = 1 and 1)MSE 2)λ = 1 とソフトマックス 0.58
3) Softmax with λ = 0.1. 3) λ = 0.1 のソフトマックス。 0.79
The self-supervised weight, ws, is re-tuned for every loss function. 自己監督重み ws は損失関数毎に再調整される。 0.58
The results are shown in Table II. 結果は表IIに示されています。 0.74
When comparing to the other functions, we note that a considerably lower error rate is reached using the cosine similarity, indicating that this is indeed the correct choice for DoubleMatch. 他の関数と比較すると、コサイン類似性を用いてエラー率がかなり低いことに注意し、これがDoubleMatchの正しい選択であることを示す。 0.75
B. Importance of pseudo-labels B.擬似ラベルの重要性 0.74
Lastly, we analyze the importance of pseudo-labels in DoubleMatch for different sizes of the labeled training set. 最後に,ラベル付きトレーニングセットのサイズの違いに対して,ダブルマッチにおける擬似ラベルの重要性を分析する。 0.62
These experiments are conducted on CIFAR-100. これらの実験はCIFAR-100で行われている。 0.55
Here, we evaluate the difference in accuracy between DoubleMatch with and without the pseudo-labeling loss, (lp in (2)). 本稿では,DoubleMatchと擬似ラベル損失の有無による精度差(lp in (2))を評価する。
訳抜け防止モード: ここでは、擬似ラベル損失の有無とダブルマッチの精度の違いを評価する。 (lp in (2 ) ) である。
0.76
The weight for the self-supervised loss, ws, is re-tuned for each split after removing lp. 自己監督損失の重量、wsは、lpを除去した後、分割毎に再調整される。 0.65
The drop in accuracy by removing lp for lp for 除去による精度の低下 0.67
EVALUATIONS OF DIFFERENT FUNCTIONS FOR THE SELF-SUPERVISED 自衛隊の異なる機能の評価 0.48
LOSS IN DOUBLEMATCH ON CIFAR-100 WITH 10,000 LABELS. CIFAR-100には1万個のラベルがある。 0.44
TABLE II Loss function テーブルII 損失関数 0.64
Cosine MSE Softmax (λ = 1) Softmax (λ = 0.1) コサインmse ソフトマックス(λ = 1)ソフトマックス(λ = 0.1) 0.60
Error rate 21.22±0.17 エラー率21.22±0.17 0.44
23.91 23.23 23.57 23.91 23.23 23.57 0.24
ws 10.0 0.25 1.0 0.5 ws 10.0 0.25 1.0 0.5 0.25
REDUCTION IN TEST ACCURACY ON CIFAR-100 BY REMOVING THE PSEUDO-LABEL LOSS FROM DOUBLEMATCH FOR DIFFERENT SIZES OF 寸法の異なるダブルマッチによる擬似ラベル損失除去によるcifar-100の試験精度の低減 0.55
THE LABELED TRAINING SET. The LABELED Training SET。 0.28
TABLE III Nr. of labeled training data テーブルIII ラベル付きトレーニングデータのNr. 0.65
400 8.46 1,000 3.81 400 8.46 1,000 3.81 0.30
2,500 2.20 2,500 2.20 0.25
10,000 0.39 10,000 0.39 0.25
Reduction different numbers of labeled training data is shown in Table III. 削減 ラベル付きトレーニングデータの異なる数は、表IIIに示されます。 0.68
We note that there is nearly no loss in performance by removing lp when using 10,000 labels. 1万のラベルを使用すると、lpを削除することでパフォーマンスがほぼ損なわれることに注意してください。 0.47
However, when moving towards fewer labels, this reduction in accuracy increases monotonously to roughly 8.5 for 400 labels. しかし、ラベルが少なくなると、この精度の低下は400ラベルの約8.5に単調に増大する。 0.69
While DoubleMatch still reaches SOTA results for CIFAR100 with 400 labels, these findings seem to be in line with our poor results on CIFAR-10 and SVHN with 40 labels, indicating that our added self-supervised loss does not do well on its own in the low-label regime. doublematchは依然として400レーベルのcifar100でsofa結果に到達しているが、cifar-10とsvhnでは40レーベルの成績が低かったことから、低レーベル体制では自己監督損失が単独ではうまくいかなかったことを示している。
訳抜け防止モード: DoubleMatchは依然として400のラベルを持つCIFAR100のSOTA結果に到達している。 CIFAR-10とSVHNで40のラベルが得られた。 ラベルの低い状態では、監視された損失がそれ自体でうまく機能しないことを示すのです。
0.65
It is also consistent with results reported from Dash [31] and DP-SSL [32] indicating that improved pseudo-label selections seem to be more important in the low-label regime. また、dash [31] と dp-ssl [32] から報告された結果とも一致しており、擬似ラベル選択の改善が低ラベル環境においてより重要であることを示している。 0.58
However, with enough labels, the pseudo-label loss can be completely replaced by a selfsupervised loss with little to no loss in performance. しかし、十分なラベルがあれば、擬似ラベルの損失は、パフォーマンスの損失がほとんどないし全くない自己教師付き損失に完全に置き換えられる。 0.56
VI. CONCLUSION This paper shows that using a self-supervised loss in semisupervised learning can lead to reduced training times and increased test accuracies for multiple datasets. VI。 結論 本稿では,半教師付き学習における自己教師付き損失を用いることで,学習時間の短縮と複数データセットのテスト精度の向上が期待できることを示す。 0.62
In particular, we present new SOTA results on CIFAR-100 using different sizes of the labeled training set while using fewer training steps than existing methods. 特に,ラベル付きトレーニングセットのサイズが異なるcifar-100において,既存の方法よりも少ないトレーニングステップを用いて,新たなsota結果を示す。 0.69
Additionally, we present interesting findings showing that, with enough labeled training data, the pseudolabeling loss can be removed with no performance reduction in the presence of a self-supervised loss. さらに,ラベル付きトレーニングデータが十分であれば,自己監督的損失の有無で性能を低下させることなく,擬似ラベル付き損失を除去できることが興味深い。 0.67
ACKNOWLEDGMENT This work was supported by Saab AB, the Swedish Foundation for Strategic Research, and Wallenberg AI, Autonomous Systems and Software Program (WASP) funded by the Knut and Alice Wallenberg Foundation. 承認 この研究はスウェーデン戦略研究財団のSaab ABと、Knut and Alice Wallenberg Foundationが出資したWallenberg AI, Autonomous Systems and Software Program (WASP)によって支援された。 0.55
The experiments were enabled by resources provided by the Swedish National Infrastructure for Computing (SNIC) at Chalmers Centre for Computational Science and Engineering (C3SE), and National Supercomputer Centre (NSC) at Link¨oping University. この実験は、スウェーデン国立計算インフラ(SNIC)のChalmers Centre for Computational Science and Engineering(C3SE)とリンクオペング大学のNational Super Computer Centre(NSC)によって実現された。 0.77
英語(論文から抽出)日本語訳スコア
REFERENCES [1] A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly et al , “An image is worth 16x16 words: Transformers for image recognition at scale,” in International Conference on Learning Representations, 2021. 参考 [1] A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly et al , “画像は16×16ワードの価値があります。
訳抜け防止モード: 参考 A. Dosovitskiy, L. Beyer, A. Kolesnikov D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani M. Minderer, G. Heigold, S. Gelly, al. “画像は16×16ワードの価値があります。 国際学習表現会議(2021年)に参加。
0.62
[2] J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You only look once: Unified, real-time object detection,” in IEEE conference on computer vision and pattern recognition, 2016. 2016年のIEEEのコンピュータビジョンとパターン認識に関するカンファレンスでは、[2] J. Redmon, S. Divvala, R. Girshick, A. Farhadiが、“一度だけ見える。
訳抜け防止モード: [2 ]J. Redmon, S. Divvala, R. Girshick, A. Farhadi, “あなたは一度しか見えません。 IEEEのコンピュータビジョンとパターン認識に関するカンファレンス“Real - Time Object Detection, ”, 2016。
0.82
[3] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, Ł. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, 0.44
Kaiser, and I. Polosukhin, “Attention is all you need,” in Advances in neural information processing systems, 2017. kaiser, and i. polosukhin, “attention is all you need” in advances in neural information processing systems, 2017” (英語)
訳抜け防止モード: Kaiser, I. Polosukhin, “注意は必要なだけである”。 Invanceds in Neural Information Processing System, 2017。
0.74
[4] J. Deng, W. Dong, R. Socher, L. J. Deng, W. Dong, R. Socher, L. 0.38
-J. Li, K. Li, and L. Fei-Fei, “ImageNet: image database,” in IEEE conference on -j。 IEEEカンファレンスのLi, K. Li, L. Fei-Fei, “ImageNet: Image Database” 0.77
A large-scale hierarchical computer vision and pattern recognition, 2009. 大規模階層型コンピュータビジョンとパターン認識、2009年。 0.80
[5] T. -Y. [5] T。 -y。 0.38
Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Doll´ar, and C. L. Zitnick, “Microsoft COCO: Common objects in context,” in European conference on computer vision, 2014. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Doll ́ar, C. L. Zitnick, “Microsoft COCO: Common Object in context” in Europe conference on computer vision, 2014
訳抜け防止モード: Lin, M. Maire, S. Belongie, J. Hays, P. Perona D. Ramanan, P. Doll ́ar, and C. L. Zitnick, “Microsoft COCO : Common Object in context”。 2014年、欧州コンピュータビジョン会議。
0.95
[6] Q. Xie, Z. Dai, E. Hovy, T. Luong, and Q. Le, “Unsupervised data augmentation for consistency training,” in Advances in Neural Information Processing Systems, 2020. 6] q. xie, z. dai, e. hovy, t. luong, q. le, “unsupervised data augmentation for consistency training”(一貫性トレーニングのための教師なしデータ拡張)は、2020年のニューラル情報処理システムにおける進歩である。 0.60
[7] K. Sohn, D. Berthelot, N. Carlini, Z. Zhang, H. Zhang, C. A. Raffel, E. D. Cubuk, A. Kurakin, and C. [7] K. Sohn, D. Berthelot, N. Carlini, Z. Zhang, H. Zhang, C. A. Raffel, E. D. Cubuk, A. Kurakin, C。 0.44
-L. Li, “FixMatch: Simplifying semisupervised learning with consistency and confidence,” in Advances in Neural Information Processing Systems, 2020. -L。 ly, “fixmatch: simpleing semisupervised learning with consistency and confidence” in advances in neural information processing systems, 2020” (英語)
訳抜け防止モード: -L。 Li, “ FixMatch :” 神経情報処理システムにおける「一貫性と信頼」による半教師あり学習の簡略化
0.57
[8] A. Krizhevsky and G. Hinton, “Learning multiple layers of features from A. KrizhevskyとG. Hintonは次のように述べている。 0.40
tiny images,” University of Toronto, Tech. とトロント工科大学は述べている。 0.49
Rep. , 2009. 代表。 , 2009. 0.40
[9] K. He, H. Fan, Y. Wu, S. Xie, and R. Girshick, “Momentum contrast for unsupervised visual representation learning,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020. 9] k. he, h. fan, y. wu, s. xie, r. girshick, “momentum contrast for unsupervised visual representation learning” は、2020年のieee/cvf conference on computer vision and pattern recognitionで発表された。 0.74
[10] T. Chen, S. Kornblith, M. Norouzi, and G. Hinton, “A simple framework for contrastive learning of visual representations,” in International conference on machine learning, 2020. 10] t. chen, s. kornblith, m. norouzi, g. hinton, “a simple framework for contrastive learning of visual representations” in international conference on machine learning, 2020 (英語)
訳抜け防止モード: [10 ]T. Chen, S. Kornblith, M. Norouzi, そしてG. Hintonは、“視覚表現の対照的な学習のためのシンプルなフレームワーク”だ。 機械学習に関する国際会議、2020年。
0.76
[11] X. Chen and K. He, “Exploring simple siamese representation learning,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021. とieee/cvf conference on computer vision and pattern recognition, 2021で述べている。
訳抜け防止モード: 11 ] x. chen and k. he, "単純なシャム語表現学習を探求する" ieee / cvf conference on computer vision and pattern recognition(ieee / cvf conference on computer vision and pattern recognition, 2021)で発表された。
0.48
[12] J. -B. [12] J。 -B。 0.39
Grill, F. Strub, F. Altch´e, C. Tallec, P. Richemond, E. Buchatskaya, C. Doersch, B. Avila Pires, Z. Guo, M. Gheshlaghi Azar, B. Piot, k. Grill, F. Strub, F. Altch ́e, C. Tallec, P. Richemond, E. Buchatskaya, C. Doersch, B. Avila Pires, Z. Guo, M. Gheshlaghi Azar, B. Piot, k。 0.44
kavukcuoglu, R. Munos, and M. Valko, “Bootstrap your own latent - a new approach to self-supervised learning,” in Advances in Neural Information Processing Systems, 2020. Kavukcuoglu, R. Munos, M. Valko, “Bootstrap your own latent — a new approach to self-supervised learning” in Advances in Neural Information Processing Systems, 2020。
訳抜け防止モード: kavukcuoglu, r. munos, m. valko, “bootstrap your own latent - a new approach to self-supervised learning” ニューラル・インフォメーション・プロセッシング・システム、2020年。
0.66
[13] H. Scudder, “Probability of error of some adaptive pattern-recognition machines,” IEEE Transactions on Information Theory, vol. H. Scudder, “Probability of error of some adapted pattern-recognition machines, IEEE Transactions on Information Theory, vol.
訳抜け防止モード: [13 ]H. Scudder, “いくつかの適応型パターン -認識装置のエラーの確率” IEEE Transactions on Information Theory, vol。
0.82
11, no. 3, pp. 363–371, 1965. 11、no. 3, pp. 363-371、1965。 0.79
[14] S. Fralick, “Learning to recognize patterns without a teacher,” IEEE 14]s. fralick, “教師なしでパターンを認識するための学習”ieee 0.76
Transactions on Information Theory, vol. 情報理論に関するトランザクション(Vol.)。 0.68
13, no. 1, pp. 57–64, 1967. 13巻1頁、p.57-64、1967年。 0.61
[15] A. Agrawala, “Learning with a probabilistic teacher,” IEEE Transactions 15] a. agrawala, "確率的教師による学習" ieee transactions 0.62
on Information Theory, vol. 16, no. 4, pp. 373–379, 1970. 情報理論』第1巻。 16, No. 4, pp. 373-379, 1970。 0.77
[16] D. Berthelot, N. Carlini, E. D. Cubuk, A. Kurakin, K. Sohn, H. Zhang, and C. Raffel, “ReMixMatch: Semi-supervised learning with distribution matching and augmentation anchoring,” in International Conference on Learning Representations, 2020. D. Berthelot, N. Carlini, E. D. Cubuk, A. Kurakin, K. Sohn, H. Zhang, C. Raffel, “ReMixMatch: Semi-supervised learning with distribution matching and augmentation anchoring”. International Conference on Learning Representations, 2020.
訳抜け防止モード: 16] D. Berthelot, N. Carlini, E. D. Cubuk, A. Kurakin, K. Sohn, H. Zhang, C. Raffel ReMixMatch : Semi - 分散マッチングと拡張アンカーによる教師付き学習」 International Conference on Learning Representations , 2020 に参加して
0.90
[17] E. D. Cubuk, B. Zoph, J. Shlens, and Q. V. Le, “RandAugment: Practical automated data augmentation with a reduced search space,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020. E.D. Cubuk, B. Zoph, J. Shlens, Q. V. Le, “RandAugment: Practical automated data augmentation with a reduce search space”. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020. IEEE/CVF. 0.46
[18] T. DeVries and G. W. Taylor, “Improved regularization of convolutional neural networks with cutout,” arXiv preprint arXiv:1708.04552, 2017. T. DeVries and G. W. Taylor, “Improved regularization of convolutional neural network with cutout” arXiv preprint arXiv:1708.04552, 2017 0.43
[19] A. Rasmus, M. Berglund, M. Honkala, H. Valpola, and T. Raiko, “Semi-supervised learning with ladder networks,” in Advances in Neural Information Processing Systems, 2015. A. Rasmus, M. Berglund, M. Honkala, H. Valpola, T. Raiko, “Semi-supervised learning with ladder network” in Advances in Neural Information Processing Systems, 2015
訳抜け防止モード: 19 ] a. rasmus, m. berglund, m. honkala, h. valpola, t. raiko, “半教師付き学習とはしごネットワーク” ニューラル・インフォメーション・プロセッシング・システムの進歩, 2015年。
0.74
[20] S. Laine and T. Aila, “Temporal ensembling for semi-supervised learn- [20]S.レーンとT.アイラ「半教師付き学習のためのテンポラルアンサンブル」 0.59
ing,” in International Conference on Learning Representations, 2017. 2017年、international conference on learning representationsにて「ing」を発表。 0.76
[21] A. Tarvainen and H. Valpola, “Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results,” in Advances in Neural Information Processing Systems, 2017. 21] a. tarvainen, h. valpola, “mean teachers are better role models: weight-averaged consistency targets improve semi-supervised deep learning results” in progress in neural information processing systems, 2017” (英語)
訳抜け防止モード: A. Tarvainen と H. Valpola は「平均的な教師はより良い役割モデルである。 In Advances in Neural Information Processing Systems, 2017
0.49
[22] T. Miyato, S. [22]T. Miyato, S. 0.46
-i. Maeda, M. Koyama, and S. Ishii, “Virtual adversarial training: a regularization method for supervised and semi-supervised learning,” IEEE transactions on pattern analysis and machine intelligence, vol. -i。 Maeda, M. Koyama, and S. Ishii, “Virtual adversarial training: a regularization method for supervised and semi-supervised learning”, IEEE transactions on pattern analysis and machine intelligence, vol。
訳抜け防止モード: -i。 前田, 小山, S. 石井, 「仮想対人訓練 : 教師付き・半教師付き学習の正規化手法」 IEEEによるパターン解析とマシンインテリジェンスに関するトランザクション。
0.73
41, no. 8, pp. 1979–1993, 2018. 41, No. 8, pp. 1979–1993, 2018。 0.46
[23] H. Zhang, M. Cisse, Y. N. Dauphin, and D. Lopez-Paz, “mixup: Beyond empirical risk minimization,” in International Conference on Learning Representations, 2018. H. Zhang, M. Cisse, Y. N. Dauphin, D. Lopez-Paz, “mixup: Beyond empirical risk minimization”. International Conference on Learning Representations, 2018.
訳抜け防止モード: 23] h. zhang, m. cisse, y. n. dauphin, d. lopez - paz, “mixup: beyond empirical risk minimization” 学習表現に関する国際会議、2018年。
0.76
[24] D. Berthelot, N. Carlini, I. Goodfellow, N. Papernot, A. Oliver, and C. A. Raffel, “MixMatch: A holistic approach to semi-supervised learning,” in Advances in Neural Information Processing Systems, 2019. [24] d. berthelot, n. carlini, i. goodfellow, n. papernot, a. oliver, c. a. raffel, “mixmatch: a holistic approach to semi-supervised learning”, 2019年のニューラル情報処理システムの発展。 0.84
[25] V. Verma, A. Lamb, J. Kannala, Y. Bengio, and D. Lopez-Paz, “Interpolation consistency training for semi-supervised learning,” in Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19, 2019. 25] v. verma, a. lamb, j. kannala, y. bengio, d. lopez-paz, “interpolation consistency training for semi-supervised learning”は、2019年の第28回人工知能国際合同会議(ijcai-19, 2019)で発表された。 0.64
[26] D. Yarowsky, “Unsupervised word sense disambiguation rivaling suthe association for [26]D. Yarowsky, “unsupervised word sense disambiguation rivaling suthe association for 0.43
pervised methods,” in 33rd annual meeting of computational linguistics, 1995. 第33回計算言語学会年次大会「pervised methods」に参加して 0.69
[27] D. -H. [27]D。 -h。 0.55
Lee et al , “Pseudo-Label: The simple and efficient semisupervised learning method for deep neural networks,” in Workshop on challenges in representation learning, ICML, 2013. lee et al, “pseudo-label: the simple and efficient semisupervised learning method for deep neural networks” in workshop on challenges in representation learning, icml, 2013” (英語)
訳抜け防止モード: lee et al, “ pseudo- label: the simple and efficient semisupervised learning method for deep neural networks” など。 icml, 2013 における表現学習の課題に関するワークショップ
0.76
[28] H. Pham, Z. Dai, Q. Xie, and Q. V. Le, “Meta pseudo labels,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021. 2021年、ieee/cvf conference on computer vision and pattern recognitionでh. pham氏、z. dai氏、q. xie氏、q. v. le氏が、"meta pseudo labels"(メタ擬似ラベル)を発表した。
訳抜け防止モード: [28]h.pham,z.dai,q.xie, ieee / cvf conference on computer vision and pattern recognition, 2021 で “meta pseudo labels, ” と題された。
0.71
[29] M. N. Rizve, K. Duarte, Y. S. Rawat, and M. Shah, “In defense of pseudo-labeling: An uncertainty-aware pseudo-label selection framework for semi-supervised learning,” in International Conference on Learning Representations, 2021. M. N. Rizve, K. Duarte, Y. S. Rawat, M. Shah, “In Defense of pseudo-labeling: an uncertainty-aware pseudo-label selection framework for semi-supervised learning”. International Conference on Learning Representations, 2021. (英語)
訳抜け防止モード: J. N. Rizve, K. Duarte, Y. S. Rawat, M. Shah, “In Defense of pseudo- labeling : An uncertainty - aware pseudo- label selection framework for semi-supervised learning” 国際学習表現会議(2021年)に参加。
0.83
[30] B. Zhang, Y. Wang, W. Hou, H. Wu, J. Wang, M. Okumura, and T. Shinozaki, “FlexMatch: Boosting semi-supervised learning with curriculum pseudo labeling,” in Advances in Neural Information Processing Systems, 2021. B. Zhang, Y. Wang, W. Hou, H. Wu, J. Wang, M. Okumura, T. Shinozaki, “FlexMatch: Boosting semi-supervised learning with curriculum pseudo labeling” in Advances in Neural Information Processing Systems, 2021。
訳抜け防止モード: [30 ] b. zhang, y. wang, w. hou, h.wu、j.wang、m.奥村、t.篠崎。 “flexmatch: boosting semi-supervised learning with curriculum pseudo labeling” 神経情報処理システムの進歩 2021年
0.71
[31] Y. Xu, L. Shang, J. Ye, Q. Qian, Y. [31] y. xu, l. shang, j. ye, q. qian, y. 0.38
-F. Li, B. Sun, H. Li, and R. Jin, “Dash: Semi-supervised learning with dynamic thresholding,” in International Conference on Machine Learning, 2021. -F。 Li, B. Sun, H. Li, R. Jin, “Dash: semi-supervised learning with dynamic thresholding” in International Conference on Machine Learning, 2021。
訳抜け防止モード: -F。 Li, B. Sun, H. Li, R. Jin ダッシュ : セミ - 動的しきい値を用いた教師付き学習 - International Conference on Machine Learning, 2021 に参加して
0.63
[32] Y. Xu, J. Ding, L. Zhang, and S. Zhou, “DP-SSL: Towards robust semisupervised learning with a few labeled samples,” in Advances in Neural Information Processing Systems, 2021. [32] y. xu, j. ding, l. zhang, s. zhou, “dp-ssl: towards robust semisupervised learning with a few labeled samples” in advances in neural information processing systems, 2021” (英語)
訳抜け防止モード: [32]y.xu,j.ding,l.zhang, s. zhou, “dp - ssl: towards robust semisupervised learning with a few labeled samples” (英語) 神経情報処理システムの進歩 2021年
0.78
[33] Z. Hu, Z. Yang, X. Hu, and R. Nevatia, “SimPLE: Similar pseudo label exploitation for semi-supervised classification,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021. Z. Hu, Z. Yang, X. Hu, R. Nevatia, “Simple: pseudo label exploitation for semi-supervised classification” in IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021。
訳抜け防止モード: [33 ]Z. Hu,Z. Yang,X. Hu, とR. Nevatiaは「SimPLE : pseudo label exploitation for semi-supervised classification」と題する。 IEEE / CVF Conference on Computer Vision and Pattern Recognition, 2021 (英語)
0.82
[34] I. Nassar, S. Herath, E. Abbasnejad, W. Buntine, and G. Haffari, “All labels are not created equal: Enhancing semi-supervision via label grouping and co-training,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021.[34] I. Nassar, S. Herath, E. Abbasnejad, W. Buntine, G. Haffari, “すべてのラベルは等しく作られていない。 0.70
[35] M. Caron, H. Touvron, I. Misra, H. J´egou, J. Mairal, P. Bojanowski, and A. Joulin, “Emerging properties in self-supervised vision transformers,” in IEEE/CVF International Conference on Computer Vision (ICCV), 2021. M. Caron, H. Touvron, I. Misra, H. J ́egou, J. Mairal, P. Bojanowski, A. Joulin, “Emerging properties in self-supervised vision transformer” in IEEE/CVF International Conference on Computer Vision (ICCV, 2021)。
訳抜け防止モード: [35 ] m. caron, h. touvron, i. misra, h.j.'egou, j. mairal, p. bojanowski, a. joulin。 ieee / cvf international conference on computer vision (iccv) 2021に収録されている。
0.70
[36] X. Wang, D. Kihara, J. Luo, and G. [36] X. Wang, D. Kihara, J. Luo, G. 0.46
-J. Qi, “EnAET: A self-trained framework for semi-supervised and supervised learning with ensemble transformations,” IEEE Transactions on Image Processing, vol. -j。 IEEE Transactions on Image Processing, vol. IEEE Transactions, “Qi, “EnAET: 半教師付き学習とアンサンブル変換による教師付き学習のための自己学習フレームワーク”。
訳抜け防止モード: -j。 qi, “enaet: a self-trained framework for semi-supervised and supervised learning with ensemble transformations” ieeeは画像処理でトランザクションを処理します。
0.75
30, pp. 1639–1647, 2020. pp. 1639-1647, 2020。 0.67
[37] X. Zhai, A. Oliver, A. Kolesnikov, and L. Beyer, “S4L: Self-supervised semi-supervised learning,” in IEEE/CVF International Conference on Computer Vision, 2019. X. Zhai, A. Oliver, A. Kolesnikov, L. Beyer, “S4L: Self-supervised semi-supervised learning” in IEEE/CVF International Conference on Computer Vision, 2019。
訳抜け防止モード: [37 ]X. Zhai, A. Oliver, A. Kolesnikov, そしてL. Beyer氏は,“S4L : Self - supervised semi- supervised learning”と題する。 IEEE / CVF International Conference on Computer Vision, 2019 に登場。
0.71
[38] T. Han, J. Gao, Y. Yuan, and Q. Wang, “Unsupervised semantic aggregation and deformable template matching for semi-supervised learning,” in Advances in Neural Information Processing Systems, 2020. [38] t. han, j. gao, y. yuan, q. wang, “unsupervised semantic aggregation and deformable template matching for semi-supervised learning” in advances in neural information processing systems, 2020” (英語)
訳抜け防止モード: [38 ]T. Han, J. Gao, Y. Yuan, 半教師あり学習のための教師なしセマンティックアグリゲーションと変形可能なテンプレートマッチング”。 ニューラル情報処理システムの進歩 -2020年-
0.67
[39] T. Chen, S. Kornblith, K. Swersky, M. Norouzi, and G. E. Hinton, “Big self-supervised models are strong semi-supervised learners,” in Advances in Neural Information Processing Systems, 2020. T. Chen氏、S. Kornblith氏、K. Swersky氏、M. Norouzi氏、G. E. Hinton氏は、2020年のAdvanceds in Neural Information Processing Systemsでこう述べている。
訳抜け防止モード: [39 ]T. Chen, S. Kornblith, K. Swersky, M. Norouzi, G. E. Hinton両氏は,“大規模自己教師型モデルは強力なセミ教師型学習者である”と述べている。 ニューラル情報処理システムの進歩
0.70
[40] Y. E. Nesterov, “A method for solving the convex programming problem 40]y.e.ネステロフ著「凸計画問題の解法」 0.59
with convergence rate O(1/k2),” in Dokl. 収束率 O(1/k2)” は Dokl で表される。 0.64
akad. nauk Sssr, 1983. アカド 1983年、ssrに入社。 0.48
[41] I. Loshchilov and F. Hutter, “SGDR: Stochastic gradient descent with warm restarts,” in International Conference on Learning Representations, 2017. I. Loshchilov and F. Hutter, “SGDR: Stochastic gradient descend with warm restarts”. International Conference on Learning Representations, 2017. (英語)
訳抜け防止モード: [41 ] I. Loshchilov, F. Hutter, “SGDR : Stochastic gradient descend with warm restarts” 2017年、国際学習表現会議に参加。
0.81
[42] Y. Netzer, T. Wang, A. Coates, A. Bissacco, B. Wu, and A. Y. Ng, “Reading digits in natural images with unsupervised feature learning,” in NIPS Workshop on Deep Learning and Unsupervised Feature Learning, 2011. NIPS Workshop on Deep Learning and Unsupervised Feature Learning, 2011[42] Y. Netzer, T. Wang, A. Coates, A. Bissacco, B. Wu, A. Y. Ng, “Reading digits in natural image with unsupervised feature learning”. NIPS Workshop on Deep Learning and Unsupervised Feature Learning.
訳抜け防止モード: [42 ]Y.Netzer,T.Wang,A.Co ates, A. Bissacco, B. Wu, A. Y. Ng,” 非教師なしの特徴学習による自然画像の数字を読む”。 NIPS Workshop on Deep Learning and Unsupervised Feature Learning, 2011
0.86
[43] A. Coates, A. Ng, and H. Lee, “An analysis of single-layer networks the fourteenth in unsupervised feature learning,” in Proceedings of international conference on artificial intelligence and statistics, 2011. [43] a. coates, a. ng, h. lee, "a analysis of single-layer networks the 14th in unsupervised feature learning" in the international conference on artificial intelligence and statistics, 2011 (英語)
訳抜け防止モード: [43 ] A. Coates, A. Ng, H. Lee 『教師なし機能学習における14番目の単層ネットワークの分析』 in Proceedings of International Conference on Artificial Intelligence and statistics, 2011
0.80
[44] S. Zagoruyko and N. Komodakis, “Wide residual networks,” in Proceed- 44] s. zagoruyko と n. komodakis は "広範なネットワーク" を継続している。 0.64
ings of the British Machine Vision Conference (BMVC), 2016. ings of the british machine vision conference (bmvc) 2016年。 0.71
[45] M. Larsson, E. Stenborg, C. Toft, L. Hammarstrand, T. Sattler, and F. Kahl, “Fine-grained segmentation networks: Self-supervised segmentation for improved long-term visual localization,” in IEEE/CVF conference on computer vision and pattern recognition, 2019. M. Larsson, E. Stenborg, C. Toft, L. Hammarstrand, T. Sattler, F. Kahl, “Fine-fine segmentation network: Self-supervised segmentation for improve long-term visual localization”, IEEE/CVF conference on computer vision and pattern recognition, 2019”. 2019年3月1日閲覧。
訳抜け防止モード: [45 ]M. Larsson, E. Stenborg, C. Toft, L. Hammarstrand, T. Sattler, F. Kahl, “きめ細かいセグメンテーションネットワーク : 長期視覚的ローカライゼーションを改善するための自己監督セグメンテーション”。 IEEE / CVF conference on computer vision and pattern recognition, 2019。
0.83
               ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。