論文の概要、ライセンス

# (参考訳) 連続表現学習のためのコントラスト教師付き蒸留 [全文訳有]

Contrastive Supervised Distillation for Continual Representation Learning ( http://arxiv.org/abs/2205.05476v1 )

ライセンス: CC BY 4.0
Tommaso Barletti, Niccolo' Biondi, Federico Pernici, Matteo Bruni, Alberto Del Bimbo(参考訳) 本稿では,ニューラルネットワークモデルを逐次学習し,視覚検索タスクにおける破滅的な忘れを軽減させる連続表現学習問題に対する新たなトレーニング手順を提案する。 Contrastive Supervised Distillation (CSD) と呼ばれる本手法は, 識別的特徴を学習しながら, 特徴忘れを減らす。 これは、学生モデルが教師モデルから対照的に学習される蒸留環境でラベル情報を活用することで達成される。 大規模な実験により、CSDは破滅的な忘れを軽減し、最先端の手法より優れていることが示されている。 また,視覚検索タスクで評価された特徴忘れは,分類タスクほど破滅的ではないことを示す。 コード・アット: https://github.com/n iccobiondi/contrasti vesuperviseddistilla tion。

In this paper, we propose a novel training procedure for the continual representation learning problem in which a neural network model is sequentially learned to alleviate catastrophic forgetting in visual search tasks. Our method, called Contrastive Supervised Distillation (CSD), reduces feature forgetting while learning discriminative features. This is achieved by leveraging labels information in a distillation setting in which the student model is contrastively learned from the teacher model. Extensive experiments show that CSD performs favorably in mitigating catastrophic forgetting by outperforming current state-of-the-art methods. Our results also provide further evidence that feature forgetting evaluated in visual retrieval tasks is not as catastrophic as in classification tasks. Code at: https://github.com/N iccoBiondi/Contrasti veSupervisedDistilla tion.
公開日: Wed, 11 May 2022 13:20:47 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Contrastive Supervised Distillation for Continual Representation Learning 連続表現学習のためのコントラスト教師付き蒸留 0.69
Tommaso Barletti∗[0000−0001−7460−4710], Niccol´o Biondi∗†[0000−0003−1153−1651], Tommaso Barletti∗[0000−0001−7460−4710], Niccol ́o Biondi∗(0000−0003−1153−1651], 0.30
Federico Pernici[0000−0001−7036−6655], Matteo Bruni[0000−0003−2017−1061], federico pernici [0000−0001−7036−6655], matteo bruni[0000−0003−2017−1061] 0.27
and Alberto Del Bimbo[0000−0002−1052−8322] アルベルト・デル・ビンボ[0000−0002−1052−8322] 0.40
2 2 0 2 y a M 1 1 2 2 0 2 y a m 1 1 である。 0.54
] V C . s c [ ] 略称はC。 sc [ 0.39
1 v 6 7 4 5 0 1 v 6 7 4 5 0 0.42
. 5 0 2 2 : v i X r a . 5 0 2 2 : v i X r a 0.42
Media Integration and Communication Center (MICC), Dipartimento di Ingegneria メディア統合通信センター(MICC, Dipartimento di Ingegneria) 0.74
dell’Informazione, Universit`a degli Studi di Firenze dell'Informazione, Universit`a degli Studi di Firenze 0.42
name.surname@unifi.i t name.surname@unifi.i t 0.29
Abstract. In this paper, we propose a novel training procedure for the continual representation learning problem in which a neural network model is sequentially learned to alleviate catastrophic forgetting in visual search tasks. 抽象。 本稿では,ニューラルネットワークモデルを逐次学習し,視覚検索タスクにおける破滅的な忘れを軽減させる連続表現学習問題に対する新たなトレーニング手順を提案する。 0.60
Our method, called Contrastive Supervised Distillation (CSD), reduces feature forgetting while learning discriminative features. Contrastive Supervised Distillation (CSD) と呼ばれる本手法は, 識別的特徴を学習しながら, 特徴忘れを減らす。 0.72
This is achieved by leveraging labels information in a distillation setting in which the student model is contrastively learned from the teacher model. これは、学生モデルが教師モデルから対照的に学習される蒸留環境でラベル情報を活用することで達成される。 0.77
Extensive experiments show that CSD performs favorably in mitigating catastrophic forgetting by outperforming current state-ofthe-art methods. 大規模な実験により、CSDは破滅的な忘れを軽減し、現在の最先端の手法より優れていることが示されている。
訳抜け防止モード: 大規模な実験は CSDは、破滅的な忘れを減らし、現在の状態、すなわち芸術的手法より優れている。
0.39
Our results also provide further evidence that feature forgetting evaluated in visual retrieval tasks is not as catastrophic as in classification tasks. また,視覚検索タスクで評価された特徴忘れは,分類タスクほど破滅的ではないことを示す。 0.67
Code at: https://github.com/N iccoBiondi/Contrasti veSupervisedDistilla tion. コード・アット: https://github.com/n iccobiondi/contrasti vesuperviseddistilla tion。 0.27
Keywords: Representation Learning · Continual Learning · Image Retrieval · Visual Search · Contrastive Learning · Distillation. キーワード:表現学習 · 連続学習 · 画像検索 · ビジュアル検索 · コントラスト学習 · 蒸留 0.74
1 Introduction Deep Convolutional Neural Networks (DCNNs) have significantly advanced the field of visual search or visual retrieval by learning powerful feature representations from data [1,2,3]. 1 はじめに 深層畳み込みニューラルネットワーク(dcnn)は,データから強力な特徴表現を学習することにより,視覚検索や視覚検索の分野を著しく進歩させた [1,2,3]。 0.55
Current methods predominantly focus on learning feature representations from static datasets in which all the images are available during training [4,5,6]. 現在の手法は主に、トレーニング中にすべてのイメージが利用できる静的データセットから特徴表現を学ぶことに焦点を当てています [4,5,6]。
訳抜け防止モード: 主に焦点をあてる現在の方法 トレーニング中にすべてのイメージが利用できる静的データセットから特徴表現を学ぶ[4,5,6 ]。
0.80
This operative condition is restrictive in real-world applications since new data are constantly emerging and repeatedly training DCNN models on both old and new images is timeconsuming. この操作条件は、新しいデータが常に出現し、古い画像と新しい画像の両方で繰り返しDCNNモデルを訓練するので、現実世界のアプリケーションでは制限がある。 0.64
Static datasets, typically stored on private servers, are also increasingly problematic because of the societal impact associated with privacy and ethical issues of modern AI systems [7,8]. 静的データセットは、一般的にプライベートサーバに格納されるが、現代のAIシステムのプライバシーと倫理的問題に関連する社会的影響のため、ますます問題になっている。 0.54
These problems may be significantly reduced in incremental learning scenarios as the computation is distributed over time and training data are not required to be stored on servers. これらの問題は、計算が時間とともに分散され、トレーニングデータがサーバーに格納される必要がないため、漸進的な学習シナリオにおいて著しく減少する可能性がある。 0.61
The challenge of learning feature representation in incremental scenarios has to do with the inherent problem of catastrophic forgetting, namely the loss of previously learned knowledge when new knowledge is assimilated [9,10]. インクリメンタルなシナリオにおける特徴表現の学習の課題は、破滅的な忘れるという本質的な問題、すなわち、新しい知識が同化されたときに前もって学んだ知識を失うことだ [9,10]。 0.64
Methods for alleviating catastrophic forgetting has been largely developed in the classification setting, in which 分類設定において, 壊滅的な忘れを緩和する手法が広く開発されてきた。 0.58
(cid:63) Tommaso Barletti and Niccol´o Biondi contributed equally. (第63話) Tommaso Barletti と Niccol ́o Biondi も同様に貢献した。 0.58
† Corresponding Author. 対応する作家。 0.39
英語(論文から抽出)日本語訳スコア
2 T. Barletti et al 2 T. Barletti et al 0.46
catastrophic forgetting is typically observed by a clear reduction in classification accuracy [11,12,13,14,15]. 破滅的な忘れ物は通常、明確な分類精度の低下[11,12,13,14,15]によって観察される。 0.44
The fundamental differences with respect to learning internal feature representation for visual search tasks are: (1) evaluation metrics do not use classification accuracy (2) visual search data have typically a finer granularity with respect to categorical data and (3) no classes are required to be specifically learned. 視覚探索課題における内的特徴表現の学習に関する基本的な違いは、(1) 評価指標は分類精度を使用しない(2) 視覚探索データは分類データに関して通常より細かい粒度を有し、(3) 具体的に学習する必要のないクラスである。 0.87
These differences might suggest different origins of the two catastrophic forgetting phenomena. これらの違いは、2つの破滅的な忘れる現象の異なる起源を示唆するかもしれない。 0.50
In this regard, some recent works provide some evidence showing the importance of the specific task when evaluating the catastrophic forgetting of the learned representations [16,17,18,19]. この点に関して、近年のいくつかの研究は、学習された表現の破滅的な忘れ方を評価する際に、特定のタスクの重要性を示す証拠を提供している [16,17,18,19]。 0.45
In particular, the empirical evidence presented in [16] suggests that feature forgetting is not as catastrophic as classification forgetting. 特に、[16]で示された実証的な証拠は、特徴的忘れは分類的忘れほど破滅的なものではないことを示唆している。
訳抜け防止モード: 特に [16 ] に示される経験的証拠は, 特徴の忘れは 分類の忘れほど 悲惨なものではない
0.67
We argue that such evidence is relevant in visual search tasks and that it can be exploited with techniques that learn incrementally without storing past samples in a memory buffer [20]. このような証拠はビジュアル検索のタスクに関係しており、過去のサンプルをメモリバッファに保存せずにインクリメンタルに学習するテクニックを活用できると主張している [20]。 0.81
According to this, in this paper, we propose a new distillation method for the continual representation learning task, in which the search performance degradation caused by feature forgetting is jointly mitigated while learning discriminative features. そこで,本研究では,特徴の識別的特徴を学習しながら,特徴の忘れによる探索性能の低下を共同で軽減する,連続表現学習タスクのための新たな蒸留法を提案する。 0.83
This is achieved by aligning current and previous features of the same class, while simultaneously pushing away features of different classes. これは、異なるクラスの機能を同時にプッシュしながら、同じクラスの現在の機能と以前の機能を調整することで達成される。
訳抜け防止モード: これは 異なるクラスの機能を同時にプッシュしながら、同じクラスの現在の機能と以前の機能を調整する。
0.75
We follow the basic working principle of contrastive loss [21] used in self-supervised learning, to effectively leverage label information in a distillation-based training procedure in which we replace anchor features with the feature of the teacher model. 我々は,教師モデルの特徴をアンカーの特徴に置き換えた蒸留ベースの訓練手順において,自己教師学習で使用されるコントラスト損失[21]の基本的な作業原理に従い,ラベル情報を有効に活用する。 0.82
Our contributions can be summarized as follows: 私たちの貢献は次のように要約できる。 0.61
1. We address the problem of continual representation learning proposing a novel method that leverages label information in a contrastive distillation learning setup. 1) コントラスト蒸留学習環境におけるラベル情報を活用した新しい手法を提案する, 連続表現学習の問題に対処する。 0.76
We call our method Contrastive Supervised Distillation (CSD). われわれはContrastive Supervised Distillation (CSD) と呼ぶ。 0.68
2. Experimental results on different benchmark datasets show that our CSD training 2. 異なるベンチマークデータセットによる実験結果から、我々のCSDトレーニングが示される 0.68
procedure achieves state-of-the-art performance. プロシージャは最先端のパフォーマンスを達成する。 0.31
3. Our results confirm that feature forgetting in visual retrieval using fine-grained 3. きめ細かな粒度を用いた視覚検索における特徴忘れの確認 0.60
datasets is not as catastrophic as in classification. データセットは分類ほど壊滅的ではない。 0.76
2 Related Works Continual Learning (CL). 関連作品2件 継続学習(CL)。 0.75
CL has been largely developed in the classification setting, where methods have been broadly categorized based on exemplar [22,23,24,25] and regularization [26,27,20,28]. cl は、exemplar [22,23,24,25] と regularization [26,27,20,28] に基づいて広く分類される分類設定において大きく発展した。 0.66
Only recently, continual learning for feature representation is receiving increasing attention and few works pertinent to the regularizationbased category has been proposed [17,18,19]. つい最近になって、特徴表現の継続的な学習に注目が集まっており、正規化に基づくカテゴリに関連する作品がほとんどない[17,18,19]。
訳抜け防止モード: つい最近になって,特徴表現の継続的な学習が注目を集めている そして、正規化に基づくカテゴリーに関連する作品はほとんど提案されていない [17,18,19 ]。
0.55
The work in [17] proposed an unsupervised alignment loss between old and new feature distributions according to the Mean Maximum Discrepancy (MMD) distance [29]. 17] では,平均最大偏差 (mmd) 距離 [29] に応じて,古い特徴分布と新しい特徴分布の教師なしアライメント損失を提案した。 0.77
The work [19] uses both the previous model and estimated features to compute a semantic correlation between representations during multiple model updates. 作業[19]では,前モデルと推定機能の両方を使用して,複数のモデル更新中の表現間の意味相関を計算する。 0.77
The estimated features are used to reproduce the behaviour of older models that are no more available. 推定された特徴は、もはや利用できない古いモデルの振る舞いを再現するために使用される。 0.69
Finally, [18] addresses the problem of lifelong person re-identification in which the previously acquired knowledge is represented as similarity graphs and it is transferred on the current data through graphs convolutions. 最後に、[18]は、予め取得した知識を類似性グラフとして表現し、グラフ畳み込みを通じて現在のデータに転送する生涯の人物再同定の問題に対処する。 0.72
While these methods use labels only to learn new tasks, our method leverages labels information to both learn incoming tasks and for distillation. これらの手法はラベルを利用して新しいタスクを学習するが、本手法はラベル情報を利用して入ってくるタスクと蒸留の両方を学習する。 0.61
英語(論文から抽出)日本語訳スコア
Contrastive Supervised Distillation for Continual Representation Learning 連続表現学習のためのコントラスト教師付き蒸留 0.69
3 Reducing feature forgetting with feature distillation is also related to the recent backward compatible representation learning in which newly learned models can be deployed without the need to re-index the existing gallery images [30,31,32]. 3 特徴蒸留による機能忘れの軽減は、既存のギャラリーイメージ[30,31,32]をインデクシングすることなく、新たに学習したモデルをデプロイできる、最近の後方互換性のある表現学習にも関係している。 0.54
This may have an impact on privacy as also the gallery images are not required to be stored on servers. これはプライバシーに影響を与え、ギャラリーイメージはサーバに保存される必要はない。
訳抜け防止モード: これはプライバシーに影響を及ぼすかもしれない また ギャラリーイメージは サーバーに保存される必要はない
0.84
Finally, the absence of the cost re-indexing is advantageous in streaming learning scenarios as [33,34]. 最後に、コスト再インデックスの欠如は、ストリーミング学習シナリオにおいて[33,34]として有利である。 0.61
Contrastive Learning Contrastive learning has been proposed in [35] for metric learning and then it is demonstrated to be effective in unsupervised/self-su pervised representation learning [36,37,21]. 比較学習は, [35] のメートル法学習において提案され, 教師なし/自己教師なし表現学習 [36,37,21] において有効であることが示されている。
訳抜け防止モード: メトリクス学習のためのコントラスト学習が[35 ]に提案されている そしてそれを実証し 教師なし/自己指導型表現学習 [36,37,21 ] に有効である。
0.67
All these works focus on obtaining discriminative representations that can be transferred to downstream tasks by fine-tuning. これらの作業はすべて、微調整によって下流タスクに転送可能な識別表現の獲得に重点を置いている。
訳抜け防止モード: これらの作品は全て 微調整によって下流タスクに転送可能な識別表現を得る。
0.68
In particular, this is achieved as, in the feature space, each image and its augmented samples (the positive samples) are grouped together while the others (the negative samples) are pushed away. 特に、特徴空間において、各画像とその強化されたサンプル(正のサンプル)がグループ化され、他のサンプル(負のサンプル)が押し出されます。 0.65
However, [38] observed that, given an input image, samples of the same class are considered as negative and, consequently, pushed apart from it. しかし, [38] では, 入力画像が与えられた場合, 同一クラスのサンプルは負と見なされ, その結果, 分離されるのが観察された。 0.83
We follow a similar argument which considers as positive also these images. これらの画像も肯定的と考える類似の議論に従う。 0.64
3 Problem Statement In the continual representation learning problem, a model M(· ; θ, W) is sequentially trained for T tasks on a dataset D = {(xi, yi, ti)| i = 1, 2, . . . , N}, where xi is an image of a class yi ∈ {1, 2, . . . , L}, N is the number of images, and ti ∈ {1, 2, . . . , T} is the task index associated to each image. 3 問題ステートメント 連続表現学習問題において、モデル M(· ; θ, W) はデータセット D = {(xi, yi, ti)| i = 1, 2, . . . . . . . . . . . . . . . L}, N は画像の数、ti ∈ {1, 2, . . . T} は各画像に関連するタスクインデックスである。
訳抜け防止モード: 連続表現学習問題における3つの問題文、モデル m ( · ; θ, ) w ) はデータセット d = { ( xi, xi) 上の t タスクに対して順次訓練される。 yi, ti)| i = 1, 2, . . . , n }, ここで xi はクラス yi ∈ { 1 の像である。 2 . . . . , l }, n は画像の数である。 そして ti ∈ { 1, 2, ... である。 t } は各イメージに関連付けられたタスクインデックスである。
0.86
In particular, for each task k, M is trained on the subset Tk = D|ti=k = {(xi, yi, ti)| ti = k} which represents the k-th training-set that is composed by Lk classes. 特に、各タスク k に対して、m は lk クラスからなる k 番目のトレーニング集合を表す部分集合 tk = d|ti=k = {(xi, yi, ti)| ti = k 上で訓練される。 0.75
Each training-set has different classes and images with respect to the others and only Tk is available to train the model M (memory-free). 各トレーニングセットは、他のクラスと異なるイメージを持ち、TkのみがモデルM(メモリフリー)をトレーニングすることができる。 0.78
At training time of task k, in response to a mini-batch B = {(xi, yi, ti)}|B| タスク k のトレーニング時には、ミニバッチ B = {(xi, yi, ti)}|B| に対応する。 0.80
i=1 of Tk, the model M extracts the feature vectors and output logits for each image in the batch, i.e., M(xi) = C(φ(xi)), where φ(·, θ) is the representation model which extracts the feature vector fi = φ(xi) and C is the classifier, which projects the feature vector fi in an output vector zi = C(fi). M(xi) = C(φ(xi)) ここで φ(·, θ) は特徴ベクトル fi = φ(xi) を抽出する表現モデルであり、C は分類器であり、これは出力ベクトル zi = C(fi) に特徴ベクトル fi を投影する。
訳抜け防止モード: モデルMは、Tkのi=1で特徴ベクトルを抽出し、バッチ内の各画像に対する出力ロジットを出力する。 M(xi ) = C(φ(xi ) ) ここで φ ( ·, θ ) は特徴ベクトル fi = φ(xi ) を抽出する表現モデルである。 そして C は分類器で、 特徴ベクトル fi を出力ベクトル zi = C(fi) に投影する。
0.83
At the end of the training phase, M is used to index a gallery-set G = {(xg, yg)| g = 1, 2, . . . , Ng} according to the extracted feature vectors {(fg, yg)}Ng g=1. トレーニングフェーズの最後に、m は、抽出された特徴ベクトル {(fg, yg)}ng g=1 に従って、ギャラリー集合 g = {(xg, yg)| g = 1, 2, . . . , ng} をインデックスするために使用される。 0.85
At test time, a query-set Q = {xq | q = 1, 2, . . . , Nq} is processed by the representation model φ(·, θ) in order to obtain the set of feature vectors {fq}Nq q=1. テスト時、クエリ集合 q = {xq | q = 1, 2, . . . , nq} は表現モデル φ(·, θ) によって処理され、特徴ベクトル {fq}nq q=1 の集合を得る。
訳抜け防止モード: テスト時に、クエリ - set q = { xq | q = 1 とする。 2 . . . . . , nq } は表現モデル φ ( ·, θ ) によって順番に処理される。 特徴ベクトル {fq}nqqq=1 の集合を得る。
0.84
According to cosine distance function d, the nearest sample in the gallery-set G is retrieved for each query sample fq, i.e., 余弦距離関数dにより、各クエリサンプルfq、すなわち、ギャラリーセットGの最も近いサンプルを検索する。 0.67
4 Method g=1,2,...,Ng 4つの方法 g=1,2,...,Ng 0.53
f∗ = arg min f∗ = arg min 0.49
d(fg, fq), (1) d(fg, fq) (1) 0.39
To mitigate the effect of catastrophic forgetting while acquiring novel knowledge from incoming data, we propose a training procedure that follows the teacher-student framework, where the teacher is the model before the update and the student is the model that 入力データから新たな知識を得ながら破滅的忘れを緩和するために,教師が教師のモデルであり,生徒がモデルである教師学生の枠組みに従う訓練手順を提案する。 0.68
英語(論文から抽出)日本語訳スコア
4 T. Barletti et al 4 T. Barletti et al 0.46
Fig. 1: Proposed method is based on the teacher-student framework. 第1図:提案手法は教師・生徒の枠組みに基づく。 0.81
During the training of the student, CE and triplet losses are minimized to learn the new task data, are KD and CSD are used to preserve the old knowledge using the teacher (not trainable). 学生の訓練中、ceとトリプレットの損失は、新しいタスクデータを学ぶために最小化され、教師(訓練不能)を使用して古い知識を保存するためにkdとcsdが使用される。 0.68
is updated. The teacher is leveraged during the training of the student to preserve the old knowledge as old data is not available. 更新されます 教師は、古いデータが入手できないため、学生のトレーニング中に古い知識を保存するために活用される。 0.76
With reference to Fig 1, at each task k, the student is trained on the training-set Tk = {(xi, yi, ti)| ti = k} and the teacher is set as frozen, i.e., not undergoing learning. フィグ1について、各タスク k において、生徒はトレーニングセット Tk = {(xi, yi, ti)| ti = k} で訓練され、教師は凍結、すなわち学習を行わないように設定される。 0.70
The loss function that is minimized during the training of the student is the following: 学生の訓練中に最小化される損失関数は以下のとおりである。 0.80
L = Lplasticity + Lstability L = L可塑性 + Lstability 0.42
(2) where Lstability = 0 during the training of the model on the first task. (2) 最初のタスクでモデルのトレーニング中に、Lstability = 0となる。 0.59
In the following, the components of the plasticity and stability loss are analyzed in detail. 以下に、可塑性と安定性損失の成分を詳細に分析する。 0.67
In particular, we adopt the following notation. 特に、以下の表記を採用する。 0.55
Given a mini-batch B of training data, both the student and the teacher networks produce a set of feature vectors and classifier outputs in response to training images xi ∈ B. We refer to as {fi}, {zi} for the feature vectors and classifier outputs of the student, respectively, with {f(cid:48) i} for the teacher ones, and with |B| to the number of elements in the mini-batch. 訓練データのミニバッチbが与えられると、生徒と教師ネットワークは、訓練画像xi ∈ bに応じて一連の特徴ベクトルと分類器の出力を生成する。我々は、各生徒の特徴ベクトルと分類器の出力について、それぞれ {fi}, {zi} と呼び、教師の場合は {f(cid:48) i}、ミニバッチの要素数には |b| を用いる。 0.79
i}, {z(cid:48) i}, {z(cid:48) 0.47
4.1 Plasticity Loss Following [17], during the training of the updated model, the plasticity loss is defined as follows: 4.1 塑性損失 17]に続いて,更新モデルのトレーニング中に,可塑性損失を次のように定義する。 0.59
Lplasticity = LCE + Ltriplet Lplasticity = LCE + Ltriplet 0.42
(3) (4) with |B|(cid:80) (3) (4) と b|(cid:80) 0.45
LCE = 1|B| LCE = 1|B| 0.34
yi log i=1 yiログ i=1 である。 0.51
Ltriplet = max(cid:0)||fi − fp||2 Ltriplet = max(cid:0)||fi − fp||2 0.35
 exp(cid:0)zi (cid:1) j=1 exp(cid:0)zj (cid:80)|B| exp(cid:0)zi (cid:1) j=1 exp(cid:0)zj (cid:80)|b| 0.37
(cid:1) (cid:1). (cid:1)>(cid:1)。 0.70
(5) LCE and Ltriplet are the cross-entropy loss and the triplet loss, respectively. (5) LCEとLtripletはそれぞれ交叉エントロピー損失と三重項損失である。 0.81
The plasticity loss of Eq 3 is optimized during the training of the model and it is used in order to learn the novel tasks. Eq 3の可塑性損失はモデルのトレーニング中に最適化され、新しいタスクを学ぶために使用される。 0.69
2 2 − ||fi − fn||2 2 2 − |fi − fn||2 0.39
𝐶! TripletCEKD{𝐱",𝑦",𝑡"}"#$%! 𝐶! TripletCEKD{x",y",t"}"#$%! 0.33
Teacher(FrozenModel) Student(UpdatedModel )CSD𝑧"DCNNDCNN𝑓"! 教師(FrozenModel)Student (UpdatedModel)CSDz&q uot;DCNNDCNNf! 0.76
𝑓"𝑧"! 𝐶 𝑓"𝑧"! 𝐶 0.78
英語(論文から抽出)日本語訳スコア
Contrastive Supervised Distillation for Continual Representation Learning 連続表現学習のためのコントラスト教師付き蒸留 0.69
5 (a) (b) Fig. 2: Proposed CSD loss. 5 (a) (b) 図2: CSDの喪失を示唆する。 0.50
(a) The features of four samples of two classes are firstly mapped in the feature space by the teacher (blue) and the student (orange). (a)2つのクラスの4つのサンプルの特徴は、まず教師(青)と学生(オレンジ)によって特徴空間にマッピングされる。 0.87
(b) With CSD samples belonging to the same class (same symbol) are clustered together and separated from the others. b)同じクラスに属するCSDサンプル(サムシンボル)をまとめて、他のものと分離する。 0.67
4.2 Stability Loss The stability loss preserves the previously acquired knowledge in order to limit the catastrophic forgetting effect, that is typically performed using the teacher model for distillation. 4.2 安定性損失 安定損失は、通常蒸留の教師モデルを用いて行われる破滅的な忘れ方効果を制限するために、以前に獲得した知識を保存する。 0.63
The stability loss we propose is formulated as follows: 提案する安定性損失は以下のとおり定式化される。 0.72
Lstability = λKD LKD + λCSD LCSD Lstability = λKD LKD + λCSD LCSD 0.47
(6) where λKD and λCSD are two weights factors that balance the two loss components, namely Knowledge Distillation (KD) and the proposed Contrastive Supervised Distillation (CSD). (6) ここで λKD と λCSD は2つの損失成分、すなわち知識蒸留 (KD) と提案されたコントラストスーパービジョン蒸留 (CSD) のバランスをとる2つの重み要因である。 0.55
In our experimental results, we set both λKD and λCSD to 1. 実験の結果,λKDとλCSDの両方を1に設定した。 0.76
An evaluation of different values is reported in the ablation studies of Sec. 6. Sec.6のアブレーション研究では,異なる値の評価が報告されている。 0.75
Knowledge Distillation. KD [39] minimizes the log-likelihood between the classifier outputs of the student and the soft labels produced by the teacher, instead of the groundtruth labels (yi) used in the standard cross-entropy loss. 知識蒸留 KD[39]は、標準的なクロスエントロピー損失に使用される基底ラベル(yi)の代わりに、生徒の分類器出力と教師が生成するソフトラベルとの間のログ類似度を最小化する。 0.61
This encourages the outputs of the updated model to approximate the outputs produced by the previous one. これにより、更新されたモデルの出力は、前のモデルの出力を近似するように促される。
訳抜け防止モード: これにより、更新されたモデルの出力が促進される 前の出力を近似します
0.84
KD is defined as follows: KDは次のように定義される。 0.59
(cid:80)|B| (cid:80)|b| 0.32
i=1 exp(cid:0)z(cid:48) (cid:1) j=1 exp(cid:0)z(cid:48) (cid:80)|B| i=1 である。 exp(cid:0)z(cid:48) (cid:1) j=1 exp(cid:0)z(cid:48) (cid:80)|B| 0.33
i j  exp(cid:0)zi (cid:1) j=1 exp(cid:0)zj (cid:1) log (cid:80)|B| 私は j j=1 exp(cid:0)zj (cid:1) log (cid:80)|B| 0.46
(cid:1) LKD = 1|B| (cid:1)。 LKD = 1|B| 0.54
(7) (8) Contrastive Supervised Distillation. (7) (8) 対照的な監督蒸留 0.45
We propose a new distillation loss, i.e., the Contrastive Supervised Distillation (CSD) that aligns current and previous feature models of the same classes while simultaneously pushing away features of different classes. 本稿では, 異なるクラスの特徴を同時に押し出しながら, 同一クラスの特徴モデルと過去の特徴モデルを整合させるコントラストスーパービジョン蒸留(Contrastive Supervised Distillation, CSD)を提案する。 0.74
This is achieved at training time imposing the following loss penalty: これは、以下の損失刑を課す訓練時間において達成される。 0.62
LCSD = − 1|B| LCSD = − 1|B| 0.37
1|P(i)| |B|(cid:80) 1|P(i)| b|(cid:80) 0.39
i=1 (cid:80) i=1 である。 (cid:80) 0.35
log p∈P(i)  exp(cid:0)f(cid:48) exp(cid:0)f(cid:48) ログ p・P(i) exp(cid:0)f(cid:48) exp(cid:0)f(cid:48) 0.47
|B|(cid:80) b|(cid:80) 0.33
i·fp (cid:1) 略称fp。 (cid:1) 0.40
i·fa  (cid:1) i・fa  (cid:1) 0.36
a=1 a(cid:54)=i a=1 a(cid:54)=i 0.34
where P(i) = {(xp, yp, tp) ∈ B| yp = yi} is a set of samples in the batch which belong to the same class of xi, i.e., the positive samples. ここで p(i) = {(xp, yp, tp) ∈ b| yp = yi} は xi の同じクラスに属するバッチのサンプルの集合、すなわち正のサンプルである。 0.75
Eq 8 encourage for each class, eq 8 クラスごとに推奨する。 0.74
𝑓!"𝑓#"𝑓! 𝑓$"𝑓%"StudentTeacherClass 1Class 2BeforeAfter𝑓%𝑓#𝑓$𝑓! 𝑓!"𝑓#"𝑓! f$"f%"StudentTeacherClass 1Class 2BeforeAfterf%f#f$f! 0.38
𝑓%𝑓#𝑓$𝑓!"𝑓#"𝑓$"𝑓%"𝑓!"𝑓#"𝑓! 𝑓%𝑓#𝑓$𝑓!"𝑓#"𝑓$"𝑓%"𝑓!"𝑓#"𝑓! 0.33
𝑓$"𝑓%"StudentTeacherClass 1Class 2BeforeAfter𝑓%𝑓#𝑓$𝑓! f$"f%"StudentTeacherClass 1Class 2BeforeAfterf%f#f$f! 0.42
𝑓%𝑓#𝑓$𝑓!"𝑓#"𝑓$"𝑓%"𝑓!"𝑓#"𝑓! 𝑓%𝑓#𝑓$𝑓!"𝑓#"𝑓$"𝑓%"𝑓!"𝑓#"𝑓! 0.33
𝑓$"𝑓%"StudentTeacherClass 1Class 2BeforeAfter𝑓%𝑓#𝑓$𝑓! f$"f%"StudentTeacherClass 1Class 2BeforeAfterf%f#f$f! 0.42
𝑓%𝑓#𝑓$𝑓!"𝑓#"𝑓$"𝑓%" 𝑓%𝑓#𝑓$𝑓!"𝑓#"𝑓$"𝑓%" 0.34
英語(論文から抽出)日本語訳スコア
6 T. Barletti et al 6 T. Barletti et al 0.46
the alignment of the student representations to the ones of the same class of the teacher model, which acts as anchors. 生徒の表現と教師モデルの同じクラスの表現のアラインメントは、アンカーとして振る舞う。 0.58
In Fig 2, we show the effect of CSD loss on four samples i=1 with yi ∈ {1, 2}. 図2では、yi ∈ {1, 2} を持つ4つのサンプル i=1 に対するcsd損失の効果を示す。 0.79
Initially (Fig. 2 (a)) the feature vectors extracted by the {(xi, yi)}4 student fi (orange samples) are separated from the teacher ones f(cid:48) i (blue samples). 最初(図)。 2 (a) {(xi, yi)}4の学生fi(オレンジサンプル)から抽出された特徴ベクトルを教師のものf(cid:48)i(青色サンプル)から分離する。 0.53
CSD clusters together features of the same class moving the student representations, which are trainable, towards the fixed ones of the teacher while pushing apart features belonging to different classes. CSDは、生徒表現をトレーニング可能な同じクラスの特徴を、異なるクラスに属する特徴を分割しながら、教師の固定されたクラスへと移動させる。 0.79
For the sake of simplicity, this effect is shown just for f(cid:48) 1 and f(cid:48) 1, while f3 and f4 are spaced apart with respect to f(cid:48) 3 which attracts f3 and f4 and push away f1 and f2 as shown in Fig 2 単純さのため、この効果は f(cid:48) 1 と f(cid:48) 1 に対してのみ示され、f3 と f4 は f3 と f4 を引き寄せて f1 と f2 を押し出す f(cid:48) 3 に対して間隔が離れている。 0.85
(b). 1 as they are of class 2. (b) 1はクラス2と同じである。 0.48
The same effect is visible also for f(cid:48) 同じ効果は f(cid:48) にも見られる。 0.79
3. Indeed, f1 and f2 become closer to f(cid:48) 3 事実、f1 と f2 は f に近づく(cid:48) 0.82
CSD imposes a penalty on feature samples considering not only the overall distribution of features of the teacher model with respect to the student one, but it also clusters together samples of the same class separating from the clusters of the other classes. csdは、生徒に対する教師モデルの全体的な特徴の分布を考慮するだけでなく、他のクラスのクラスタから分離した同じクラスのサンプルを集結させることで、特徴サンプルにペナルティを課す。 0.79
Our method differs from KD as the loss function is computed directly on the features and not on the classifier outputs resulting in more discriminative representations. 我々の方法はKDと異なり、損失関数は特徴に対して直接計算され、分類器の出力では計算されないため、より識別的な表現が得られる。 0.61
CSD also considers all the samples of each class as positive samples that are aligned with the same anchor of the teacher and not pairs (teacher-student) of samples as in [40]. CSDはまた、各クラスのすべてのサンプルを、[40]のサンプルのペア(教師-学生)ではなく、教師の同じアンカーに一致した正のサンプルとみなしている。 0.77
5 Experimental Results We perform our experimental evaluation on CIFAR-100 [41] and two fine-grained datasets, namely CUB-200 [42] and Stanford Dogs [43]. 5 実験結果 CIFAR-100[41]とCUB-200[42]とStanford Dogs[43]の2つのきめ細かいデータセットについて実験を行った。 0.75
The CIFAR-100 dataset consists of 60000 32 × 32 images in 100 classes. cifar-100データセットは、100クラスで6000032×32画像で構成される。 0.65
The CUB-200 dataset contains 11788 224 × 224 images of 200 bird species. CUB-200データセットには、200種の鳥の11788224×224の画像が含まれている。 0.59
Stanford Dogs includes over 22000 224 × 224 annotated images of dogs belonging to 120 species. スタンフォード大学の犬には、120種に属する犬の注釈付き画像が22000個以上含まれている。 0.67
The continual representation learning task is evaluated following two strategies. 連続表現学習タスクは2つの戦略に従って評価される。 0.69
In CIFAR-100, we evenly split the dataset into T training-set, where the model is trained sequentially. CIFAR-100では、データセットをTトレーニングセットに均等に分割し、モデルを逐次トレーニングする。 0.71
The experiments are evaluated with T = 2, 5, 10. 実験は T = 2, 5, 10 で評価される。 0.82
In CUB-200 and Stanford Dogs, following [44][45], we use half of the data to pre-train a model and split the remaining data into T training-set. CUB-200とStanford Dogsでは[44][45]に従って、モデルの事前トレーニングにデータの半分を使用し、残りのデータをTトレーニングセットに分割します。 0.75
CUB-200 is evaluated with T = 1, 4, 10 while Stanford Dogs with T = 1. CUB-200はT = 1, 4, 10で評価され、スタンフォードドッグはT = 1で評価される。 0.70
Implementation Details. We adopt ResNet32 [46]1 as representation model architecture on CIFAR-100 with 64-dimension feature space. 実装の詳細。 我々は64次元特徴空間を持つcifar-100の表現モデルアーキテクチャとしてresnet32 [46]1を採用する。 0.64
We trained the model for 800 epochs for each task using Adam optimizer with a learning rate of 1 · 10−3 for the initial task and 1 · 10−5 for the others. 初期タスクでは1·10−3,他のタスクでは1·10−5の学習率で,各タスクの800エポックのモデルをadamオプティマイザを用いてトレーニングした。 0.69
Random crop and horizontal flip are used as image augmentation. 画像増強にはランダム作物と水平フリップが使用される。 0.72
Following [19], we adopt pretrained Google Inception [47] as representation model architecture on CUB-200 and Stanford Dogs with 512-dimension feature space. CUB-200とStanford Dogsの512次元特徴空間における表現モデルアーキテクチャとして,事前訓練されたGoogle Inception[47]を採用した。 0.72
We trained the model for 2300 epochs for each task using with Adam optimizer with a learning rate of 1 · 10−5 for the convolutional layers and 1 · 10−6 for the classifier. 我々は,畳み込み層で1·10−5,分類器で1·10−6の学習速度を持つadam optimizerを用いて,各タスクで2300エポックのモデルを訓練した。 0.76
Random crop and horizontal flip are used as image augmentation. 画像増強にはランダム作物と水平フリップが使用される。 0.72
We adopt RECALL@K[48][44] as performance metric using each image in the test-set as query and the others as gallery. テストセットの各イメージをクエリとして,その他をギャラリーとして,RECALL@K[48][44]をパフォーマンス指標として採用する。 0.78
1 https://github.com/a rthurdouillard/incre mental learning.pytorch 1 https://github.com/a rthurdouillard/incre mental learning.pytorch 0.22
英語(論文から抽出)日本語訳スコア
Contrastive Supervised Distillation for Continual Representation Learning 連続表現学習のためのコントラスト教師付き蒸留 0.69
7 Table 1: Evaluation on CIFAR-100 of CSD and compared methods. 7 表1:CSDと比較手法のCIFAR-100の評価 0.60
METHOD Initial model Fine-Tuning LwF [20] MMD loss [17] CSD (Ours) 方法 初期モデル微調整LwF[20]MDD損失[17]SD(Ours) 0.74
Joint Training ジョイントトレーニング 0.74
RECALL@1 (1-50) 67.6 37.4 64.0 61.8 65.1 リコール@1 (1-50) 67.6 37.4 64.0 61.8 65.1 0.43
70.5 RECALL@1 (51-100) 70.5 RECALL@1(51-100) 0.37
RECALL@1 Average 21.7 64.1 59.4 60.9 61.6 リコール@1 平均 21.7 64.1 59.4 60.9 61.6 0.54
71.9 44.7 50.8 61.7 61.4 63.4 71.9 44.7 50.8 61.7 61.4 63.4 0.26
71.2 (a) CIFAR-100 with T = 5 71.2 (a)T=5のCIFAR-100 0.37
(b) CIFAR-100 with T = 10 (b)T=10のCIFAR-100 0.90
Fig. 3: Evolution of RECALL@1 on the first CIFAR-100. 図3: 最初のCIFAR-100上でのRECALL@1の進化。 0.78
Comparison between our method (CSD) and compared methods. 提案手法(CSD)と比較方法の比較を行った。 0.74
task as new tasks are learned on 新しいタスクが学習されるときのタスク 0.79
5.1 Evaluation on CIFAR-100 5.1 CIFAR-100の評価 0.63
We compare our method on CIFAR-100 dataset with the Fine-Tuning baseline, LwF [20], and [17] denoted as MMD loss. 我々は,CIFAR-100データセットとFine-Tuningベースライン,LwF[20],[17]をMDD損失として比較した。 0.72
As an upper bound reference, we report the Joint Training performance obtained using all the CIFAR-100 data to train the model. 上界基準として,CIFAR-100の全データを用いて得られた合同訓練結果について報告する。 0.70
We report in Tab. 1 the scores obtained with T = 2. タブで報告します。 1 は t = 2 で得られるスコアである。 0.67
In the first row, we show the Initial Model results, i.e., the model trained on the first half of data from CIFAR-100. 最初の行では、初期モデルの結果、すなわち、CIFAR-100のデータに基づいてトレーニングされたモデルを示す。 0.79
Our approach achieves the highest recall when evaluated on the initial task and the highest recall on the second task between methods trying to preserve old knowledge, being second only to Fine-Tuning that focuses only on learning new data. 本手法は,新しいデータのみを学習するファインチューニングに次いで,従来の知識を保存しようとする手法間の第2のタスクにおいて,第2のタスクに対する評価において,最も高いリコールを達成する。 0.71
This results in our method achieving the highest average recall value with an improvement of ∼2% RECALL@1 with respect to LwF and MMD loss and 10.4% with respect to the FineTuning baseline. その結果,LwF と MMD の損失に対して 2% RECALL@1 ,FineTuning のベースラインに対して 10.4% の改善が得られた。
訳抜け防止モード: これにより,LwF と MMD の損失に対する RECALL@1 の 2 % の改善による平均リコール値の最大値を達成することができる。 FineTuning のベースラインについては 10.4 % である。
0.71
The gap between all the continual representation learning methods and Joint Training is significant (∼8%). すべての連続的な表現学習方法と合同トレーニングのギャップは重要である(8%)。 0.69
This underlines the challenges of CIFAR-100 in a continual learning scenario since there is a noticeable difference in the appearance between images of different classes causing a higher feature forgetting. これはcifar-100の継続的な学習シナリオにおける課題を強調するものだ。なぜなら、異なるクラスの画像の外観に明らかな違いがあり、高い特徴を忘れることになるからだ。
訳抜け防止モード: このことは、CIFAR-100の継続的な学習シナリオにおける課題を浮き彫りにした。 異なるクラスのイメージ間の外観には顕著な違いがあります。
0.73
Fig. 3 (a) and Fig 3 第3図 (a)、第3図 0.71
(b) report the evolution of RECALL@1 on the initial task as new tasks are learned with T = 5 and T = 10, respectively. (b) t = 5 と t = 10 で新しいタスクが学習されるので、recall@1 の初期タスクの進化を報告します。 0.70
In both experiments, our approach does not always report the highest scores, but it achieves the most stable trend どちらの実験でも、我々のアプローチは必ずしも最高スコアを報告しないが、最も安定した傾向を達成する。
訳抜け防止モード: どちらの実験でも、我々のアプローチは必ずしも最高スコアを報告しない。 もっとも安定した傾向を
0.74
01234Train Classes4050607080Rec all@1(%)JointTrainin gFine-TuningMMDlossL wFCSD(Ours)012345678 9Train Classes5060708090Rec all@1(%)JointTrainin gFine-TuningMMDlossL wFCSD(Ours) 01234Train Classes40506080Recal l@1(%)JointTrainingF ine-TuningMMDlossLwF CSD(Ours)0123456789T rain Classes50608090Recal l@1(%)JointTrainingF ine-TuningMMDlossLwF CSD(Ours) 0.41
英語(論文から抽出)日本語訳スコア
8 T. Barletti et al 8 T. Barletti et al 0.46
Table 2: Evaluation on Stanford Dogs and CUB-200 of CSD and compared methods. 表2: スタンフォード大学犬とCUB-200のCSDおよび比較方法の評価。 0.77
STANFORD DOGS RECALL@1 (61-120) スタンフォード犬 RECALL@1 (61-120) 0.46
RECALL@1 Average RECALL@1 リコール@1 平均 リコール@1 0.67
(1-100) METHOD Initial model Fine-Tuning MMD loss [17] Feat. (1-100) 方法 初期モデル mmd 損失 [17] を微調整する。 0.53
Est. [19] CSD (Ours) Est [19]SD(Ours) 0.33
RECALL@1 (1-60) 81.3 74.0 79.5 79.9 80.9 リコール@1 (1-60) 81.3 74.0 79.5 79.9 80.9 0.56
Joint Training ジョイントトレーニング 0.74
80.4 CUB-200 RECALL@1 (101-200) 80.4 CUB-200 RECALL@1(101-200) 0.34
RECALL@1 Average 69.3 83.7 83.4 83.5 83.5 リコール@1 平均 69.3 83.7 83.4 83.5 83.5 0.54
83.1 75.3 78.8 81.4 81.7 82.2 83.1 75.3 78.8 81.4 81.7 82.2 0.26
81.7 79.2 70.2 77.0 77.7 78.6 81.7 79.2 70.2 77.0 77.7 78.6 0.26
78.2 46.9 75.1 74.1 75.0 78.3 78.2 46.9 75.1 74.1 75.0 78.3 0.26
79.2 63.1 72.7 75.6 76.4 78.5 79.2 63.1 72.7 75.6 76.4 78.5 0.26
78.7 (a) CUB-200 with T = 4 78.7 (a)T=4のCUB-200 0.36
(b) CUB-200 with T = 10 (b)T=10のCUB-200 0.87
Fig. 4: Evolution of RECALL@1 on the first task as new tasks are learned on CUB-200. 図4: CUB-200で新しいタスクが学習されるときの最初のタスクにおけるRECALL@1の進化。 0.79
Comparison between our method (CSD) and compared methods. 提案手法(CSD)と比較方法の比較を行った。 0.74
obtaining the best result as the training end. 訓練の終わりに最高の結果を得る。 0.69
This confirms that our approach is effective also when the model is updated multiple times. これは、モデルが複数回更新された場合、我々のアプローチが効果的であることを確認する。 0.54
5.2 Evaluation on Fine-grained Datasets 5.2 きめ細かいデータセットの評価 0.72
We compare our method on CUB-200 and Stanford Dogs datasets with the Fine-Tuning baseline, MMD loss [17], and [19] denoted as Feature Estimation. 我々は,CUB-200とStanford Dogsのデータセットに対して,Fine-Tuningベースライン,MDD損失[17],[19]を特徴推定として比較した。 0.72
As an upper bound reference, we report the Joint Training performance obtained using all the data to train the model. 上界基準として,全てのデータを用いてモデルを訓練したジョイントトレーニング性能について報告する。 0.77
We report in Tab. 2 the scores obtained with T = 1 on the fine-grained datasets. タブで報告します。 2 きめ細かいデータセット上で t = 1 で得られるスコア。 0.70
On Stanford Dogs, our approach achieves the highest recall when evaluated on the initial task and comparable result with other methods on the final task with a gap of only 0.2% with respect to Fine-Tuning that focus only on learning new data. スタンフォードドッグスでは、新しいデータのみを学習するファインチューニングに関して、最初のタスクと最終タスクの他のメソッドで評価した場合、最も高いリコールを達成し、その差はわずか0.2%である。 0.63
This results in our method achieving the highest average recall value with an improvement of 0.5% RECALL@1 concerning Feature Estimation, 0.8% for MMD loss, and 3.4% for FineTuning. その結果,最大平均リコール値が達成され,特徴量推定に関するリコール@1が0.5%,mmd損失が0.8%,微調整が3.4%向上した。 0.74
On the more challenging CUB-200 dataset, we obtain the best RECALL@1 on both the initial and the final task outperforming the compared methods. より困難なCUB-200データセットでは、比較したメソッドよりも優れた初期タスクと最終タスクの両方において、最高のRECALL@1を得る。 0.58
Our method achieves the highest average recall value with an improvement of 2.1% RECALL@1 with respect to Feature Estimation, 2.9% for MMD loss, and 5.8% for Fine-Tuning. 提案手法は,特徴推定におけるReCALL@1の2.1%,MDD損失の2.9%,ファインチューニングの5.8%の改善により,最も高いリコール値を実現する。 0.81
01234Train Task ID556065707580Recall @1(%)JointTrainingFi ne-TuningMMDlossFeat .Est.CSD(Ours)012345 678910Train Task ID304050607080Recall @1(%)JointTrainingFi ne-TuningMMDlossFeat .Est.CSD(Ours) 01234Train Task ID5560657580Recall@1 (%)JointTrainingFine -TuningMMDlossFeat.E st.CSD(Ours)01234567 8910Train Task ID304050607080Recall @1(%)JointTrainingFi ne-TuningMMDlossFeat .Est.CSD(Ours) 0.34
英語(論文から抽出)日本語訳スコア
Contrastive Supervised Distillation for Continual Representation Learning 連続表現学習のためのコントラスト教師付き蒸留 0.69
9 λKD λCSD 0.1 0.1 1 0.1 10 0.1 0.1 1 1 1 1 10 0.1 10 1 10 10 10 9 λKD λCSD 0.1 0.1 1 0.1 10 0.1 0.1 1 1 1 1 10 0.1 10 1 10 10 10 0.39
RECALL@1 (1-100) 78.24 79.19 78.56 79.32 78.62 79.12 78.35 79.53 78.90 リコール@1 (1-100) 78.24 79.19 78.56 79.32 78.62 79.12 78.35 79.53 78.90 0.42
RECALL@1 (101-200) RECALL@1(101-200) 0.44
76.82 77.50 76.07 73.82 78.34 75.32 76.76 76.93 75.53 76.82 77.50 76.07 73.82 78.34 75.32 76.76 76.93 75.53 0.21
RECALL@1 Average 77.53 78.35 77.32 76.57 78.48 77.22 77.56 78.23 77.22 リコール@1 Average 77.53 78.35 77.32 76.57 78.48 77.22 77.56 78.23 77.22 0.42
Fig. 5: Ablation on loss component on CUB-200 with T = 10. 図5: CUB-200の損失成分をT=10で補正する。 0.80
“+” represents the combination of components. “+”はコンポーネントの組み合わせを表します。 0.86
Table 3: Ablation on the weight factors for KD and CSD in Eq 6 on CUB-200 with T = 1. 表3: t = 1 の cub-200 上の eq6 における kd と csd の重み係数のアブレーション 0.81
Differently from CIFAR-100, on fine-grained datasets, there is a lower dataset shift between different tasks leading to a higher performance closer to the Joint Training upper bound due to lower feature forgetting. CIFAR-100とは異なり、きめ細かいデータセットでは、異なるタスク間のデータセットシフトが小さくなり、より低い特徴の忘れによって、統合トレーニングの上限に近いパフォーマンスになる。 0.69
We report in Fig 4 (a) and Fig 4 第4図で報告します (a)、第4図 0.69
(b) the challenging cases of CUB-200 with T = 4 and T = 10, respectively. (b) T = 4 と T = 10 の CUB-200 の難解な場合。 0.74
These experiments show, consistently with Tab. これらの実験はTabと一貫して行われた。 0.55
2, how our approach outperforms state-of-the-art methods. 私たちのアプローチは最先端のメソッドよりも優れています。 0.31
In particular, with T = 10 (Fig. 特に、t = 10 の場合(図)。 0.68
4 (b)), our method preserves the performance obtained on the initial task during every update. 4 (b))本手法は,更新毎に初期タスクで得られる性能を保持する。 0.58
CSD largely improves over the state-of-the-art methods by almost 20% - 25% with respect to [19] and [17] achieving similar performance to the Joint Training upper bound. CSDは、[19] と[17] に関して最先端の手法をほぼ20%から25%改善し、ジョイントトレーニングの上界に類似した性能を実現している。 0.71
By leveraging labels information for distillation during model updates, CSD provides better performance and favorably mitigates the catastrophic forgetting of the representation compared to other methods that do not make use of this information. ラベル情報をモデル更新中の蒸留に活用することにより、CSDはより良い性能を提供し、この情報を使用しない他の方法と比較して、表現の破滅的な忘れを適切に軽減する。 0.57
6 Ablation Study 6 アブレーション研究 0.73
Loss Components. 損失コンポーネント。 0.66
In Fig 5, we explore the benefits given by the components of the loss in Eq 2 (i.e., CE, triplet, KD, and CSD) and their combinations in terms of RECALL@1 on CUB-200 with T = 10. 図5では、Eq 2の損失(CE、三重項、KD、CSD)とそれらの組み合わせによる利益を、CUB-200のRECALL@1とT = 10で調べる。
訳抜け防止モード: 図5では、Eq 2(すなわち、損失)における損失のコンポーネントから得られるメリットについて調べる。 CE, triplet, KD, CSD ) とそれらの組み合わせは CUB-200 上の RECALL@1 と T = 10 である。
0.82
To observe single component performance, we analyze the trend of RECALL@1 on both the current task and previous ones evaluated jointly. 単一コンポーネントのパフォーマンスを観察するために、現在のタスクと以前のタスクの両方で、RECALL@1の傾向を分析した。 0.65
When CSD is used, (i.e., CE+CSD, CE+KD+CSD, CE+triplet+CSD, CE+triplet+KD+CSD), we achieve higher RECALL@1 and maintain a more stable trend with respect to others. CSDを使用する場合(CE+CSD、CE+KD+CSD、CE+triplet+CSD、CE+triplet+KD+CSD)、より高いRECALL@1を達成し、他と比較してより安定した傾向を維持する。 0.61
This underlines how CSD is effective and central to preserve knowledge and limit feature forgetting across model updates. これは、csdがいかに効果的で、モデル更新間の機能忘れを制限し、知識を保存するための中心であるかを示す。 0.42
Loss Components Weights. Finally, in Tab. 部品重量が減る。 最後に、Tabで。 0.76
3, we analyze the influence of the stability loss components varying the parameters λKD and λCSD of Eq 6 on CUB-200 with T = 1. 3 では,T = 1 の CUB-200 に対するEq 6 のパラメータ λKD と λCSD の安定性損失成分の影響を解析した。 0.85
The table shows the RECALL@1 obtained on the first task, on the final task, and the average between them after training the model. 表は、最初のタスク、最終タスク、モデルのトレーニング後のそれらの間の平均で得られたRECALL@1を示す。 0.76
CSD best performs when λKD = λCSD = 1, obtaining the highest average RECALL@1. CSD は λKD = λCSD = 1 のときが最も良く、平均値 RECALL@1 を得る。 0.79
012345678910Train Task ID45505560657075Reca ll@1(%)CECE+KDCE+CSDCE+KD+CSDCE+TripletCE+Triplet+KDCE+Triplet+CSDCE+Triplet+KD+CSD 012345678910Train Task ID455055606575Recall @1(%)CECE+KDCE+CSDCE+TripletCE+Triplet+KDCE+Triplet+CSDCE+Triplet+CSDCE+KDCE+CD+CSD 0.16
英語(論文から抽出)日本語訳スコア
10 T. Barletti et al 10 T. Barletti et al 0.46
7 Conclusions In this paper, we propose Contrastive Supervised Distillation (CSD) to reduce feature forgetting in continual representation learning. 結論7 本稿では,連続表現学習における特徴忘れを減らすためのコントラストスーパービジョン蒸留(CSD)を提案する。 0.71
Our approach tackles the problem without storing data of previously learned tasks while learning a new incoming task. 提案手法では,新しいタスクを学習しながら,学習したタスクのデータを保存することなく問題に取り組む。 0.69
CSD allows to minimize the discrepancy of new and old features belonging to the same class, while simultaneously pushing apart features from different classes of both current and old data in a contrastive manner. csdは、同じクラスに属する新しい機能と古い機能の相違を最小限に抑え、同時に現在のデータと古いデータの両方の異なるクラスの機能をコントラスト的にプッシュできる。 0.75
We evaluate our approach and compare it to state-ofthe-art works performing empirical experiments on three benchmark datasets, namely CIFAR-100, CUB-200, and Stanford Dogs. このアプローチを評価し,cifar-100,cub-200,s tanford dogsの3つのベンチマークデータセットで実験を行った結果と比較した。 0.71
Results show the advantages provided by our method in particular on fine-grained datasets where CSD outperforms current stateof-the-art methods. 以上の結果から,CSDが現在最先端の手法より優れる細粒度データセットにおいて,本手法の利点が示された。 0.51
Experiments also provide further evidence that feature forgetting evaluated in visual retrieval tasks is not as catastrophic as in classification tasks. また、視覚検索タスクで評価された特徴忘れは、分類タスクほど破滅的ではないというさらなる証拠を提供する。 0.51
Acknowledgments. This work was partially supported by the European Commission under European Horizon 2020 Programme, grant number 951911 - AI4Media. 認定。 この研究は欧州水平2020プログラムの下で欧州委員会によって部分的に支持され、951911 - AI4Mediaが与えられた。 0.48
The authors acknowledge the CINECA award under the ISCRA initiative (ISCRA-C“ILCoRe”, ID: HP10CRMI87), for the availability of HPC resources. ISCRAイニシアティブ(ISCRA-C "ILCoRe", ID: HP10CRMI87)の下でのCINECAアワードは、HPCリソースの利用可能性を認めている。 0.77
References 1. Ji Wan, Dayong Wang, Steven Chu Hong Hoi, Pengcheng Wu, Jianke Zhu, Yongdong Zhang, and Jintao Li. 参考文献 1.江王、大東王、スティーブン・チュン・ホイ、Pengcheng Wu、Jianke Zhu、Yongdong Zhang、Jintao Li 0.65
Deep learning for content-based image retrieval: A comprehensive study. コンテンツに基づく画像検索のための深層学習 : 総合的研究 0.79
In Proceedings of the 22nd ACM international conference on Multimedia, pages 157–166. 第22回acm国際マルチメディア会議の議事録157-166頁。 0.70
2. H Azizpour, J Sullivan, S Carlsson, et al Cnn features off-the-shelf: An astounding baseline 2.h azizpour, j sullivan, s carlsson, et al cnn: 驚くべきベースライン 0.57
for recognition. In CVPRW, pages 512–519. 認識のために CVPRW 512-519頁。 0.70
2014. 3. Jason Yosinski, Jeff Clune, Yoshua Bengio, and Hod Lipson. 2014. 3.Jason Yosinski、Jeff Clune、Yoshua Bengio、Hod Lipson 0.37
How transferable are features in deep neural networks? 転送可能な機能とは ディープニューラルネットワークで? 0.63
Advances in Neural Information Processing Systems, 2014. ニューラル情報処理システム(2014年)の進歩 0.78
4. Wei Chen, Yu Liu, Weiping Wang, Erwin Bakker, Theodoros Georgiou, Paul Fieguth, Li Liu, and Michael S Lew. 4.Wei Chen, Yu Liu, Weiping Wang, Erwin Bakker, Theodoros Georgiou, Paul Fieguth, Li Liu, Michael S Lew 0.37
Deep image retrieval: A survey. 深部画像検索:調査。 0.58
arXiv preprint arXiv:2101.11282, 2021. arxiv プレプリント arxiv:2101.11282, 2021。 0.40
5. Giorgos Tolias, Ronan Sicre, and Herv´e J´egou. 5.ジョルゴス・トリアス、ロナン・シクレ、ヘルヴ・イ・ジェグウ。 0.51
Particular object retrieval with integral maxpooling of cnn activations. cnnアクティベーションの積分極大化による特に物体の検索 0.72
In ICLR 2016-International Conference on Learning Representations, pages 1–12, 2016. ICLR 2016-International Conference on Learning Representations, page 1-12, 2016 0.45
6. Joe Yue-Hei Ng, Fan Yang, and Larry S Davis. 6.Joe Yue-Hei Ng、Fan Yang、Larry S Davis 0.34
Exploiting local features from deep networks for image retrieval. 画像検索のためのディープネットワークからのローカル特徴のエクスプロイト。 0.68
In Proceedings of the IEEE conference on computer vision and pattern recognition workshops, pages 53–61, 2015. IEEEのProceedings of the Proceedings of the IEEE conference on computer vision and pattern recognition Workshops, page 53-61, 2015
訳抜け防止モード: In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops(英語) 53-61頁、2015年。
0.76
7. W Nicholson Price and I Glenn Cohen. 7. ニコルソン・プライスとグレン・コーエン 0.48
Privacy in the age of medical big data. 医療ビッグデータ時代のプライバシー。 0.54
Nature medicine, 25(1):37–43, 2019. 自然 医学、25(1):37-43、2019。 0.52
8. Andrea Cossu, Marta Ziosi, and Vincenzo Lomonaco. 8.アンドレア・コスス、マルタ・シオシ、ヴィンチェンツォ・ロモナコ。 0.63
Sustainable artificial intelligence through continual learning. 持続可能な人工知能 継続的な学習を通じてです 0.55
arXiv preprint arXiv:2111.09437, 2021. arxiv プレプリント arxiv:2111.09437, 2021。 0.40
9. Michael McCloskey and Neal J Cohen. 9:michael mccloskeyとneal j cohen。 0.60
Catastrophic interference in connectionist networks: In Psychology of learning and motivation, volume 24, コネクショニストネットワークにおける破滅的な干渉:学習とモチベーションの心理学における第24巻 0.73
The sequential learning problem. pages 109–165. 逐次学習の問題。 109-165頁。 0.55
Elsevier, 1989. 1989年、エルゼヴィエ。 0.61
10. Roger Ratcliff. ロジャー・ラトクリフ(Roger Ratcliff)。 0.47
Connectionist models of recognition memory: constraints imposed by learn- 認識記憶のコネクショニストモデル--学習によって課される制約- 0.77
ing and forgetting functions. ing と forgeting 関数。 0.63
Psychological review, 97(2):285, 1990. 心理学的考察,97(2):285,1990 0.80
11. Mochitha Vijayan and SS Sridhar. 11.mochitha vijayanとss sridhar。 0.57
Continual learning for classification problems: A survey. 分類問題に対する継続的な学習:調査 0.81
In International Conference on Computational Intelligence in Data Science, pages 156–166. データサイエンスにおける計算知能に関する国際会議 (international conference on computational intelligence in data science) 156–166頁。 0.51
Springer, 2021. 2021年。 0.39
英語(論文から抽出)日本語訳スコア
Contrastive Supervised Distillation for Continual Representation Learning 連続表現学習のためのコントラスト教師付き蒸留 0.69
11 12. Matthias Delange, Rahaf Aljundi, Marc Masana, Sarah Parisot, Xu Jia, Ales Leonardis, Greg Slabaugh, and Tinne Tuytelaars. 11 12.Matthias Delange, Rahaf Aljundi, Marc Masana, Sarah Parisot, Xu Jia, Ales Leonardis, Greg Slabaugh, Tinne Tuytelaars 0.39
A continual learning survey: Defying forgetting in classification tasks. 連続学習調査:分類課題における忘れの解消。 0.80
IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021。 0.40
13. Marc Masana, Xialei Liu, Bartlomiej Twardowski, Mikel Menta, Andrew D Bagdanov, and Joost van de Weijer. 13.Marc Masana, Xialei Liu, Bartlomiej Twardowski, Mikel Menta, Andrew D Bagdanov, Joost van de Weijer
訳抜け防止モード: 13.Marc Masana, Xialei Liu, Bartlomiej Twardowski, Mikel Menta Andrew D Bagdanov氏とJoost van de Weijer氏。
0.40
Class-incremental learning: survey and performance evaluation on image classification. クラスインクリメンタルラーニング:画像分類に関する調査と性能評価。 0.82
arXiv preprint arXiv:2010.15277, 2020. arxiv プレプリント arxiv:2010.15277, 2020 0.43
14. German I Parisi, Ronald Kemker, Jose L Part, Christopher Kanan, and Stefan Wermter. 14. ドイツ・パリ、ロナルド・ケンカー、ヨーゼ・l・パート、クリストファー・カナン、ステファン・ヴェルター。 0.51
Continual lifelong learning with neural networks: A review. ニューラルネットワークによる持続的生涯学習 : レビュー 0.66
Neural Networks, 113:54–71, 2019. ニューラルネットワーク, 113:54-71, 2019。 0.65
15. Eden Belouadah, Adrian Popescu, and Ioannis Kanellos. 15) Eden Belouadah, Adrian Popescu, Ioannis Kanellos 0.30
A comprehensive study of class incremental learning algorithms for visual tasks. 授業の総合的研究 視覚タスクのためのインクリメンタル学習アルゴリズムです 0.74
Neural Networks, 135:38–54, 2021. ニューラルネットワーク, 135:38–54, 2021。 0.67
16. MohammadReza Davari and Eugene Belilovsky. 16. mohammadreza davariとeugene belilovsky。 0.36
Probing representation forgetting in continual learning. 連続学習で忘れる表現の探索。 0.59
In NeurIPS 2021 Workshop on Distribution Shifts: Connecting Methods and Applications, 2021. neurips 2021 workshop on distribution shifts: connecting methods and applications, 2021 (英語) 0.39
17. Wei Chen, Yu Liu, Weiping Wang, Tinne Tuytelaars, Erwin M. Bakker, and Michael S. Lew. 17. Wei Chen, Yu Liu, Weiping Wang, Tinne Tuytelaars, Erwin M. Bakker, Michael S. Lew
訳抜け防止モード: 17. wei chen, yu liu, weiping wang, tinne tuytelaars。 アーウィン・m・バクカーとマイケル・s・ルー。
0.56
On the exploration of incremental learning for fine-grained image retrieval. きめ細かい画像検索のためのインクリメンタル学習の探索について 0.66
In BMVC. BMVA Press, 2020. BMVC所属。 BMVA、2020年。 0.69
18. Nan Pu, Wei Chen, Yu Liu, Erwin M Bakker, and Michael S Lew. 18.Nan Pu, Wei Chen, Yu Liu, Erwin M Bakker, Michael S Lew 0.34
Lifelong person reidentification via adaptive knowledge accumulation. 適応的知識蓄積による生涯的人物識別 0.66
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7901–7910, 2021. The Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, page 7901–7910, 2021。
訳抜け防止モード: IEEE / CVF Conference on Computer Vision and Pattern Recognition に参加して 7901-7910頁、2021年。
0.85
19. Wei Chen, Yu Liu, Nan Pu, Weiping Wang, Li Liu, and Michael S Lew. 第19章 陳章,ユリウ,ナンプ,ワイピングワング,リリウ,ミカエル・スルー
訳抜け防止モード: 19. 済陳氏, 融氏, 南周氏, ワイピング・ワン氏, Li LiuとMichael S Lew。
0.77
Feature estimations based correlation distillation for incremental image retrieval. インクリメンタル画像検索のための特徴推定に基づく相関蒸留 0.78
IEEE Transactions on Multimedia, 2021. IEEE Transactions on Multimedia, 2021。 0.40
20. Zhizhong Li and Derek Hoiem. 20. zhizhong liとderek hoiem。 0.35
Learning without forgetting. IEEE transactions on pattern 忘れずに学ぶ。 パターン上のIEEEトランザクション 0.67
analysis and machine intelligence, 40(12):2935–2947, 2017. 解析とマシンインテリジェンス, 40(12):2935–2947, 2017 0.85
21. Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. 21.Ting Chen、Simon Kornblith、Mohammad Norouzi、Geoffrey Hinton 0.29
A simple framework for contrastive learning of visual representations. 視覚表現のコントラスト学習のための単純なフレームワーク。 0.81
In International conference on machine learning, pages 1597–1607. 機械学習に関する国際会議』1597-1607頁。 0.77
PMLR, 2020. PMLR、2020年。 0.88
22. Sylvestre-Alvise Rebuffi, Alexander Kolesnikov, Georg Sperl, and Christoph H. Lampert. 22.Sylvestre-Alvise Rebuffi、Alexander Kolesnikov、Georg Sperl、Christoph H. Lampert 0.36
icarl: Incremental classifier and representation learning. icarl: インクリメンタルな分類と表現学習。 0.70
In CVPR, pages 5533–5542. CVPRでは5533-5542頁。 0.72
IEEE Computer Society, 2017. IEEE Computer Society、2017年。 0.91
23. Saihui Hou, Xinyu Pan, Chen Change Loy, Zilei Wang, and Dahua Lin. 23. サイウイ・フー、新友・パン、チェン・チェン・ロイ、ジレイ・ワン、ダフア・リン 0.58
Learning a uniIn CVPR, pages 831–839. uniIn CVPRを学習し、831-839ページ。 0.78
Computer Vision コンピュータビジョン 0.78
fied classifier incrementally via rebalancing. リバランシングで フィド分類器を段階的に 0.39
Foundation / IEEE, 2019. IEEE、2019年。 0.54
24. Yue Wu, Yinpeng Chen, Lijuan Wang, Yuancheng Ye, Zicheng Liu, Yandong Guo, and Yun Fu. 24.ユウ、ジンペン・チェン、リフアン・ワン、ユンチェン・イェ、ジヒョン・リウ、ヤンドン・グオ、ユン・フー
訳抜け防止モード: 24.ユウ、イアンペン・チェン、リフアン・ワン、ユアンチェン・イェ Zicheng Liu, Yandong Guo, Yun Fu。
0.68
Large scale incremental learning. 大規模なインクリメンタル学習。 0.75
In CVPR, pages 374–382. CVPR 374-382頁。 0.66
Computer Vision Foundation / IEEE, 2019. computer vision foundation / ieee、2019年。 0.69
25. Federico Pernici, Matteo Bruni, Claudio Baecchi, Francesco Turchini, and Alberto Del Bimbo. 25. フェデリコ・ペルニチー、マテオ・ブルニ、クラウディオ・バエッキ、フランチェスコ・トゥルチーニ、アルベルト・デル・ビンボ 0.57
Class-incremental learning with pre-allocated fixed classifiers. 固定分類器によるクラス増分学習 0.74
In 2020 25th International Conference on Pattern Recognition (ICPR), pages 6259–6266. 2020年の第25回国際パターン認識会議(ICPR)にて6259-6266頁。 0.74
IEEE, 2021. IEEE、2021年。 0.81
26. James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, et al Overcoming catastrophic forgetting in neural networks. 26. James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, et al Overcoming Superastrophic forgeting in neural network。
訳抜け防止モード: 26. James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness Guillaume Desjardins, Andrei A Rusu, Kieran Milan, John Quan Tiago Ramalho, Agnieszka Grabska - Barwinska, et al ニューラルネットワークにおける破滅的な忘れを克服する。
0.90
Proceedings of the national academy of sciences, 114(13):3521–3526, 2017. 国立科学アカデミー紀要, 114(13)3521-3526, 2017 0.58
27. Gido M Van de Ven and Andreas S Tolias. 27. Gido M Van de VenとAndreas S Tolias 0.34
Three scenarios for continual learning. 連続学習の3つのシナリオ。 0.78
arXiv preprint arXiv:1904.07734, 2019. arXiv プレプリントarxiv:1904.07734, 2019。 0.45
28. Heechul Jung, Jeongwoo Ju, Minju Jung, and Junmo Kim. 28.ヘチュル・ジュン、ジュンウー・ジュン、ミンジュ・ジュン、キム・ジュンモ。 0.42
Less-forgetting learning in deep 深部における低鍛造学習 0.58
neural networks. ニューラルネットワーク。 0.65
arXiv preprint arXiv:1607.00122, 2016. arXiv preprint arXiv:1607.00122, 2016 0.40
29. A. Gretton, AJ. 29. A. Gretton, AJ 0.41
Smola, J. Huang, M. Schmittfull, KM. スモラ、j.huang、m. schmittfull、km。 0.52
Borgwardt, and B. Sch¨olkopf. ボルグワードとb・シュ・ソルコップ。 0.50
Co- variate shift and local learning by distribution matching. 共同 分散マッチングによる変分シフトと局所学習。 0.63
MIT Press, 2009. 2009年、MIT出版。 0.63
英語(論文から抽出)日本語訳スコア
12 T. Barletti et al 12 T. Barletti et al 0.46
30. Yantao Shen, Yuanjun Xiong, Wei Xia, and Stefano Soatto. 30.ヤンタオ・シェン、ユアンジュン・シオン、ウイ・シア、ステファノ・ソアトー 0.55
Towards backward-compatible representation learning. 後方互換性のある表現学習を目指す。 0.47
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6368–6377, 2020. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, page 6368–6377, 2020。
訳抜け防止モード: IEEE / CVF Conference on Computer Vision and Pattern Recognition に参加して 6368-6377、2020年。
0.82
31. Federico Pernici, Matteo Bruni, Claudio Baecchi, and Alberto Del Bimbo. 31. Federico Pernici, Matteo Bruni, Claudio Baecchi, Alberto Del Bimbo 0.35
Regular polytope networks. 通常のポリトープ ネットワーク。 0.64
IEEE Transactions on Neural Networks and Learning Systems, 2021. IEEE Transactions on Neural Networks and Learning Systems, 2021。 0.41
32. Niccol´o Biondi, Federico Pernici, Matteo Bruni, and Alberto Del Bimbo. 32. Niccol ́o Biondi, Federico Pernici, Matteo Bruni, Alberto Del Bimbo 0.39
Cores: Compatible Cores: 互換性 0.83
representations via stationarity, 2021. 静止線による表現 2021年 0.64
33. Rahaf Aljundi, Klaas Kelchtermans, and Tinne Tuytelaars. 33. rahaf aljundi、klaas kelchtermans、tinne tuytelaars。 0.31
Task-free continual learning. タスクなし連続学習。 0.77
In Proceedings of the IEEE/CVF CVPR, pages 11254–11263, 2019. 院 IEEE/CVF CVPR, page 11254–11263, 2019。 0.42
34. Federico Pernici, Matteo Bruni, and Alberto Del Bimbo. 34. フェデリコ・ペルニッチ、マテオ・ブルニ、アルベルト・デル・ビンボ 0.49
Self-supervised on-line cumulative learning from video streams. ビデオストリームからの自己教師付きオンライン累積学習 0.61
Computer Vision and Image Understanding, 197:102983, 2020. コンピュータビジョンとイメージ理解 197:102983, 2020。 0.84
35. Sumit Chopra, Raia Hadsell, and Yann LeCun. 35.Sumt Chopra,Raia Hadsell,Yann LeCun 0.27
Learning a similarity metric discriminatively, with application to face verification. 類似度メトリックを識別的に学習し、顔認証に応用する。 0.65
In 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05), volume 1, pages 539–546. 2005年、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05)、1巻539-546頁。
訳抜け防止モード: 2005年IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05)に参加。 巻1、539-546頁。
0.88
IEEE, 2005. 2005年、IEEE。 0.70
36. Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross Girshick. 36.カイミン・ヘ、ハチ・ファン、ユキシン・ウー、サイニン・シー、ロス・ガーシック 0.55
Momentum contrast for unsupervised visual representation learning. 教師なし視覚表現学習におけるモメンタムコントラスト 0.62
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9729–9738, 2020. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, page 9729–9738, 2020。
訳抜け防止モード: IEEE / CVF Conference on Computer Vision and Pattern Recognition に参加して 9729-9738、2020年。
0.82
37. Ishan Misra and Laurens van der Maaten. 37. イシャン・ミスラとローレンス・ファン・デル・マタン 0.55
Self-supervised learning of pretext-invariant representations. プレテキスト不変表現の自己教師付き学習 0.48
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6707–6717, 2020. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, page 6707–6717, 2020。
訳抜け防止モード: IEEE / CVF Conference on Computer Vision and Pattern Recognition に参加して 6707-6717頁、2020年。
0.85
38. Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, and Dilip Krishnan. 38. Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, Dilip Krishnan
訳抜け防止モード: 38 . Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu そして、ディリップ・クリシュナン。
0.73
Supervised contrastive learning. 対照的な学習を監督する。 0.43
In NeurIPS, 2020. 2020年、NeurIPS。 0.70
39. Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. 39 ジョフリー・ヒントン、オリオール・ヴィニールズ、ジェフ・ディーン 0.46
Distilling the knowledge in a neural network. ニューラルネットワークで知識を蒸留する。 0.66
arXiv preprint arXiv:1503.02531, 2015. arXiv preprint arXiv:1503.02531, 2015 0.40
40. Adriana Romero, Nicolas Ballas, Samira Ebrahimi Kahou, Antoine Chassang, Carlo Gatta, and Yoshua Bengio. 40.Adriana Romero, Nicolas Ballas, Samira Ebrahimi Kahou, Antoine Chassang, Carlo Gatta, Yoshua Bengio
訳抜け防止モード: 40. Adriana Romero, Nicolas Ballas, Samira Ebrahimi Kahou アントワーヌ・チャサン、カルロ・ガッタ、ヨシュア・ベンジオ。
0.81
Fitnets: Hints for thin deep nets. Fitnets: 薄いディープネット用のヒント。 0.72
arXiv preprint arXiv:1412.6550, 2014. arxiv プレプリント arxiv:1412.6550, 2014 0.41
41. Alex Krizhevsky, Geoffrey Hinton, et al Learning multiple layers of features from tiny 41. alex krizhevsky, geoffrey hinton, et al ミニチュアから複数の特徴の層を学ぶ 0.79
images. 2009. 47. Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, and Andrew Rabinovich. 画像。 2009. 47.Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich 0.50
Going deeper with convolutions. 畳み込みでさらに深く進む。 0.61
In Proceedings of the IEEE conference CVPR, 2015. 2015年、ieee conference cvprで開催。 0.51
48. Herve Jegou, Matthijs Douze, and Cordelia Schmid. 48 ハーヴェ・ジェゴウ、マティジス・ドゥーゼ、コーデリア・シュミード 0.37
Product quantization for nearest neighbor search. 近接探索のための製品定量化 0.55
IEEE transactions on pattern analysis and machine intelligence, 33(1):117–128, 2010. IEEEによるパターン解析とマシンインテリジェンスに関するトランザクション 33(1):117–128, 2010 0.87
42. Catherine Wah, Steve Branson, Peter Welinder, Pietro Perona, and Serge Belongie. 42.キャサリン・ワー、スティーブ・ブランソン、ピーター・ウェリンダー、ピエトロ・ペローナ、セルゲイ・ベロンギー。 0.68
The caltech-ucsd birds-200-2011 dataset. caltech-ucsd birds-200-2011データセット。 0.52
Computation & Neural Systems Technical Report, 2011. Computation & Neural Systems Technical Report, 2011 (英語) 0.81
43. Aditya Khosla, Nityananda Jayadevaprakash, Bangpeng Yao, and Li Fei-Fei. 43. アディティア・ホスラ、ニティアナンダ・ジャヤデヴァプラカシュ、バンペン・ヤオ、リ・フェイ・フェイ 0.41
Novel dataset for fine-grained image categorization. きめ細かい画像分類のための新しいデータセット 0.67
In First Workshop on Fine-Grained Visual Categorization, IEEE Conference on Computer Vision and Pattern Recognition, Colorado Springs, CO, June 2011. The First Workshop on Fine-Grained Visual Categorization, IEEE Conference on Computer Vision and Pattern Recognition, Colorado Springs, CO, June 2011
訳抜け防止モード: 第1回ファイン・グラインド視覚分類ワークショップ, IEEE Conference on Computer Vision and Pattern Recognition コロラドスプリングス、CO、2011年6月。
0.75
44. Hyun Oh Song, Yu Xiang, Stefanie Jegelka, and Silvio Savarese. 44.Hyun Oh Song, Yu Xiang, Stefanie Jegelka, Silvio Savarese 0.33
Deep metric learning via lifted structured feature embedding. 昇降型特徴埋め込みによる深度測定学習 0.55
In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 4004–4012, 2016. Proceedings of the IEEE conference on computer vision and pattern recognition, page 4004–4012, 2016
訳抜け防止モード: In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 4004-4012頁、2016年。
0.83
45. Xun Wang, Xintong Han, Weilin Huang, Dengke Dong, and Matthew R Scott. 45.Xun Wang, Xintong Han, Weilin Huang, Dengke Dong, Matthew R Scott 0.35
Multisimilarity loss with general pair weighting for deep metric learning. ディープメトリック学習のための一般対重み付き多相性損失 0.82
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019. コンピュータビジョンとパターン認識に関するieee/cvfカンファレンスの議事録、2019年。 0.71
46. Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 46.開明,Xiangyu Zhang,Shaoqing Ren,Jian Sun 0.26
Deep residual learning for imIn Proceedings of the IEEE conference on computer vision and pattern imInの深層学習 : コンピュータビジョンとパターンに関するIEEEカンファレンスの成果 0.64
age recognition. recognition, pages 770–778, 2016. 年齢認識。 770-778頁、2016年。 0.65
                         ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。