論文の概要、ライセンス

# (参考訳) スタックを用いたクロスドメインマイズショットメタラーニング [全文訳有]

Cross-domain Few-shot Meta-learning Using Stacking ( http://arxiv.org/abs/2205.05831v1 )

ライセンス: CC BY 4.0
Hongyu Wang, Eibe Frank, Bernhard Pfahringer, Michael Mayo, Geoffrey Holmes(参考訳) クロスドメイン少ショットメタラーニング(CDFSML)は、複数のソースドメインから明示的に異なる入力分布を持つインスタンススカースターゲットドメインに知識を移す必要がある学習問題に対処する。 最近発表されたCDFSML法は一般に、複数のソースドメインの知識を1つのバックボーン特徴抽出器に組み合わせた「ユニバーサルモデル」を構築している。 これにより効率的な推論が可能になるが、新しいソースドメインが追加されるたびにバックボーンを再計算する必要がある。 さらに、最先端のメソッドはバックボーン(通常、ソースドメインごとに1つ)の集合からユニバーサルモデルを引き継ぎ、バックボーンはユニバーサルモデルと同じアーキテクチャを持つように制約される。 メタ学習における古典的な積み重ね手法に着想を得たCDFSML法を提案する。 バックボーンのアーキテクチャや特徴形状に制約を課さず、ユニバーサルモデルの(再)計算の計算オーバーヘッドを発生させない。 ターゲットドメインタスクが与えられた場合、各バックボーンを個別に微調整し、クロスバリデーションを使用してタスクのインスタンススカースサポートセットからメタトレーニングデータを抽出し、このデータから単純な線形メタ分類器を学習する。 畳み込みニューラルネットワークを用いた画像分類を対象とし、よく知られたMeta-Datasetベンチマークのスタック化アプローチを評価し、競合する手法よりも精度が高いことを示す。

Cross-domain few-shot meta-learning (CDFSML) addresses learning problems where knowledge needs to be transferred from several source domains into an instance-scarce target domain with an explicitly different input distribution. Recently published CDFSML methods generally construct a "universal model" that combines knowledge of multiple source domains into one backbone feature extractor. This enables efficient inference but necessitates re-computation of the backbone whenever a new source domain is added. Moreover, state-of-the-art methods derive their universal model from a collection of backbones -- normally one for each source domain -- and the backbones may be constrained to have the same architecture as the universal model. We propose a CDFSML method that is inspired by the classic stacking approach to meta learning. It imposes no constraints on the backbones' architecture or feature shape and does not incur the computational overhead of (re-)computing a universal model. Given a target-domain task, it fine-tunes each backbone independently, uses cross-validation to extract meta training data from the task's instance-scarce support set, and learns a simple linear meta classifier from this data. We evaluate our stacking approach on the well-known Meta-Dataset benchmark, targeting image classification with convolutional neural networks, and show that it often yields substantially higher accuracy than competing methods.
公開日: Thu, 12 May 2022 01:54:22 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
2 2 0 2 y a M 2 1 2 2 0 2 y a m 2 1 である。 0.52
] V C . s c [ ] 略称はC。 sc [ 0.39
1 v 1 3 8 5 0 1 v 1 3 8 5 0 0.42
. 5 0 2 2 : v i X r a . 5 0 2 2 : v i X r a 0.42
Cross-domain Few-shot Meta-learning Using クロスドメイン・ファウショットメタラーニング 0.20
Stacking Hongyu Wang 積み重ね ホンユ・ワン 0.33
Eibe Frank Bernhard Pfahringer フランク・アイビー ベルンハルト・プファリンガー 0.54
Michael Mayo Geoffrey Holmes マイケル・メイヨー ジェフリー・ホームズ 0.54
Department of Computer Science University of Waikato 計算機科学専攻 ワイカト大学 0.51
Abstract. Cross-domain few-shot meta-learning (CDFSML) addresses learning problems where knowledge needs to be transferred from several source domains into an instance-scarce target domain with an explicitly different input distribution. 抽象。 クロスドメイン少ショットメタラーニング(CDFSML)は、複数のソースドメインから明示的に異なる入力分布を持つインスタンススカースターゲットドメインに知識を移す必要がある学習問題に対処する。 0.58
Recently published CDFSML methods generally construct a “universal model” that combines knowledge of multiple source domains into one backbone feature extractor. 最近発表されたCDFSMLメソッドは一般に、複数のソースドメインの知識を1つのバックボーン特徴抽出器に組み合わせた「ユニバーサルモデル」を構築している。 0.63
This enables efficient inference but necessitates re-computation of the backbone whenever a new source domain is added. これにより効率的な推論が可能になるが、新しいソースドメインが追加されるたびにバックボーンを再計算する必要がある。 0.54
Moreover, state-of-the-art methods derive their universal model from a collection of backbones—normally one for each source domain—and the backbones may be constrained to have the same architecture as the universal model. さらに、最先端のメソッドはバックボーンの集合(通常、ソースドメインごとに1つ)からユニバーサルモデルを引き継ぎ、バックボーンはユニバーサルモデルと同じアーキテクチャを持つように制約される。 0.69
We propose a CDFSML method that is inspired by the classic stacking approach to meta learning. メタ学習における古典的な積み重ね手法に着想を得たCDFSML法を提案する。 0.70
It imposes no constraints on the backbones’ architecture or feature shape and does not incur the computational overhead of (re-)computing a universal model. バックボーンのアーキテクチャや機能形状に制約を課さず、ユニバーサルモデルの(再)計算の計算オーバーヘッドを発生させない。 0.59
Given a target-domain task, it fine-tunes each backbone independently, uses cross-validation to extract meta training data from the task’s instance-scarce support set, and learns a simple linear meta classifier from this data. ターゲットドメインタスクが与えられた場合、各バックボーンを独立して微調整し、クロスバリデーションを使用してタスクのインスタンススカースサポートセットからメタトレーニングデータを抽出し、このデータから単純な線形メタ分類器を学習する。 0.67
We evaluate our stacking approach on the well-known Meta-Dataset benchmark, targeting image classification with convolutional neural networks, and show that it often yields substantially higher accuracy than competing methods. 畳み込みニューラルネットワークを用いた画像分類を対象とし、よく知られたMeta-Datasetベンチマークのスタック化アプローチを評価し、競合する手法よりも精度が高いことを示す。 0.71
Keywords: Cross-domain Few-shot Learning · Meta-learning · Stacking キーワード:クロスドメインFew-shot Learning ・ Meta-learning ・ Stacking 0.66
1 Introduction Cross-domain few-shot meta-learning (CDFSML) addresses the problem that state-of-the-art machine learning methods such as convolutional neural networks for image classification generally require a large amount of labelled training data to achieve high predictive accuracy when trained from scratch. 1 はじめに 画像分類のための畳み込みニューラルネットワークのような最先端の機械学習手法では、スクラッチからトレーニングした時に高い予測精度を達成するために、大量のラベル付きトレーニングデータを必要とする。 0.56
In cross-domain few-shot learning (CDFSL), a learning algorithm is applied to a target domain for which only a few labelled training instances (the so-called “support set”) クロスドメインの少数ショット学習(cdfsl)では、学習アルゴリズムが、わずか数個のラベル付きトレーニングインスタンス(いわゆる“サポートセット”)のターゲットドメインに適用される。 0.82
英語(論文から抽出)日本語訳スコア
2 H. Wang et al 2 H. Wang et al 0.46
are available. The aim is to nevertheless achieve high accuracy when predicting labels for never-before-seen instances of the target domain (the so-called “query set”). 利用可能です。 目的は、ターゲットドメインの未確認インスタンス(いわゆる“クエリセット”)のラベルを予測する際に、高い精度を達成することである。 0.65
This can generally only be achieved by applying transfer learning: taking knowledge gleaned from one or several source domains where training data is plentiful and using this knowledge to inform learning in the target domain. これは一般的に、転送学習を適用することでのみ実現できる: トレーニングデータが豊富である1つまたは複数のソースドメインから得られた知識を取得し、この知識を使用して、ターゲットドメインで学習を知らせる。
訳抜け防止モード: これは一般にのみ達成できる。 転帰学習を施し トレーニングデータが豊富である1つまたは複数のソースドメインから知識を引き出す この知識を使って 対象領域の学習を知らせるのです
0.89
In CDFSL, the source domain(s) and the target domain are assumed to have explicitly different input distributions. CDFSLでは、ソースドメインとターゲットドメインは明示的に異なる入力分布を持つと仮定される。 0.75
This cross-domain setting is arguably more realistic than a scenario, frequently used in few-shot learning, where the support and query sets are mutually exclusive samples obtained from the same dataset. このクロスドメイン設定はシナリオよりも間違いなく現実的であり、同じデータセットから得られたサポートとクエリセットが相互に排他的なサンプルである、数ショット学習で頻繁に使用される。 0.67
It also yields harder learning problems due to greater domain shift. また、ドメインシフトが大きいため、学習の困難も生じる。 0.68
Meta-learning algorithms are the top performers in CDFSL benchmarks. メタ学習アルゴリズムはCDFSLベンチマークのトップパフォーマーである。 0.64
In the CDFSL context, meta-learning algorithms are designed to learn how to most appropriately transfer knowledge from the source domain(s) to the target domain based on the information in the support set of a few-shot learning episode. CDFSLの文脈では、メタ学習アルゴリズムは、数発の学習エピソードのサポートセットの情報に基づいて、ソースドメインからターゲットドメインに最も適切に知識を伝達する方法を学ぶように設計されている。 0.78
This “meta-training” phase is followed by application of the learned model to the query set. この“メタトレーニング”フェーズに続いて、学習したモデルをクエリセットに適用する。 0.69
Predictive performance is measured by accuracy on a labelled query set, enabling “meta-testing”. 予測性能はラベル付きクエリセットの精度で測定され、“メタテスト”が可能になる。 0.67
A majority of recently published CDFSML methods revolve around building a “universal model”, which is derived from a collection of backbones, with each backbone pretrained on one specific source domain. 最近公開されたCDFSMLメソッドの大部分は、バックボーンのコレクションから派生した"ユニバーサルモデル"の構築を中心に展開され、各バックボーンは特定のソースドメインで事前トレーニングされている。 0.71
The universal-model paradigm is generally efficient at meta-test time, in the sense that only a single universal backbone is used, usually in conjunction with a simple robust classifier that turns extracted feature vectors into predictions. 普遍モデルパラダイムは一般にメタテスト時に効率的であり、単一の普遍バックボーンのみが使用されるという意味で、通常は抽出された特徴ベクトルを予測に変換する単純な堅牢な分類器と併用される。 0.71
However, this paradigm has significant drawbacks in the meta-train phase, mainly in terms of flexibility and computational overhead. しかしながら、このパラダイムは、主に柔軟性と計算オーバーヘッドの観点から、メタトレインフェーズにおいて大きな欠点がある。 0.53
In order to be able to derive a universal model from a backbone collection, most methods need to constrain all backbones in the collection to the same architecture and/or feature shape as the intended universal model, rendering them inapplicable to heterogeneous backbone collections that are likely to occur in real-world practice. バックボーンコレクションからユニバーサルモデルを導出するためには、ほとんどのメソッドはコレクションのすべてのバックボーンを意図されたユニバーサルモデルと同じアーキテクチャと/または機能形状に制限する必要がある。
訳抜け防止モード: バックボーンコレクションからユニバーサルモデルを導出できるようにする。 ほとんどのメソッドは、コレクションのすべてのバックボーンを、意図されたユニバーサルモデルと同じアーキテクチャと/または機能形状に制限する必要があります。 不均一なバックボーンコレクションにそれらを適用できないようにする。
0.70
Moreover, these methods may require additional human-expert knowledge to function well. さらに、これらの手法は、機能するために追加の人間の専門知識を必要とする可能性がある。 0.46
For example, given a source domain/backbone collection for image classification consisting of ImageNet [4] and several other “less comprehensive” source domains, recent methods are often tweaked to give the ImageNet backbone a greater effect than the other backbones on the universal model—usually achieved by biased sampling in the derivation process. 例えば、ImageNet [4]と他の"包括的"なソースドメインで構成されるイメージ分類のためのソースドメイン/バックボーンのコレクションが与えられた場合、最近の手法はImageNetのバックボーンをユニバーサルモデル上の他のバックボーンよりも大きな効果を与えるように、しばしば微調整される。 0.78
Indeed, it is common for such methods to sample from ImageNet as frequently as all other source domains combined when deriving the universal model from a backbone collection. 実際、バックボーンコレクションからユニバーサルモデルを導出する際に、他のすべてのソースドメインと同様に、ImageNetからのサンプリングを頻繁に行う方法が一般的である。 0.77
Assigning particular importance to ImageNet has been utilised to achieve good performance on benchmarks—which may include target domains such as CIFAR10 that are quite similar in nature—but the usefulness of this bias in real-world applications can be questioned. ImageNetに特に重要視していることは、ベンチマーク(CIFAR10のような本質的に非常に類似したターゲットドメインを含む)での優れたパフォーマンスを達成するために利用されてきたが、現実のアプリケーションにおけるこのバイアスの有用性に疑問を投げかけることができる。 0.56
Lastly, the process of deriving a universal model from a source domain/backbone collection is usually computationally expensive and non-incremental, which means it needs to be re-run if a source domain or its backbone is updated, or when a new source domain/backbone is added. 最後に、ソースドメイン/バックボーンコレクションからユニバーサルモデルを導出するプロセスは、通常計算コストが高く非インクリメンタルであり、ソースドメインまたはそのバックボーンが更新された場合、または新しいソースドメイン/バックボーンが追加された場合、再実行する必要がある。 0.70
Additionally, the derivation process normally requires access to source domain data, さらに、導出プロセスは通常、ソースドメインデータへのアクセスを必要とする。 0.68
英語(論文から抽出)日本語訳スコア
Cross-domain Few-shot Meta-learning Using Stacking スタックを用いたクロスドメインマイズショットメタラーニング 0.54
3 which may not be available. 3 利用できないかもしれません 0.52
Therefore, universal-model methods may not be practical in certain real-world CDFSML applications. したがって、ユニバーサルモデル法は特定の実世界のCDFSMLアプリケーションでは実用的ではない。 0.59
We propose an alternative CDFSML method that is based on stacking and does not exhibit these drawbacks. 本稿では,積み重ねに基づくCDFSML法を提案するが,その欠点は示さない。 0.71
In the proposed approach, each source domain feature extractor in the collection of available backbone models is independently fine-tuned on the support set of the target domain task and saved at predetermined checkpoints throughout the fine-tuning process. 提案手法では、利用可能なバックボーンモデルのコレクション内の各ソースドメイン特徴抽出器は、ターゲットドメインタスクのサポートセットに独立して微調整され、微調整プロセスを通して所定のチェックポイントに保存される。 0.73
To obtain data for meta-training, as in the classic stacking approach, the support set is split into k sets of training and test splits using stratified k-fold cross-validation. 古典的なスタックングアプローチと同様に、メタトレーニングのためのデータを得るため、サポートセットは階層化されたk-foldクロスバリデーションを使用して、k-セットのトレーニングとテストスプリットに分割される。 0.53
For each set of train-test splits, a fresh copy of each backbone is fine-tuned on the training split, and its predictions of the test split instances at each checkpoint are cached as logits. トレインテストスプリットのセットごとに、トレーニングスプリット上で各バックボーンの新しいコピーを微調整し、各チェックポイントにおけるテストスプリットインスタンスの予測をロジットとしてキャッシュする。 0.70
After the process is complete on all k folds, the cached logits of the k test splits are combined, producing cross-validated logits for the entire support set. プロセスがすべてのkフォールド上で完了すると、kテストスプリットのキャッシュされたロジットが結合され、サポートセット全体のクロス評価ロジットを生成する。 0.70
These are used to form training instances for a simple meta-classifier that assigns a trainable weight to each checkpoint of a source-domain-specific backbone, and produces a logit for each class as a weighted mean of the checkpoint-specific logits for the same class. これらは、ソースドメイン固有のバックボーンの各チェックポイントにトレーニング可能な重みを割り当て、同じクラスのチェックポイント固有のロジットの重み付け平均として各クラスにロジットを生成するシンプルなメタクラス化子のトレーニングインスタンスを形成するために使用される。 0.72
The meta-classifier learns by minimising its loss given the support labels. メタ分類器は、サポートラベルから損失を最小限にして学習する。 0.56
After the meta-classifier is trained, when presented with a query-set instance for labelling, logits of the instance are computed by the backbones at their saved checkpoints, and the meta-classifier is used to aggregate the logits to produce a prediction. メタ分類器がトレーニングされた後、ラベル付け用のクエリセットインスタンスが提示されると、インスタンスのログは保存されたチェックポイントのバックボーンによって計算され、メタ分類器はログを集約して予測を生成する。 0.69
The proposed method is fully compatible with heterogeneous backbone collections, imposing no constraint on each backbone’s architecture, feature shape, or fine-tuning configuration. 提案手法はヘテロジニアスなバックボーンコレクションと完全に互換性があり,各バックボーンのアーキテクチャ,特徴形状,微調整構成に制約はない。 0.75
Additionally, our experiments show that the metaclassifier works well when initialised to assign equal weight to each backbone, requiring no pre-existing knowledge of a backbone’s significance to the target domain. さらに、実験では、各バックボーンに等しい重みを割り当てる初期化時にメタ分類器がうまく動作し、ターゲットドメインに対するバックボーンの重要性に関する事前の知識を必要としないことを示した。 0.63
Moreover, the proposed stacking-based approach does not require any source domain data, and does not require derivation of a universal model, as it uses the support set to directly fine-tune a backbone collection and train a meta-classifier. さらに、提案手法はソースドメインデータを必要としないため、バックボーンコレクションを直接微調整し、メタ分類器を訓練するためにサポートセットを使用するため、ユニバーサルモデルの導出を必要としない。 0.71
Hence, it does not incur the computational overhead associated with a derivation process that needs to be re-run in the event of a change in the backbone collection. したがって、バックボーンコレクションの変更時に再実行する必要がある導出プロセスに関連する計算オーバーヘッドは発生しない。
訳抜け防止モード: したがって、導出プロセスに関連する計算オーバーヘッドは発生しない。 reである必要がある - バックボーンコレクションの変更があった場合に実行する。
0.69
In fact, within one target domain task, if a backbone is changed or added, only this backbone and the simple meta-classifier need to be fine-tuned or retrained; no new fine-tuning is required for the unchanged backbones as long as the cached logits from cross-validation are preserved. 実際、1つのターゲットドメインタスク内で、バックボーンが変更または追加された場合、このバックボーンと単純なメタクラス化子のみを微調整または再トレーニングする必要があります。
訳抜け防止モード: 実際、1つのターゲットドメインタスク内で、バックボーンが変更されたり追加されたりした場合、 このバックボーンと単純なメタ - 分類子のみを微調整するか、再トレーニングする必要があるが、新しい微調整は不要である。
0.54
We evaluate the stacking-based approach on the Meta-Dataset benchmark [17], 我々は,メタデータセットベンチマーク[17]におけるスタックベースアプローチを評価する。 0.70
which contains eight source domains and five target domains, and include five additional target domains: CropDisease, EuroSAT, ISIC, ChestX, and Food101 [1, 6]. このドメインには8つのソースドメインと5つのターゲットドメインが含まれており、さらに、cropdisease、eurosat、isic、crtx、food101 [1,6]の5つのターゲットドメインが含まれている。
訳抜け防止モード: 8つのソースドメインと5つのターゲットドメインを含み、さらに5つのターゲットドメインを含む。 eurosat, isic, chestx, food101 [1, 6] である。
0.79
We show that our stacking method significantly outperforms various recently published CDFSML methods on a number of target domains. 本手法は,最近公開された多数のターゲットドメイン上でのCDFSML法よりも有意に優れていることを示す。 0.61
2 Related work As our experiments are based on the Meta-Dataset framework for evaluating CDFSML methods, we review this benchmark first before discussing meta- 2関連作品 実験はCDFSMLメソッドの評価のためのMeta-Datasetフレームワークをベースにしているので、まずメタモデルについて議論する前にこのベンチマークをレビューする。
訳抜け防止モード: 2関連作品 実験は、CDFSMLメソッドを評価するためのMeta-Datasetフレームワークをベースにしています。 メタを議論する前にまずこのベンチマークをレビューします
0.65
英語(論文から抽出)日本語訳スコア
4 H. Wang et al 4 H. Wang et al 0.46
learning methods that we compare to in our experiments. 実験で比較した学習方法です 0.54
We also briefly review other noteworthy methods in the literature. また,文献における他の注目すべき手法についても概説する。 0.55
2.1 Benchmark The Meta-Dataset [17] benchmark has multiple configurations; we describe the CDFSML configuration that we, as well as most recent publications in the field, use. 2.1ベンチマーク Meta-Dataset [17]ベンチマークには複数の設定があります。
訳抜け防止モード: 2.1ベンチマーク Meta - Dataset [17 ]ベンチマークには複数の設定がある この分野における最新の出版物と同様に、我々はCDFSMLの構成を記述しています。
0.62
It contains eight source domains: ILSVRC-2012 (ImageNet), Omniglot, Aircraft, CUB-200-2011 (Birds), Describable Textures, Quick Draw, Fungi, and VGG Flower. ILSVRC-2012 (ImageNet), Omniglot, Aircraft, CUB-200-2011 (Birds), Describable Textures, Quick Draw, Fungi, VGG Flower の8つのドメインがある。 0.83
Recent work utilising Meta-Dataset [14] has extended its original set of two target domains, Traffic Signs and MSCOCO, by adding three more: MNIST, CIFAR10, and CIFAR100. Meta-Dataset [14]を利用した最近の作業では、MNIST、CIFAR10、CIFAR100の3つのターゲットドメイン、Traffic SignsとMSCOCOが拡張されている。 0.76
For an even more comprehensive evaluation, we add four target domains from the CDFSL benchmark in [6]—CropDisease, EuroSAT, ISIC, and ChestX—but additionally also employ Food101 [1]. さらに包括的な評価のために、[6]にCDFSLベンチマークから4つのターゲットドメイン(CropDisease、EuroSAT、ISIC、ChestX)を追加しますが、同時にFood101 [1]も使用しています。 0.55
The Meta-Dataset framework splits each source domain into three partitions: training, validation, and test. メタデータセットフレームワークは、各ソースドメインをトレーニング、バリデーション、テストという3つのパーティションに分割する。 0.73
The partitions are mutually exclusive in terms of their classes, with the training partition containing approximately 70% of source domain classes and the validation and test partitions containing approximately 15% of the classes each. 分割は相互にクラス単位で排他的であり、トレーニングパーティションはソースドメインクラスの約70%、検証とテストパーティションは各クラスの約15%を含む。 0.68
The training and validation partitions are made available to the CDFSML method being evaluated. トレーニングと検証のパーティションは、評価中のCDFSMLメソッドで利用可能である。 0.81
These methods generally use the training partition to pretrain the corresponding backbone model and the validation split to aid hyperparameter tuning. これらのメソッドは一般的にトレーニングパーティションを使用して、対応するバックボーンモデルと検証分割をプリトレーニングし、ハイパーパラメータチューニングを支援する。 0.61
The test partition is reserved for the meta-test phase, to sample few-shot episodes for evaluation. テストパーティションは、評価のために少数のエピソードをサンプリングするために、メタテストフェーズに予約される。
訳抜け防止モード: テストパーティションは、メタ-テストフェーズに予約されます。 to sample few -shot episodes for evaluation。
0.62
In contrast, the entire target domain data can be used for meta-testing. 対照的に、ターゲットドメインデータ全体がメタテストに使用できる。 0.66
It is important to note that, by definition, only tasks sampled from target domains truly measure CDFSL performance. 重要なことは、定義上、ターゲットドメインからサンプリングされたタスクだけがCDFSLのパフォーマンスを真に測定していることである。 0.64
Using terminology that is common in this context, good performance on these domains indicates “strong generalisation”; good performance on tasks sampled from source domain test partitions can only indicate “weak generalisation”. この文脈で一般的な用語を使うことで、これらのドメインでの優れたパフォーマンスは"強い一般化"を意味します。
訳抜け防止モード: この文脈でよく見られる用語を使います これらのドメインの優れたパフォーマンスは、“強力な一般化”を示している。 ソースドメインのテストパーティションからサンプリングされたタスクの優れたパフォーマンスは、“弱い一般化”のみを示すことができる。
0.60
2.2 Methods included in the experimental comparison 2.2 実験比較に含まれる方法 0.89
Two recently published CDFSML methods that advanced the state-of-the-art on Meta-Dataset are Few-shot Learning with a Universal TEmplate (FLUTE) [16] and Universal Representation Learning (URL) [9]. 最近発表された2つのCDFSMLメソッドは、Few-shot Learning with a Universal TEmplate (FLUTE) [16]とUniversal Representation Learning (URL) [9]である。 0.76
We compare to these two methods in our experiments. この2つの手法を実験で比較した。 0.79
Few-shot Learning with a Universal TEmplate. Universal TEmplateを用いたFew-shot Learning 0.79
Based on the FiLM approach [13], FLUTE trains a universal model on the source domains, employing the ResNet18 architecture [7] widely used in CDFSML, but maintains a separate set of batch normalisation [8] parameters for each domain. フィルムアプローチ[13]に基づいて、フルートは、cdfsmlで広く使われているresnet18アーキテクチャ[7]を使用して、ソースドメインのユニバーサルモデルを訓練するが、各ドメインのバッチ正規化[8]パラメータは別々に保持する。
訳抜け防止モード: FLUTEはFiLMアプローチ[13 ]に基づいて、ソースドメイン上でユニバーサルモデルをトレーニングします。 CDFSMLで広く使われているResNet18アーキテクチャ [7 ]を採用する しかし、各ドメインに対して別個のバッチ正規化[8 ]パラメータを保持する。
0.78
The ResNet “template” contains one set of convolutional weights shared across all source domains along with one set of batch normalisation weights for each source domain. resnetの“テンプレート”には、すべてのソースドメインで共有される畳み込み重みと、ソースドメイン毎にひとつのバッチ正規化重みが含まれている。 0.69
FLUTE jointly trains the template on all source domains. FLUTEは、すべてのソースドメインでテンプレートを共同でトレーニングする。 0.63
At each training iteration, a random source domain is selected—with the previously discussed bias トレーニングの各イテレーションでは、前述したバイアスでランダムソースドメインが選択されます。 0.68
英語(論文から抽出)日本語訳スコア
Cross-domain Few-shot Meta-learning Using Stacking スタックを用いたクロスドメインマイズショットメタラーニング 0.54
5 towards ImageNet—and a batch of input data is sampled from the selected domain. 5 ImageNet — そして、選択したドメインから入力データのバッチをサンプリングする。 0.59
In forward propagation, the input batch flows through the shared convolutional layers and the specific set of batch normalisation layers corresponding to the selected source domain, and loss is computed by applying a cosine classifier [2, 3]. 前方伝播において、入力されたバッチは、選択されたソースドメインに対応する共有畳み込み層と特定のバッチ正規化層のセットを流し、コサイン分類器[2,3]を適用して損失を算出する。 0.80
A nuance of FLUTE training is that back propagation is performed using a meta-batch of eight individual batches: the intention is to stabilise training by aggregating loss values across multiple domains. フルートトレーニングのニュアンスは、8つのバッチのメタバッチを使ってバックプロパゲーションを行い、複数のドメインにまたがる損失値を集約することでトレーニングを停滞させることである。 0.62
When the template is trained, checkpoints are frequently saved. テンプレートがトレーニングされると、チェックポイントは頻繁に保存される。 0.67
The final template is chosen as the checkpoint that yields best performance on the source domains’ validation partitions. 最後のテンプレートは、ソースドメインのバリデーションパーティションで最高のパフォーマンスを得るチェックポイントとして選択される。 0.77
To establish performance, few-shot episodes are sampled from these partitions. パフォーマンスを確立するために、これらのパーティションから少数のエピソードをサンプリングする。 0.52
For each episode, feature vectors are extracted using the shared convolutional layers and the set of batch normalisation layers for the domain at hand. 各エピソードでは、共有畳み込み層と、手元のドメインに対するバッチ正規化層の集合を用いて特徴ベクトルを抽出する。 0.70
Accuracy is computed using a nearest-centroid classifier [12, 15] (as the aforementioned cosine classifiers is trained on different source domain classes and cannot be used). 12, 15] (上記のコサイン分類器は異なるソースドメインクラスで訓練されており、使用できないため)を用いて精度を計算する。 0.76
In our experiments, we use the checkpoint made available by the authors of FLUTE, which was obtained at iteration 610,000. 実験では,FLUTEの著者が利用可能なチェックポイントを用いて,反復610,000で得られた。 0.70
One more component produced by FLUTE’s, in a separate meta-training phase, is a blender network, which is a dataset classifier based on a permutationinvariant set encoder [19] followed by a linear layer. FLUTEが別のメタトレーニングフェーズで生成したもう1つのコンポーネントはブレンダーネットワークであり、これは置換不変集合エンコーダ [19] に基づくデータセット分類器であり、続いて線形層である。 0.83
Given a batch of instances, the blender predicts, as a probability distribution, the source domain from which the batch is sampled. バッチのインスタンスが与えられたら、ブレンダーは確率分布として、バッチがサンプリングされるソースドメインを予測する。 0.65
It is trained on batches sampled from the source domains’ training partitions, and the final blender model is chosen from the available checkpoints using batches from the validation partitions. ソースドメインのトレーニングパーティションからサンプリングされたバッチでトレーニングされ、最終的なブレンダモデルは検証パーティションからバッチを使用して利用可能なチェックポイントから選択される。 0.73
Again, we use the checkpoint made available by the authors, which corresponds to iteration 14,000. 繰り返しますが、著者が利用可能なチェックポイントを使用します。
訳抜け防止モード: 繰り返しますが、著者が利用可能なチェックポイントを使用します。 イテレーション14,000に相当します
0.57
Given a few-shot episode at meta-test time, the blender uses the support set to produce a probability distribution. メタテスト時に数発のエピソードが与えられると、ブレンダーはサポートセットを使用して確率分布を生成する。 0.65
These probabilities in turn are used to form a linear combination of the source-domain-specific batch normalisation weights. これらの確率は、ソースドメイン固有のバッチ正規化重みの線形結合を形成するために使われる。
訳抜け防止モード: これらの確率は ソース - ドメイン - 特定のバッチ正規化重みの線形結合を形成する。
0.69
Along with the shared convolutional weights from the template, this forms the initial set of parameters for the ResNet18 feature extractor, which is applied in conjunction with a nearest-centroid classifier. テンプレートからの共有畳み込み重みとともに、これはresnet18の機能抽出器のパラメータの初期セットを形成し、最寄りのcentroid分類器と共に適用される。 0.72
The model is then finetuned on the support set with only the batch normalisation parameters unfrozen. その後、モデルはバッチ正規化パラメータのみを凍結したサポートセットで微調整される。 0.74
Hyperparameter tuning for FLUTE in [16] is performed using episodes sampled from source domain validation partitions: the Adam optimiser, a learning rate of 5e-3, and 6 iterations are chosen as the configuration for meta-testing. 16]におけるフルートのハイパーパラメータチューニングは、ソースドメイン検証パーティションからサンプリングされたエピソード(adamオプティマイザー、5e-3、6イテレーション)をメタテストのための構成として選択する。
訳抜け防止モード: 16]におけるFLUTEのハイパーパラメータチューニングを行う ソースドメイン検証パーティションからサンプリングされたエピソードを使用して :Adam optimiser, a learning rate of 5e-3, そして6つのイテレーションがメタテストの設定として選ばれます。
0.76
Universal Representation Learning The URL approach first pretrains domainspecific ResNet18 backbones independently. ユニバーサル表現学習 URLアプローチはまずドメイン固有のResNet18バックボーンを独立して事前訓練する。 0.58
Then, a separate ResNet18 feature extractor is trained to form a universal model by distillation. そして、別個のresnet18特徴抽出器を訓練し、蒸留により普遍モデルを形成する。 0.70
This is achieved by making it learn to match each domain-specific backbone’s output feature vectors and logits given instance batches sampled from the corresponding domain. これは、各ドメイン固有のバックボーンの出力特徴ベクトルと、対応するドメインからサンプリングされたインスタンスバッチのログとを一致させることで達成される。 0.69
To this end, the universal model contains pairs of auxiliary domain-specific components that each comprise i) a projection layer that transforms the universal extractor’s feature vector without altering its length (512 for a ResNet18 model)—this assists in matching the universal features to the ones extracted by この目的のために、ユニバーサルモデルは、それぞれが構成する補助的なドメイン固有成分のペアを含む(i) ユニバーサル抽出器の特徴ベクトルを長さを変えずに変換する投影層(resnet18モデルでは512) - ユニバーサル特徴を抽出されたものと一致させる。 0.80
英語(論文から抽出)日本語訳スコア
6 H. Wang et al 6 H. Wang et al 0.46
the corresponding backbone—and ii) a classifier layer trained to match the logits produced by the backbone. 対応するバックボーン(およびii) バックボーンによって生成されたロジットにマッチするように訓練された分類層。 0.58
In the experiments in [9], ImageNet data us given a greater presence in knowledge distillation through a larger batch size equivalent to the batch sizes of the other seven source domains combined. 9]の実験では、imagenetのデータは、他の7つのソースドメインのバッチサイズに匹敵する大きなバッチサイズを通じて、知識蒸留においてより大きな存在感を与えました。 0.68
Checkpoints of the universal feature extractor are saved at predefined intervals during knowledge distillation. 普遍的特徴抽出器のチェックポイントは、知識蒸留中に予め定義された間隔で保存される。 0.57
The final checkpoint is selected based on the accuracy of the universal feature extractor when combined with a nearest-centroid classifier, using few-shot episodes sampled from the source domains’ validation partitions. 最終チェックポイントは、ソースドメインのバリデーションパーティションからサンプリングされた少数ショットエピソードを使用して、最も近いセントロイド分類器と組み合わせた際のユニバーサル特徴抽出器の精度に基づいて選択される。 0.66
We use the officially available URL checkpoint in our evaluations. 評価では、公式に利用可能なURLチェックポイントを使用します。 0.54
After meta-training, the auxiliary components of the universal model are discarded, leaving only the feature extractor. メタトレーニング後、ユニバーサルモデルの補助コンポーネントは破棄され、特徴抽出器のみが残る。 0.65
At meta-test time, this extractor is frozen, and a newly initialised projection layer is trained on the support set. メタテスト時には、この抽出器を凍結し、サポートセット上に新たに初期化した投影層を訓練する。 0.56
The transformed feature vectors are used to build a nearest-centroid classifier. 変換された特徴ベクトルは、最も近い中心型分類器を構築するために使用される。 0.51
The loss of this classifier is used to fine-tune the projection layer for 40 iterations with an Adadelta optimiser and a learning rate of 1 for the target domains. この分類器の損失は、投射層を 40 回の反復で adadelta のオプティマイザーと目標領域の学習率 1 で微調整するために使用される。 0.77
(A lower learning rate of 0.1 is used for the source domains.) (ソースドメインでは0.1以下の学習率を使用する。) 0.78
2.3 Other work on CDFSML 2.3 CDFSMLに関する他の研究 0.60
Selecting relevant features from a Universal Representation SUR [5] is an early CDFSML method that utilises independently pretrained feature extractor backbones directly for meta-testing. Universal Representation SUR [5] から関連する機能を選択することは、独立に事前訓練された特徴抽出バックボーンをメタテストに直接利用する、初期の CDFSML メソッドである。 0.66
Each backbone is used to extract a set of feature vectors from the support set, with a trainable weight assigned to it. 各バックボーンは、サポートセットから機能ベクトルのセットを抽出するために使用され、トレーニング可能な重みが割り当てられる。 0.72
The feature vector sets are multiplied by their respective weights and concatenated to to provide input to a nearest-centroid classifier. 特徴ベクトル集合は各重みに乗じて連結され、最も近いセントロイド分類器への入力を提供する。 0.75
The weights are trained by optimising loss of the classifier on the support set. 重みは、サポートセット上の分類器の損失を最適化することで訓練される。 0.62
Overall, SUR is similar to URL in the meta-testing phase, as both make predictions with a nearest-centroid classifier and optimise parameters on the support set; the primary difference is that URL maintains a universal model while SUR uses the backbones directly. 全体として、SURはメタテストフェーズのURLと似ており、どちらも最寄りのセントロイド分類器で予測を行い、サポートセットのパラメータを最適化する。
訳抜け防止モード: 全体として、SURはメタテストフェーズのURLに似ている。 どちらも最寄りの-セントロイド分類器で予測を行い、サポートセットのパラメータを最適化する 主な違いは、URLがユニバーサルモデルを維持しているのに対して、SURはバックボーンを直接使っていることだ。
0.59
Universal Representation Transformer URT [11] also assigns a weight to each source feature extractor during meta-testing. Universal Representation Transformer URT [11] もメタテスト中に各ソース特徴抽出器に重みを割り当てる。 0.84
However, it utilises a universal model instead of direct optimisation on the support set to obtain the weights. しかし、重みを得るためにサポートセットの直接最適化ではなく、普遍モデルを利用する。 0.70
URT trains an attention mechanism [18] for its universal model, which learns to assign appropriate weights to source feature extractors given a few-shot episode. URTはその普遍モデルに対する注意機構[18]を訓練し、数発のエピソードを与えられたソース特徴抽出器に適切な重みを割り当てることを学ぶ。 0.70
The universal model is trained and has its hyperparameters selected using episodes sampled from the source domain’s training and validation partitions. ユニバーサルモデルはトレーニングされ、ソースドメインのトレーニングと検証パーティションからサンプリングされたエピソードを使用してハイパーパラメータが選択される。 0.67
Task-Specific Adaptors TSA [10] is a very recent fine-tuning paradigm that is designed to be particularly suitable for CDFSML and shown to yield improved results when used in conjunction with URL, where it effectively adds trainable parallel matrix adaptors to the backbones’ architecture (in addition to the trainable projection layer used in the URL backbones). Task-Specific Adaptors TSA[10]は、CDFSMLに特に適するように設計され、URLと組み合わせて使用すると改善された結果が得られる、非常に最近の微調整パラダイムである。
訳抜け防止モード: Task - Specific Adaptors TSA [10 ]は、CDFSMLに特に適するように設計された、非常に最近のファインチューニングパラダイムである。 これは、(URLバックボーンで使用されるトレーニング可能なプロジェクション層に加えて)バックボーンのアーキテクチャにトレーニング可能な並列マトリックスアダプタを効果的に追加するものです。
0.69
TSA is orthogonal to the stacking method introduced here. TSAは、ここで導入された積み重ね方式と直交する。 0.58
Due to the recency of its publication, 出版が再開されたためである。 0.62
英語(論文から抽出)日本語訳スコア
Cross-domain Few-shot Meta-learning Using Stacking スタックを用いたクロスドメインマイズショットメタラーニング 0.54
7 we were unable to evaluate the effect of TSA backbones in our setting. 7 設定におけるtsaバックボーンの効果を評価することができなかった。 0.49
However, we conjecture that we can obtain performance improvements similar to those obtained when using these backbones in URL. しかし,これらのバックボーンをURLで使用する場合と同様の性能向上が期待できる。 0.64
3 Stacking for cross-domain few-shot learning クロスドメイン・少数ショット学習のための3重ね合わせ 0.55
We propose Feature Extractor Stacking (FES) for CDFSML, formulated as three phases: fine-tuning backbones to obtain checkpoints, cross-validation to produce meta-training data for a meta-learner, and meta-learning to create an ensemble from the checkpoints. チェックポイントを取得するための微調整バックボーン,メタラーナーのためのメタトレーニングデータを生成するためのクロスバリデーション,チェックポイントからアンサンブルを生成するためのメタラーニング,という3つのフェーズからなるCDFSML用の機能エクストラクタスタック(FES)を提案する。 0.67
3.1 Fine-tuning 3.1ファインチューニング 0.47
We use fΦ0 , fΦ1, ..., fΦK−1 to denote the collection of pre-trained feature extractors, where Φ represents the extractor’s parameters and K is the number of source domains. fφ0 , fφ1, ..., fφk−1 を用いて事前訓練された特徴抽出子の集まりを表し、そこで φ は抽出者のパラメータを表し、k はソースドメインの数である。
訳抜け防止モード: fφ0, fφ1, ..., fφk−1 を用いる。 事前訓練された特徴抽出器のコレクションを示す φ はextractor のパラメータと k を表す。 ソースドメインの数です。
0.66
The support set of a few-shot episode is denoted S and the query set Q. S contains N instances belonging to C classes. 数発のエピソードのサポートセットはSと表示され、クエリセットQはCクラスに属するNインスタンスを含む。 0.74
We fine-tune each backbone independently on S. As fΦ is a feature extractor, a classifier g is attached to fΦ to produce logits, and the resulting model is defined as hΨ = g◦ fΦ. fφ は特徴抽出器であり、分類器 g は fφ に取り付けられてロジットを生成し、結果のモデルは hψ = g として定義される。 0.60
Ψ is the combination of Φ and the parameters in g, and Ψ = Φ if g is nonparametric. ψ は φ と g のパラメータの組み合わせであり、g が非パラメトリックであれば ψ = φ である。 0.79
After a predetermined number of fine-tuning iterations, the state of h is denoted as Ψ(cid:48), and hΨ(cid:48) is saved as a checkpoint. 所定の数の微調整を繰り返した後、hの状態はψ(cid:48)と表記され、hψ(cid:48)はチェックポイントとして保存される。 0.70
Multiple checkpoints can be saved at different iterations of a fine-tuning process. 複数のチェックポイントは、微調整プロセスの異なるイテレーションで保存できる。 0.74
In our results, we show it is beneficial to save checkpoints frequently. その結果,チェックポイントを頻繁に保存することは有益であることがわかった。 0.64
In the current version of FES, the meta-classifier treats every checkpoint independently, i.e., it does not consider whether two checkpoints hΨ(cid:48) originate from the same un-fine-tuned model hΨ or two different ones. fesの現在のバージョンでは、メタ分類器は全てのチェックポイントを独立に扱うが、2つのチェックポイント hψ(cid:48) が同じ非微調整モデル hψ または2つの異なるチェックポイントに由来するかどうかを考慮しない。 0.64
Therefore, for the ease of notation, we denote the collection of all checkpoints saved from all K backbones’ fine-tuning as a flattened list hΨ(cid:48) したがって、表記の容易さのために、すべてのkバックボーンの微調整から保存された全てのチェックポイントのコレクションをフラット化リスト hψ(cid:48) として表す。 0.64
, where J is the total number of checkpoints. ここで j はチェックポイントの総数である。 0.64
and hΨ(cid:48) そしてhψ(cid:48) 0.70
, ..., hΨ(cid:48) , ..., hψ(cid:48) 0.47
, hΨ(cid:48) ,h'(cid:48) 0.41
0 1 Each backbone’s fine-tuning configuration should be one that suits the model, and different backbones can use different configurations. 0 1 それぞれのバックボーンの微調整設定はモデルに適合するものでなければならず、異なるバックボーンは異なる設定を使うことができる。 0.51
The configuration includes hyperparameters such as the learning rate (and scheduling), number of fine-tuning iterations, optimiser, etc., as well as high-level parameters such as what classifier g to use or which parts of the model hΨ to freeze. この構成には、学習率(とスケジューリング)、微調整イテレーション数、オプティマイザ数などのハイパーパラメータと、どの分類子gを使うか、どのモデルを凍結するかといった高レベルパラメータが含まれる。 0.68
A configuration should be determined with respect to the model’s architecture and pretraining, e g , a FiLM network should have its convolutional layers frozen, leaving only the batch normalisation layers trainable. 例えば、FiLMネットワークは、その畳み込みレイヤを凍結させ、バッチ正規化レイヤのみをトレーニング可能にする。
訳抜け防止モード: 構成は、モデルのアーキテクチャと事前トレーニングに関して決定されるべきです。 例えば、FiLMネットワークは、 畳み込み層が凍っていました バッチ正規化層だけを 訓練できる
0.66
Our experimental setup section will explain the configurations we used, which should serve as a more detailed example. 実験的なセットアップセクションでは、使用する構成について説明します。 0.55
0 1 J−1 3.2 Cross-validation 0 1 J−1 3.2 クロスバリデーション 0.41
We apply stratified k-fold cross-validation to the support set S, producing k sets of training/test splits (Strain k−1). 支持集合 s に成層的 k-フォールドクロスバリデーションを適用し、訓練/テスト分割の k 集合を生成する(strain k−1)。 0.60
Given a pair of (Strain, Stest) and a checkpoint hΨ(cid:48), we obtain an un-fine-tuned copy 一対の(Strain, Stest)とチェックポイント(cid:48)が与えられたとき、未細調整コピーを得る。 0.72
k−1 , Stest k−1, Stest 0.38
), ..., (Strain )...(ストレイン) 0.65
), (Strain , Stest ) であった。 、テスト。 0.40
, Stest 0 0 1 、テスト。 0 0 1 0.43
1 1 0.43
英語(論文から抽出)日本語訳スコア
8 H. Wang et al 8 H. Wang et al 0.46
of the checkpoint, i.e., hΨ , which can be assembled from fΦ and g if g’s initialisation is deterministic, or needs to be a saved copy beforehand during finetuning if otherwise. チェックポイント、すなわち hψ は、g の初期化が決定論的であれば fφ と g から組み立てることができる。
訳抜け防止モード: チェックポイントの hψ は g の初期化が決定論的であれば fφ と g から組み立てることができる。 あるいは、もしそうでなければ、微調整中に事前に保存されたコピーである必要がある。
0.70
We fine-tune hΨ with the same configuration used to obtain hΨ(cid:48), e g , with the same optimiser, learning rate, number of iterations, etc., on Strain, and the resulting model is denoted hΨ CV . 我々は、hψ(cid:48)、例えば、同じオプティマイザー、学習率、イテレーション数などを得るのに使われたのと同じ構成のhψをひずみで微調整し、その結果をhψ cvと表記する。
訳抜け防止モード: 精巧に - h を h を得るのと同じ構成でチューニングする(cid:48 )。 例えば、同じオプティマイザ、学習率、イテレーション数です。 etc., on Strain, and 結果のモデルは h CV と表記される。
0.71
Logits LCV are extracted from Stest with hΨ CV , i.e., LCV = hΨ CV (Stest). 検体LCVは、検体からh CV、すなわち LCV = h CV(検体)で抽出される。 0.74
Using this approach, ), (Strain the splits (Strain k−1) can be used to produce logits LCV k−1, and these can be combined into LCV , LCV S , i.e., logits for every support set instance extracted using cross-validation. このアプローチを用いて) (Strain the splits (Strain k−1) を使用してロジット LCV k−1 を生成することができ、これらを LCV , LCV S , すなわち、クロスバリデーションを用いて抽出されたすべてのサポートセットインスタンスのロジットに結合することができる。 0.73
LCV is a matrix of shape N × C, i.e., logits for C classes for N support instances. LCV は N × C の形をした行列、つまり N のサポートインスタンスの C クラスのロジットである。 0.88
S , Stest , ..., LCV S , Stest , ..., LCV 0.39
k−1 , Stest k−1, Stest 0.38
), ..., (Strain )...(ストレイン) 0.65
, Stest 0 0 1 、テスト。 0 0 1 0.43
0 1 1 Using the method above, support logits can be extracted for every checkpoint , hΨ(cid:48) J−1, which can be stacked into a J−1 of shape N × J × C. This tensor is used as training data for the 0 1 1 上記の方法を用いることで、チェックポイント毎にサポートロジットを抽出できる。これは、N × J × C の J−1 の形に積み重ねることができる。このテンソルは、チェックポイントのトレーニングデータとして使用される。 0.50
hΨ(cid:48) tensor LCV meta-learner in our stacking-based approach. hψ(cid:48) テンソルlcvメタリアナー スタックベースアプローチ。 0.51
, producing LCV , ..., LCV CVを産生する。 lcv (複数形 lcvs) 0.41
, ..., hΨ(cid:48) , ..., hψ(cid:48) 0.47
, LCV J 0 1 , LCV J 0 1 0.43
0 1 3.3 Meta-learning 0 1 3.3 メタラーニング 0.44
The parameters optimised by our meta-learner are structured as a weight array W of length J, with Wj representing the j-th checkpoint’s weight. メタラーナーによって最適化されたパラメータは、長さJの重み配列Wとして構成され、Wjはj番目のチェックポイントの重みを表す。 0.67
Given a metalearning instance l of shape J × C, which contains logits for C classes extracted by J checkpoints, the meta-learner’s output logits lW are obtained using a simple weighted average: Jチェックポイントによって抽出されたCクラスのロジットを含む形状J×Cのメタラーニングインスタンスlが与えられた場合、メタラーナーの出力ロジットlWは単純な重み付き平均を用いて得られる。 0.72
lW c = Wj · lj,c, lW c = Wj · lj,c, 0.42
(1) J−1(cid:88) (1) J−1(第88回) 0.50
j=0 − N−1(cid:80) j=0 -N−1(cid:80) 0.31
where c is one of the C classes. ここで c は C クラスの 1 つである。 0.72
We compute the cross-entropy loss on the N support set instances based on the logits LW and one-hot-encoded labels Y , i.e., 我々は、ログLWと1ホットエンコードラベルYに基づいて、Nサポートセットインスタンス上のクロスエントロピー損失を計算する。 0.71
Yi log(sof tmax(LW Yi log(sof tmax(LW) 0.48
i )), which we minimise by training W . i)) をトレーニングすることで最小化できる。 0.58
n=0 After training, W is used with Equation 1 to compute logits for a new query , ..., hΨ(cid:48) n=0 トレーニング後、w は式 1 で新しいクエリ , ..., hψ(cid:48) のロジットを計算するのに使われる。 0.74
instance q using the logits Lq , hΨ(cid:48) Then, a softmax function is used to obtain class probability estimates. 例 q では、logits lq , hψ(cid:48) を用いて、クラス確率推定を得るためにsoftmax関数が使用される。 0.74
J computed by the saved checkpoints hΨ(cid:48) 保存されたチェックポイント h によって計算された J (cid:48) 0.56
0 1 J−1 . 3.4 Convexity proof 0 1 J−1 . 3.4 凸性証明 0.37
We prove that optimising W on LCV is a convex problem, by showing that the second derivative of every instance’s loss −y· log(sof tmax(lW )) is non-negative. LCV 上で W を最適化することは凸問題であり、各インスタンスの損失 −y· log(sof tmax(lW )) の 2 番目の微分が非負であることを示す。 0.78
Assuming cy is the correct label among the C classes, the loss can be written as Cクラスの中でcyが正しいラベルであると仮定すると、損失は書ける。 0.81
J (cid:96) = log( J (cid:96) = log( 0.44
ci ) − lW elW ci) − lW elW 0.42
cy . C−1(cid:88) サイ . C−1(第88回) 0.53
i=0 i=0 0.29
英語(論文から抽出)日本語訳スコア
d(cid:96) dwj d(cid:96)dwj 0.40
= − lj,cy lj,cielW = -lj,cy lj,cielW 0.36
ci elW ci i=0 ci エルフci i=0 0.35
C−1(cid:80) C−1(cid:80) ci · C−1(cid:80) C−1(cid:80) C−1(cid:80)C−1(cid:80)ci ·C−1(cid:80)C−1(cid:80) 0.32
i=0 i=0 ( i=0 i=0 i=0 ( i=0 0.33
elW ci − ( elW エルウ ci (複数形 cis) 0.30
elW ci )2 C−1(cid:80) エルウ ci)2。 C−1(第80回) 0.46
i=0 lj,cielW i=0 lj,cielW 0.36
ci )2 . The second derivative is ci)2。 . 第二の微分は 0.50
d2(cid:96) dw2 j d2(cid:96) dw2 j 0.37
= C−1(cid:80) = C−1(第80回) 0.50
i=0 l2 j,ci i=0 l2j,ci 0.35
Cross-domain Few-shot Meta-learning Using Stacking スタックを用いたクロスドメインマイズショットメタラーニング 0.54
9 Given any weight wj in the array W , and Equation 1, the first derivative is 9 配列 w と方程式 1 の任意の重み wj が与えられたとき、第一微分は 0.58
The denominator is clearly positive; we show that the numerator is non-negative. 分母は明らかに正である; 数値化子は非負であることを示す。 0.61
We rename i into a and b. i を a と b に改名します。 0.68
The minuend becomes minuend (複数形 minuends) 0.15
C−1(cid:80) a=0 C−1(第80回) a=0。 0.51
ca · C−1(cid:80) ca · C−1 (cid:80) 0.37
b=0 l2 j,ca b=0 l2j,ca 0.35
elW elW cb , and the エルウ エルウ cb と 0.41
subtrahend becomes subtrahend (複数形 subtrahends) 0.14
lj,cb elW cb , transforming the subtraction into lj,cb elW cb サブトラクションを変換し 0.48
ca · C−1(cid:80) ca · C−1 (cid:80) 0.37
b=0 C−1(cid:80) C−1(cid:88) b=0 C−1(cid:80)C−1(cid:88) 0.30
a=0 lj,ca elW a=0。 lj,ca elW 0.44
C−1(cid:88) ((l2 C−1(第88回) ((l2) 0.48
j,ca − lj,ca lj,cb ) · e(lW j.ca. − lj,ca lj,cb ) · e(lW) 0.40
ca +lW cb )). キャ +lW cb )). 0.64
a=0 b=0 ca a=0。 b=0 キャ 0.46
+lW cb ) is always positive. +lW cb )は常に陽性である。 0.75
When a = b, we have l2 a = b であれば l2 となる。 0.71
− lj,ca lj,cb = 0. − lj,ca lj,cb = 0。 0.41
Any offe(lW diagonal pair (a, 任意の offe(lW 対角対 (a, 0.76
b) in the C × C matrix can be paired up with its opposite (b, b) c × c 行列において、その逆の (b, c) と対合することができる。 0.73
a). The sum of each pair is a)。 それぞれのペアの合計は 0.73
j,ca j,ca j.ca. j.ca. 0.35
(l2 − lj,ca lj,cb ) · e(lW − 2lj,ca lj,cb + l2 =(l2 =(lj,ca − lj,cb )2 · e(lW (l2) − lj,ca lj,cb ) · e(lW − 2lj,ca lj,cb + l2 =(l2 =(lj,ca − lj,cb )2 · e(lW) 0.40
j,ca j,cb +lW cb j.ca. j,cb +lW cb 0.42
ca ca +lW cb キャ キャ +lW cb 0.71
) + (l2 j,cb +lW cb ) + (l2 j,cb +lW cb) 0.90
ca ) ) · e(lW ). キャ ) ) · e(lW )。 0.59
− lj,cb lj,ca ) · e(lW − lj,cb lj,ca ) · e(lW) 0.45
cb +lW ca ) cb +lW ca ) 0.43
Therefore, the sum of every pair is non-negative, and the pair sum is positive if lj,ca (cid:54)= lj,cb . したがって、すべての対の和は非負であり、対の和は lj,ca (cid:54)= lj,cb であれば正である。 0.66
positive as long as ∃a, b ∈ LCV on LCV LCV 上の sa,b ∈ LCV が正である限り 0.84
In conclusion, the second derivative of the loss (cid:96) is non-negative, and it is : a (cid:54)= b. 結論として、損失の第2微分(cid:96)は非負であり、a(cid:54)=bである。 0.76
Therefore, the problem of optimising W したがって W の最適化の問題 0.79
is convex. J J 3.5 Handling single-instance classes 凸です J J 3.5 単一インスタンスクラスを扱う 0.45
Meta-Dataset’s sampling scheme sometimes produces support sets where classes have only one instance, which interferes with the initialisation of classifiers during cross-validation. Meta-Datasetのサンプリングスキームは、クラスが1つのインスタンスしか持たないサポートセットを生成することがある。 0.52
During cross-validation, if the only instance belonging to a single-instance class is partitioned into the test split Stest, then the training split Strain will have no instance in that class for classifier initialisation, i.e., its クロスバリデーションの間、単一インスタンスクラスに属する唯一のインスタンスがテストスプリットstestに分割される場合、トレーニングスプリットひずみはそのクラスにクラス化初期化のためのインスタンス、すなわちそのインスタンスを持たない。 0.78
英語(論文から抽出)日本語訳スコア
10 H. Wang et al 10 H. Wang et al 0.46
centroid cannot be computed. セントロイドは計算できない。 0.51
To solve this issue, the problematic classes need to have their centroids set to null vectors, i.e., filled with zeros, and corresponding instances in the test split need to be removed as they will not lead to logits useful to meta-learning. この問題を解決するには、問題のあるクラスは、センタロイドをヌルベクター(すなわちゼロで満たされた)にセットしておく必要があり、テストスプリット内の対応するインスタンスは、メタラーニングに有用なロジットに繋がらないために削除する必要がある。 0.60
However, if classes are effectively removed from the extracted logits LCV J , the meta-learner W will not have a complete picture of the support set (even though it is still able to function as normal because it only learns a weight for each checkpoint instead of any statistical knowledge specific to individual classes). しかし、抽出したロジット LCV J からクラスを効果的に取り除いた場合、メタラーナー W はサポートセットの完全な図面を持ってはならない(ただし、個々のクラス固有の統計知識ではなく、各チェックポイントの重みしか学習できないため、普通として機能する)。 0.73
To compensate for W ’s missing training instances, we include a new meta-learner WK, containing a weight for each of un-fine-tuned K models hΨ0 , hΨ1 , ..., hΨK−1. W の不足したトレーニングインスタンスを補うため、新しいメタラーナー WK が含まれており、未微調整の K モデル h 0 , h 1 , ..., h −1 の各モデルに対する重みを含む。 0.67
To differentiate the two meta-learners, W will be referred to as WJ hereon. 2つのメタリーナーを区別するために、wはwj hereonと呼ばれる。 0.57
Each hΨ is used to extract logits from the entire support set S, and logits extracted by all un-fine-tuned models are stacked into LK, which is then used to train WK in the same way that LCV is used to train WJ . 各hはサポートセットS全体からロジットを抽出するために使用され、未調整のモデルから抽出されたロジットはLKに積み上げられ、LCVがWJを訓練するのと同じようにWKを訓練するために使用される。 0.62
Then WK and WJ are converted into the same space representing the union of {hΨ0, hΨ1 , ..., hΨK−1} and {hΨ(cid:48) }, by padding their weight arrays with zeros for the checkpoints that they lack respectively. このとき、WK と WJ は、それぞれ欠落するチェックポイントの零点で重みの配列をパディングすることによって、 {h'0, h'1 , ..., h'K−1} と {h'(cid:48) } の和を表す同じ空間に変換される。 0.64
(Usually the J checkpoints already contain the K un-fine-tuned ones, and only WK needs to be padded.) (Jチェックポイントには既に未調整のKが含まれており、WKのみをパディングする必要がある)。 0.64
The weights are scaled to be consistent, i.e., WK = max(abs(WK)) and WJ = max(abs(WJ )). 重みは、WK = max(abs(WK)) と WJ = max(abs(WJ )) のように、一貫したようにスケールされる。 0.83
A , ..., hΨ(cid:48) A , ..., hψ(cid:48) 0.45
J−1 J , hΨ(cid:48) J−1 J ,h'(cid:48) 0.38
1 0 , and the two metablending factor is defined as b = learners are blended into one WU = b·WK +(1−b)·WJ . 1 0 b = 学習者は1つの WU = b·WK +(1−b)·WJ にブレンドされる。 0.48
WU can then be utilised as WJ for instance classification. WUは、WJとしてインスタンス分類に利用できる。 0.80
In the extreme case of a one-shot episode, i.e., every class contains a single instance, b = 1 and WU = WK, as cross-validation cannot be performed. ワンショットエピソードの極端な場合、すなわち、すべてのクラスは単一のインスタンス、b = 1 と WU = WK を含む。
訳抜け防止モード: 1対1の極端な場合、すなわち、ショットエピソード。 すべてのクラスは単一のインスタンス、b = 1 と WU = WK を含む。 cross - 検証はできない。
0.75
all class count single-instance-clas s count 全クラス single‐instance class 0.38
4 Experimental setup 4実験的セットアップ 0.88
To facilitate comparison with FLUTE and URL, we use saved models provided by official repositories of these methods in our stacking-based method, and finetuning configurations specified in the corresponding articles. FLUTEとURLの比較を容易にするため,これらのメソッドの公式リポジトリが提供する保存モデルと,対応する記事に指定された設定を微調整する。 0.79
The download for FLUTE contains a FiLM ResNet18 model with one set of convolutional weights and eight sets of batch normalisation weights, which can be converted into eight standalone ResNet18 models that have identical convolutional weights. FLUTEのダウンロードには、1セットの畳み込み重みと8セットのバッチ正規化重みを持つFiLM ResNet18モデルが含まれており、同じ畳み込み重みを持つ8つのスタンドアロンResNet18モデルに変換することができる。 0.69
URL contains a “universal” ResNet18 model produced by distilling knowledge from eight source domain feature extractors, and we use URL’s universal model directly as a feature extractor. URLには、8つのソースドメインの特徴抽出器から知識を抽出した“ユニバーサル”なResNet18モデルが含まれており、機能抽出器としてURLの普遍モデルを直接使用しています。 0.68
Therefore, we have nine extractors available. したがって、9つの抽出器が利用可能です。 0.60
When fine-tuning each FLUTE feature extractor, we keep the convolutional layers frozen, and use FLUTE’s choice of the Adam optimiser and a learning rate of 5e-3. それぞれのFLUTE特徴抽出器を微調整すると、畳み込み層の凍結を保ち、Adamオプティマイザの選択と学習レート5e-3を使用する。 0.76
We attach a cosine classifier to the end of each FLUTE feature extractor, and the classifier’s weight matrix is initialised with the centroids of support set feature vectors extracted by the feature extractor before fine-tuning. それぞれのFLUTE特徴抽出器の端にコサイン分類器を装着し、細調整前に特徴抽出器によって抽出された支持セット特徴ベクトルのセントロイドを用いて分類器の重み行列を初期化する。 0.78
When fine-tuning the URL feature extractor, we keep the entire extractor frozen, and apply a trainable projection with a weight matrix of shape 512× 512 (initialised as an identity matrix) to the extractor’s output. url特徴抽出器を微調整する場合、抽出器全体を凍結し、抽出器の出力に512×512形(識別行列として初期化)の重み行列を訓練可能な投影を適用する。 0.70
We use URL’s choice 私たちはURLを選択します 0.76
英語(論文から抽出)日本語訳スコア
Cross-domain Few-shot Meta-learning Using Stacking スタックを用いたクロスドメインマイズショットメタラーニング 0.54
11 of an Adadelta optimiser and a learning rate of 0.1 for the source domains and 1 for the target domains. 11 adadeltaのオプティマイザーと、ソースドメインの学習率0.1と、ターゲットドメインの1とについて。 0.54
Logits are produced from projected feature vectors using a nearest-centroid classifier. logitは、最寄りのcentroid分類器を使用して、投影された特徴ベクトルから生成される。 0.46
URL scales its logits by a factor of 10 in its training, which need to be scaled back by 0.1 at logit extraction time to be consistent with FLUTE’s logits. URLはトレーニングにおいて10倍のロジットをスケールするが、FLUTEのロジットと一致させるためには、ロジット抽出時に0.1倍のスケールバックが必要になる。 0.69
FLUTE fine-tunes a model for 6 iterations during meta-test while URL finetunes for 40. FLUTEはメタテスト中に6回モデルを微調整し、URLは40回微調整する。 0.50
We fine-tune all extractors for 40 iterations and save a checkpoint after each iteration, in addition to one checkpoint saved for the un-fine-tuned model, i.e., a total of 41 checkpoints per model. 40回の反復ですべての抽出器を微調整し、各イテレーションの後にチェックポイントを保存し、未調整モデルのために保存された1つのチェックポイント、すなわち1モデルにつき合計41のチェックポイントを保存します。 0.61
Our experiments indicate that stratified 2-fold cross-validation is sufficient in the stacking approach and increasing the number of folds does not lead to significantly different results. 実験により, 積層法では層状2次元交叉バリデーションが十分であり, 折りたたみ数の増加は, 著しく異なる結果をもたらすことが示唆された。 0.62
Therefore, we use 2-fold cross-validation, which is computationally cheaper than having more folds. したがって、2-foldクロスバリデーションは、より多くの折りたたみを持つよりも計算的に安価である。 0.52
Due to the convexity of the meta-learning problem, we use an LBFGS optimiser to train the meta-learner, applying its default hyperparameters in the PyTorch library, except that we utilise its line search function. メタラーニング問題の凸性のため,LBFGSオプティマイザを用いてメタラーナーのトレーニングを行い,PyTorchライブラリにデフォルトのハイパーパラメータを適用した。
訳抜け防止モード: メタ-学習問題の凸性のため、メタ-学習者の訓練にはLBFGSオプティマイザを用いる。 PyTorchライブラリにデフォルトのハイパーパラメータを適用する。 ただし、行検索機能を利用しています。
0.68
The meta-learner’s weight matrix is initialised with a small constant, i.e., 1/41 so that the initial weights of all checkpoints for each backbone sum up to 1. メタリーナーの重み行列は、1/41という小さな定数で初期化され、各バックボーンの全てのチェックポイントの初期重みが1にまとめられる。
訳抜け防止モード: メタ-学習者の重み行列は、小さな定数で初期化される。 つまり 1/41 なので 各バックボーンの全てのチェックポイントの初期重みは 1 になる。
0.78
5 Results We present our experimental results here. 結果5 ここで実験結果を紹介する。 0.75
In order to eliminate the randomness in Meta-Dataset’s sampling, which has been observed to cause accuracy fluctuations of up to 3% between different runs, 600 test episodes were sampled from each domain and cached, so that all methods presented below are evaluated on exactly the same FSL tasks. 異なる実行間に最大3%の精度変動を引き起こすことが観測されたMeta-Datasetのサンプリングのランダム性を排除するため、各ドメインから600のテストエピソードをサンプリングし、キャッシュし、以下に示すすべてのメソッドが全く同じFSLタスクで評価される。 0.80
We first compare our stacking method with recently published CDFSML methods, and then conduct ablation studies to analyse the effect of fine-tuning length and checkpoint frequency. 本手法を最近公表したCDFSML法と比較し, 微調整長とチェックポイント周波数の影響を分析するためのアブレーション実験を行った。 0.74
5.1 Performance on the extended Meta-Dataset 5.1 拡張されたメタデータセットのパフォーマンス 0.57
We evaluate FES in three different settings: with all nine available backbones (FES full), with the eight FLUTE backbones (FES FLUTE), and with the single URL backbone (FES URL). 9つのバックボーン(fesフル)、8つのフルートバックボーン(fesフルート)、1つのurlバックボーン(fesurl)の3つの設定でfesを評価した。 0.48
We compare performance to that of FLUTE and URL. FLUTEとURLのパフォーマンスを比較した。 0.67
We also include a FES baseline without cross-validation, where the metalearner contains 9 weight values, one for each backbone after 40 iterations of finetuning. また, クロスバリデーションのないFESベースラインも備えており, 40回のファインタニングの後, バックボーン毎に9つの重み付け値を含む。 0.74
The baseline uses the fine-tuned models to extract training logits for the meta-learner directly from the support set instead of utilising cross-validation. ベースラインは微調整されたモデルを使用して、クロスバリデーションを利用する代わりに、サポートセットから直接メタリーナーのトレーニングロジットを抽出する。
訳抜け防止モード: ベースラインは微調整モデルを使用する 支援セットから直接メタ学習者のトレーニングロジットを抽出する cross - バリデーションを利用する代わりに。
0.73
The evaluation results are given in Table 1, showing the methods’ accuracy on the eight weak generalisation domains and the ten strong generalisation domains, as well as accuracy averaged over both, the two groups and all datasets. 評価結果は表1で示され、8つの弱い一般化ドメインと10の強い一般化ドメインに対する方法の正確さと、2つのグループとすべてのデータセットの両方で平均された精度を示している。 0.85
Values in Tables 1, 2, and 3 represent query set accuracy averaged over 600 episodes with a 95% confidence interval. 表1、2、3の値は、95%の信頼区間を持つ600回以上のクエリセットの精度を表す。 0.76
FES full exhibits the best strong generalisation and overall performance out of the six methods, while being less accurate in weak generalisation domains fes fullは6つの方法のうち最も強固な一般化と全体的な性能を示すが、弱い一般化領域では正確性は低い 0.68
英語(論文から抽出)日本語訳スコア
12 H. Wang et al 12 H. Wang et al 0.46
Table 1. Performance of FES in three different settings, compared with URL and FLUTE, as well as a baseline without cross-validation 表1。 URLとFLUTEとクロスバリデーションのないベースラインの3つの異なる設定におけるFESの性能 0.72
Dataset ilsvrc 2012 omniglot aircraft cu birds dtd quickdraw fungi vgg flower traffic sign mscoco mnist cifar10 cifar100 CropDisease EuroSAT ISIC ChestX Food101 Average WG Average SG Average all Dataset ilsvrc 2012 omniglot Aircraft cu birds dtd quickdraw fungi vgg flower traffic sign mscoco mnist cifar10 cifar100 CropDisease EuroSAT ISIC ChestX Food101 Average WG Average SG Average all 0.47
URL 57.0±1.0 94.1±0.4 88.5±0.5 80.4±0.7 76.5±0.7 82.2±0.6 68.1±1.0 92.3±0.5 62.7±1.2 54.5±1.0 94.5±0.4 71.8±0.7 63.0±1.0 80.6±0.8 86.1±0.6 46.0±0.8 29.2±0.6 52.3±1.1 79.87 64.06 71.08 URL 57.0±1.0 94.1±0.4 88.5±0.5 80.4±0.7 76.5±0.7 82.2±0.6 68.1±1.0 92.3±0.5 62.7±1.2 54.5±1.0 94.5±0.4 71.8±0.7 63.0±1.0 80.6±0.8 86.1±0.6 46.0±0.8 29.2±0.6 52.3±1.1 79.87 64.06 71.08 0.47
FLUTE 51.1±1.1 93.6±0.5 87.6±0.6 78.9±0.8 69.0±0.8 79.2±0.7 57.9±1.1 92.0±0.6 58.1±1.1 50.0±1.0 96.0±0.3 78.8±0.7 67.8±0.9 77.9±0.8 81.8±0.6 46.4±0.9 28.5±0.6 46.0±1.1 76.18 63.12 68.93 FLUTE 51.1±1.1 93.6±0.5 87.6±0.6 78.9±0.8 69.0±0.8 79.2±0.7 57.9±1.1 92.0±0.6 58.1±1.1 50.0±1.0 96.0±0.3 78.8±0.7 67.8±0.9 77.9±0.8 81.8±0.6 46.4±0.9 28.5±0.6 46.0±1.1 76.18 63.12 68.93 0.20
FES URL FES FLUTE 56.7±1.1 93.9±0.5 88.4±0.5 80.4±0.8 76.2±0.8 82.4±0.6 67.7±1.0 92.1±0.6 62.6±1.2 54.6±1.1 94.2±0.6 70.4±0.9 62.7±1.0 80.2±0.8 85.4±0.7 41.3±1.0 23.2±0.7 52.9±1.1 79.71 62.74 70.28 FES URL FES FLUTE 56.7±1.1 93.9±0.5 88.4±0.5 80.4±0.8 76.2±0.8 82.4±0.6 67.7±1.0 92.1±0.6 62.6±1.2 54.6±1.1 94.2±0.6 70.4±0.9 62.7±1.0 80.2±0.8 85.4±0.7 41.3±1.0 23.2±0.7 52.9±1.1 79.71 62.74 70.28 0.22
52.9±1.1 91.1±0.7 86.5±0.8 78.5±0.9 72.7±0.9 78.8±0.7 55.3±1.2 91.9±0.6 75.6±1.2 50.1±1.1 96.7±0.4 78.5±0.9 70.1±1.0 85.2±0.8 87.0±0.8 43.0±0.9 26.2±0.6 49.7±1.2 75.95 66.21 70.54 52.9±1.1 91.1±0.7 86.5±0.8 78.5±0.9 72.7±0.9 78.8±0.7 55.3±1.2 91.9±0.6 75.6±1.2 50.1±1.1 96.7±0.4 78.5±0.9 70.1±1.0 85.2±0.8 87.0±0.8 43.0±0.9 26.2±0.6 49.7±1.2 75.95 66.21 70.54 0.10
FES full 56.0±1.1 92.1±0.6 89.0±0.6 81.3±0.8 75.0±0.9 81.8±0.6 65.7±1.1 92.6±0.6 76.3±1.1 54.2±1.1 96.8±0.4 79.0±0.9 71.2±1.0 86.0±0.7 87.7±0.7 44.0±1.0 26.5±0.6 53.8±1.1 FES full 56.0±1.1 92.1±0.6 89.0±0.6 81.3±0.8 75.0±0.9 81.8±0.6 65.7±1.1 92.6±0.6 76.3±1.1 54.2±1.1 96.8±0.4 79.0±0.9 71.2±1.0 86.0±0.7 87.7±0.7 44.0±1.0 26.5±0.6 53.8±1.1 0.10
79.20 67.54 72.72 79.20 67.54 72.72 0.24
Baseline 50.5±1.1 91.4±0.6 83.9±0.8 75.7±0.9 74.0±0.8 71.9±0.9 43.2±1.1 92.2±0.6 70.5±1.2 45.9±1.2 97.4±0.3 78.4±0.9 68.5±1.0 80.6±0.9 87.6±0.6 38.4±0.9 27.2±0.5 45.5±1.2 72.85 64.00 67.93 Baseline 50.5±1.1 91.4±0.6 83.9±0.8 75.7±0.9 74.0±0.8 71.9±0.9 43.2±1.1 92.2±0.6 70.5±1.2 45.9±1.2 97.4±0.3 78.4±0.9 68.5±1.0 80.6±0.9 87.6±0.6 38.4±0.9 27.2±0.5 45.5±1.2 72.85 64.00 67.93 0.10
than URL. While FES URL generally performs worse than URL, FES FLUTE performs better than FLUTE in the target domains. URLよりも FES URLは一般的にURLよりもパフォーマンスが悪いが、FES FLUTEはターゲットドメインのFLUTEより優れている。 0.76
We speculate that FES benefits more from a diverse backbone collection than a single powerful backbone. FESは単一の強力なバックボーンよりも多様なバックボーンコレクションの恩恵を受けていると推測する。 0.55
Note that FLUTE and URL trained their respective backbones with the same source domain datasets, and FES FLUTE generalises better than FES URL. FLUTEとURLは、それぞれのバックボーンを同じソースドメインデータセットでトレーニングし、FES FLUTEはFES URLよりも優れていることに注意してください。
訳抜け防止モード: FLUTEとURLは、それぞれのバックボーンを同じソースドメインデータセットでトレーニングしました。 FES FLUTE は FES URL よりも優れている。
0.79
This speculation is further supported by the fact that FES full performs better than both FES FLUTE and FES URL, as FES full has the most diverse backbone collection. この推測は FES full が FES FLUTE と FES URL の両方より優れているという事実によってさらに裏付けられている。
訳抜け防止モード: この推測は FES full が FES FLUTE と FES URL より優れているという事実によってさらに裏付けられている。 FES fullは最も多様なバックボーンコレクションを持っている。
0.79
5.2 Fine-tuning iterations 5.2 微調整イテレーション 0.56
We perform an ablation study by limiting the number of fine-tuning iterations for FES. FESの微調整イテレーション数を制限することでアブレーション研究を行う。 0.71
Table 2 shows the performance of FES full when the number of fine-tuning iterations is limited to 10, 20, 30, and when all 40 iterations are performed. 表2は、調整されたイテレーションの数を10,20,30に制限し、40回のイテレーションを全て実行する場合に、fesの性能をフルに表示する。 0.59
A checkpoint is saved after every iteration, in addition to the initial un-fine-tuned checkpoint, e g , fine-tuning for 10 iterations creates 11 checkpoints for each backbone. チェックポイントはイテレーション毎に保存され、初期未定義のチェックポイント、例えば10イテレーションの微調整はバックボーン毎に11のチェックポイントを生成する。 0.72
Fine-tuning for 40 iterations is overall the best performing configuration, as it is significantly better than its fewer-iteration alternatives on datasets such as Traffic Signs and Crop Disease, When it is worse, the difference is always within the 95% confidence interval. 40回のイテレーションの微調整は、概して最もパフォーマンスの高い構成であり、交通標識や作物病などのデータセットの代替案よりもはるかに優れているため、より悪い場合には95%の信頼区間内にある。 0.76
FES full still shows clear signs of improvement on FESは依然として改善の兆しを見せている 0.73
英語(論文から抽出)日本語訳スコア
Table 2. FES full performance when fine-tuning for 10, 20, 30, or all 40 iterations 表2。 10、20、30、または全40イテレーションの微調整時のFESフルパフォーマンス 0.77
Cross-domain Few-shot Meta-learning Using Stacking スタックを用いたクロスドメインマイズショットメタラーニング 0.54
13 Dataset ilsvrc 2012 omniglot aircraft cu birds dtd quickdraw fungi vgg flower traffic sign mscoco mnist cifar10 cifar100 CropDisease EuroSAT ISIC ChestX Food101 13 Dataset ilsvrc 2012 omniglot Aircraft cu birds dtd quickdraw fungi vgg flower traffic sign mscoco mnist cifar10 cifar100 CropDisease EuroSAT ISIC ChestX Food101 0.66
20 iter 40 iter 10 iter 30 iter 56.0±1.1 56.0±1.1 56.0±1.1 56.0±1.1 92.2±0.6 92.2±0.6 92.2±0.6 92.1±0.6 89.0±0.6 89.0±0.6 89.0±0.6 89.0±0.6 81.7±0.8 81.7±0.8 81.5±0.8 81.3±0.8 75.2±0.9 75.0±0.9 75.2±0.8 75.0±0.9 81.8±0.6 81.8±0.6 81.7±0.6 81.7±0.6 65.5±1.1 65.6±1.1 65.7±1.1 65.7±1.1 92.8±0.6 92.5±0.6 92.6±0.6 92.6±0.6 73.8±1.1 70.7±1.2 68.6±1.2 76.3±1.1 54.2±1.1 54.1±1.1 54.0±1.1 53.9±1.1 96.5±0.4 96.6±0.4 96.8±0.4 96.8±0.4 79.4±0.9 79.2±0.9 79.2±0.9 79.0±0.9 70.9±0.9 71.0±0.9 71.1±1.0 71.2±1.0 86.0±0.7 85.3±0.7 84.5±0.7 83.9±0.7 87.7±0.7 87.6±0.7 87.3±0.7 86.8±0.7 43.2±0.9 43.1±0.9 43.6±1.0 44.0±1.0 25.7±0.5 26.2±0.6 26.6±0.6 26.5±0.6 53.8±1.1 53.8±1.1 53.8±1.1 53.7±1.1 20イテ 40 iter 10 iter 30 iter 56.0±1.1 56.0±1.1 56.0±1.1 56.0±1.1 92.2±0.6 92.2±0.6 92.2±0.6 92.1±0.6 89.0±0.6 89.0±0.6 89.0±0.6 89.0±0.6 81.7±0.8 81.7±0.8 81.5±0.8 81.3±0.8 75.2±0.9 75.0±0.9 75.2±0.8 75.0±0.9 81.8±0.6 81.8±0.6 81.7±0.6 81.7±0.6 65.5±1.1 65.6±1.1 65.7±1.1 65.7±1.1 92.8±0.6 92.5±0.6 92.6±0.6 92.6±0.6 73.8±1.1 70.7±1.2 68.6±1.2 76.3±1.1 54.2±1.1 54.1±1.1 54.0±1.1 53.9±1.1 96.5±0.4 96.6±0.4 96.8±0.4 96.8±0.4 79.4±0.9 79.2±0.9 79.2±0.9 79.0±0.9 70.9±0.9 71.0±0.9 71.1±1.0 71.2±1.0 86.0±0.7 85.3±0.7 84.5±0.7 83.9±0.7 87.7±0.7 87.6±0.7 87.3±0.7 86.8±0.7 43.2±0.9 43.1±0.9 43.6±1.0 44.0±1.0 25.7±0.5 26.2±0.6 26.6±0.6 26.5±0.6 53.8±1.1 53.8±1.1 53.8±1.1 53.7±1.1 0.45
the Traffic Signs dataset at 40 iterations, and it may achieve even higher accuracy if fine-tuned for more iterations. Traffic Signsデータセットは40イテレーションで、さらなるイテレーションのために微調整された場合、さらに精度が向上する可能性がある。 0.62
Results in Table 2 show that FES benefits from more fine-tuning when some backbones need more iterations to converge to a good solution. 表2では、いくつかのバックボーンが良いソリューションに収束するためにより多くのイテレーションを必要とする場合、FESはより微調整の恩恵を受けます。
訳抜け防止モード: 表2の結果は 優れたソリューションに収束するために、いくつかのバックボーンがより多くのイテレーションを必要とする場合のチューニング。
0.62
On the other hand, FES is able to adjust its weights so that it is not affected by checkpoints over-fitted from too much fine-tuning, as more fine-tuning iterations never harm performance significantly. 一方、FESは重みを調整できるため、過度の微調整によるチェックポイントの影響を受けない。
訳抜け防止モード: 一方、fesは重みを調整できるので、過度に微調整されたチェックポイントに影響されない。 平気である。 イテレーションのチューニングはパフォーマンスに大きな害を及ぼさない。
0.68
5.3 Checkpoint frequency 5.3 チェックポイント周波数 0.60
We perform another ablation study by limiting the number of checkpoints saved over 40 iterations. 40回以上保存されたチェックポイントの数を制限し,別のアブレーション研究を行う。 0.65
Table 3 shows the performance of FES full when one checkpoint is saved per 1, 5, 10, 20, and 40 iterations, in addition to the un-fine-tuned checkpoint, leading to a total of 41, 9, 5, 3, and 2 checkpoints respectively. 表3は、未調整のチェックポイントに加えて、1, 5, 10, 20, 40回ごとに1回のチェックポイントが保存されたときに、FESフルのパフォーマンスを示し、それぞれ41, 9, 5, 3, 2回のチェックポイントとなる。 0.75
We include one more setting where only one checkpoint at iteration 40 is saved for each backbone, without the un-fine-tuned checkpoint. もうひとつは、未調整のチェックポイントを使わずに、各バックボーンに対して、イテレーション40のチェックポイントを1つだけ保存する設定です。 0.62
There is no checkpoint frequency setting that is best in every scenario. あらゆるシナリオで最高のチェックポイント周波数設定はありません。 0.72
However, in many case, the differences appear statistically insignificant. しかし、多くの場合、その差は統計的に重要でない。 0.68
Nevertheless, to achieve good performance on target domains such as Traffic Signs, where FES significantly outperforms FLUTE and URL, as shown in Table 1, saving more checkpoints is preferable. それでも、FES が FLUTE や URL を著しく上回る、Traffic Signs などのターゲットドメインでの優れたパフォーマンスを実現するためには、テーブル 1 に示すように、より多くのチェックポイントを保存することが好ましい。 0.64
Indeed, important checkpoints may be situated in the middle of the fine-tuning process, and saving frequently ensures that they are available to the meta-learner. 実際、重要なチェックポイントは微調整プロセスの中間に位置し、頻繁に節約することで、メタラーナーが利用できることを保証します。 0.62
Practical applications of FES should save checkpoints as frequently as it is feasible. FESの実践的な応用は、チェックポイントを可能な限り頻繁に保存すべきである。 0.62
The “1 ckpt” column in Table 3 forms a good comparison with the “Baseline” column in Table 1, as both of them have access to the same nine model check- 表3の“1 ckpt”列は、テーブル1の“baseline”カラムとよく比較される。
訳抜け防止モード: 表3の“1 ckpt ”列は、表1の“ベースライン”カラムとよく比較される。 2人とも同じ9つのモデルチェックにアクセスできます。
0.77
英語(論文から抽出)日本語訳スコア
14 H. Wang et al 14 H. Wang et al 0.46
Table 3. FES full performance given different numbers of checkpoints saved over 40 fine-tuning iterations 表3。 異なる数のチェックポイントが40回の微調整イテレーションで保存されたFESフルパフォーマンス 0.54
Dataset ilsvrc 2012 omniglot aircraft cu birds dtd quickdraw fungi vgg flower traffic sign mscoco mnist cifar10 cifar100 CropDisease EuroSAT ISIC ChestX Food101 Dataset ilsvrc 2012 omniglot Aircraft cu birds dtd quickdraw fungi vgg flower traffic sign mscoco mnist cifar10 cifar100 CropDisease EuroSAT ISIC ChestX Food101 0.48
5 ckpt 9 ckpt 1 ckpt 2 ckpt 41 ckpt 56.2±1.1 56.1±1.1 57.3±1.1 57.0±1.1 56.0±1.1 92.0±0.6 92.1±0.6 92.7±0.6 92.2±0.6 92.1±0.6 88.7±0.7 88.9±0.6 89.7±0.7 89.3±0.7 89.0±0.6 81.1±0.8 81.1±0.8 81.8±0.8 81.7±0.8 81.3±0.8 75.3±0.9 75.2±0.9 76.9±0.8 76.1±0.9 75.0±0.9 81.8±0.6 81.8±0.6 82.1±0.6 82.0±0.6 81.8±0.6 65.3±1.2 65.5±1.2 64.9±1.2 65.3±1.2 65.7±1.1 92.7±0.6 92.7±0.6 93.2±0.5 92.9±0.5 92.6±0.6 76.6±1.1 76.4±1.1 72.5±1.1 71.2±1.1 76.3±1.1 54.0±1.1 53.6±1.1 53.0±1.1 53.5±1.1 54.2±1.1 96.8±0.4 96.8±0.4 97.2±0.3 96.8±0.4 96.8±0.4 78.9±0.9 78.7±0.9 79.8±0.8 79.4±0.9 79.0±0.9 70.9±1.0 71.2±1.0 71.2±0.9 71.1±1.0 71.2±0.9 71.2±0.9 84.4±0.7 84.4±0.7 86.2±0.7 85.9±0.7 86.0±0.7 87.7±0.7 87.7±0.7 88.3±0.7 87.7±0.7 87.7±0.7 43.4±0.9 43.7±0.9 43.4±0.9 44.0±1.0 45.2±0.9 28.4±0.6 28.4±0.6 26.6±0.6 26.7±0.6 26.5±0.6 53.8±1.1 53.8±1.1 53.7±1.1 53.7±1.1 53.7±1.1 5 ckpt 9 ckpt 1 ckpt 2 ckpt 41 ckpt 56.2±1.1 56.1±1.1 57.3±1.1 57.0±1.1 56.0±1.1 92.0±0.6 92.1±0.6 92.7±0.6 92.2±0.6 92.1±0.6 88.7±0.7 88.9±0.6 89.7±0.7 89.3±0.7 89.0±0.6 81.1±0.8 81.1±0.8 81.8±0.8 81.7±0.8 81.3±0.8 75.3±0.9 75.2±0.9 76.9±0.8 76.1±0.9 75.0±0.9 81.8±0.6 81.8±0.6 82.1±0.6 82.0±0.6 81.8±0.6 65.3±1.2 65.5±1.2 64.9±1.2 65.3±1.2 65.7±1.1 92.7±0.6 92.7±0.6 93.2±0.5 92.9±0.5 92.6±0.6 76.6±1.1 76.4±1.1 72.5±1.1 71.2±1.1 76.3±1.1 54.0±1.1 53.6±1.1 53.0±1.1 53.5±1.1 54.2±1.1 96.8±0.4 96.8±0.4 97.2±0.3 96.8±0.4 96.8±0.4 78.9±0.9 78.7±0.9 79.8±0.8 79.4±0.9 79.0±0.9 70.9±1.0 71.2±1.0 71.2±0.9 71.1±1.0 71.2±0.9 71.2±0.9 84.4±0.7 84.4±0.7 86.2±0.7 85.9±0.7 86.0±0.7 87.7±0.7 87.7±0.7 88.3±0.7 87.7±0.7 87.7±0.7 43.4±0.9 43.7±0.9 43.4±0.9 44.0±1.0 45.2±0.9 28.4±0.6 28.4±0.6 26.6±0.6 26.7±0.6 26.5±0.6 53.8±1.1 53.8±1.1 53.7±1.1 53.7±1.1 53.7±1.1 0.19
3 ckpt 56.5±1.1 92.1±0.6 88.9±0.7 81.3±0.8 75.5±0.9 82.0±0.6 65.3±1.2 92.9±0.6 75.9±1.1 53.6±1.1 96.9±0.4 78.9±0.9 85.9±0.7 87.8±0.7 43.9±0.9 26.8±0.6 53.7±1.1 3 ckpt 56.5±1.1 92.1±0.6 88.9±0.7 81.3±0.8 75.5±0.9 82.0±0.6 65.3±1.2 92.9±0.6 75.9±1.1 53.6±1.1 96.9±0.4 78.9±0.9 85.9±0.7 87.8±0.7 43.9±0.9 26.8±0.6 53.7±1.1 0.19
points at the end of 40 iteration, with the difference being that “1 ckpt” uses cross-validation to produce training data for the meta-learner while “Baseline” does not. 違いは、“1 ckpt”がクロスバリデーションを使用してメタリアナのトレーニングデータを生成するのに対して、“Baseline”はそうではないことだ。 0.62
The method with cross-validation outperforms the method without it on almost every dataset in the benchmark, which indicates that cross-validation is a vital part of FES, as it avoids over-fitting caused by data reuse. クロスバリデーションの手法は、ベンチマークのほとんどすべてのデータセットにおいて、データ再利用による過度な適合を避けるため、クロスバリデーションがFESの重要な部分であることを示す。 0.66
5.4 Weight heat maps 5.4 重量熱マップ 0.79
We include heat maps of the FES weights averaged over 600 episodes on the Traffic Signs and MNIST datasets, as shown in Figures 1 and 2. 図1と2に示すように、トラフィックサインとMNISTデータセットで平均600回以上のFES重量のヒートマップを含む。 0.71
For Traffic Signs, the ILSVRC-2012 extractor is assigned high positive weights at the beginning of fine-tuning, and most models are assigned positive weights at the end of fine-tuning, especially so for the Describable Textures extractor. Traffic Signsでは、ILSVRC-2012抽出機は微調整開始時に高い正の重量を割り当て、ほとんどのモデルは微調整終了時に正の重量を割り当てる。 0.51
On the other hand, for MNIST, the Omniglot extractor is assigned the highest positive weights at the end of fine-tuning. 一方、MNISTの場合、オムニグロット抽出器は微調整の最後に最も高い正の重みを割り当てる。 0.56
The URL model is never assigned strongly negative weights for either dataset, presumably due to it being a “universal model”. URLモデルは、いずれのデータセットにも強い負の重み付けを割り当てられることはない。
訳抜け防止モード: URLモデルはどちらのデータセットにも強い負の重み付けを割り当てられることはない。 おそらくそれは“ユニバーサルモデル”だからだろう。
0.69
6 Future work Given the experiments conducted and results presented in this work, we can see the following future research tasks: 6 今後の課題 本研究で実施された実験と結果を踏まえると,今後の研究課題は以下のとおりである。 0.71
1. integrating TSA into FES as a fine-tuning method; 1 TSA を細調整方法として FES に統合すること。 0.57
英語(論文から抽出)日本語訳スコア
Cross-domain Few-shot Meta-learning Using Stacking スタックを用いたクロスドメインマイズショットメタラーニング 0.54
15 Fig. 1. Heat map of FES weights on Traffic Signs 15 図1。 交通標識におけるFES重みのヒートマップ 0.49
Fig. 2. Heat map of FES weights on MNIST 図2。 MNIST上のFES重量の熱マップ 0.73
2. implementing detection and selection mechanisms to terminate unhelpful backbones and configurations early in fine-tuning to make FES more efficient; 2.fesをより効率的にするために、微調整の早い段階で、役に立たないバックボーンと構成を廃止するための検出および選択メカニズムの実装
訳抜け防止モード: 2. 微調整の早い段階で不必要なバックボーンと構成を終了させる検出・選択機構の実装 FESをより効率的にするために
0.60
3. conversely, allowing relevant backbones to fine-tune for as long as they need 3 逆に、必要であれば、関連するバックボーンを微調整すること。 0.57
to converge to their optimum; and 4. determining checkpoint saving frequency dynamically based on episode at- 最適なものに収束し 4. エピソードatに基づいて動的にチェックポイント節約頻度を決定する- 0.53
tributes such as support set size. サポートセットのサイズなどのトリビュート。 0.72
7 Conclusion We present the stacking-based CDFSML method FES, which creates checkpoints from fine-tuning independent backbones with different configurations on the support set, uses cross-validation to avoid over-fitting from support data reuse, and trains a simple meta-learner to appropriately weight the checkpoints. 7 結論 本稿では,サポートセットの異なる構成で微調整された独立したバックボーンからチェックポイントを生成するスタックベースのCDFSML手法FESについて,サポートデータの再利用による過度な適合を回避するためにクロスバリデーションを用いて,チェックポイントを適切に重み付けするためのシンプルなメタラーナーを訓練する。 0.66
FES achieves highly competitive results on the Meta-Dataset benchmark. FESはMeta-Datasetベンチマークで非常に競争力のある結果を得る。 0.46
When given the same backbones, FES achieves better results on a number of target domains than recently published universal-model methods. 同じバックボーンが与えられると、最近公開されたuniversal-modelメソッドよりも多くのターゲットドメインでより良い結果が得られる。 0.65
FES also has important advantages that makes it more applicable in real-world scenarios: FESには、現実世界のシナリオにもっと適用できる重要なアドバンテージもあります。 0.64
1. It can work with out-of-the-box heterogeneous backbone collections and does 1.出来合いのヘテロジニアス・バックボーン・コレクションと連携できる。 0.57
not require source domain data at the meta-level. メタレベルのソースドメインデータを必要としない。 0.75
2. It is change friendly: when the backbone collection is updated, there is no 2. 変更は親しみやすい:backboneコレクションが更新されると、存在しない 0.81
change-related computational overhead at the meta-level. メタレベルの変化に関連した計算オーバーヘッド。 0.53
英語(論文から抽出)日本語訳スコア
16 H. Wang et al 16 H. Wang et al 0.46
References 1. Bossard, L., Guillaumin, M., Gool, L.V.: Food-101–mining discriminative components with random forests. 参考文献 1. Bossard, L., Guillaumin, M., Gool, L.V.: ランダム森林による食品101-マイニング識別成分 0.76
In: European conference on computer vision. ヨーロッパにおけるコンピュータビジョンに関する会議。 0.78
pp. 446–461. Springer (2014) 446-461頁。 Springer (複数形 Springers) 0.34
2. Chen, W.Y., Liu, Y.C., Kira, Z., Wang, Y.C.F., Huang, J.B.: A closer look at few-shot classification. 2. chen, w.y., liu, y.c., kira, z., wang, y.c.f., huang, j.b.: マイショット分類を詳しく見てみよう。
訳抜け防止モード: 2Chen、W.Y.、Liu、Y.C.、Kira Z., Wang, Y.C.F., Huang, J.B. : 少数のショット分類について
0.70
In: International Conference on Learning Representations (2019) In: International Conference on Learning Representations (2019) 0.43
3. Chen, Y., Wang, X., Liu, Z., Xu, H., Darrell, T. 3.チェン、y、wang、x.、liu、z.、xu、h.、darrell、t 0.66
: A new meta-baseline for few-shot マイナショットのための新しいメタベースライン 0.58
learning. arXiv preprint arXiv:2003.04390 (2020) 学ぶこと。 arxivプレプリントarxiv:2003.04390(202 0年) 0.51
4. Deng, J., Dong, W., Socher, R., Li, L.J., Li, K., Fei-Fei, L. 4. Dng, J., Dong, W., Socher, R., Li, L.J., Li, K., Fei-Fei, L。 0.95
: Imagenet: A largescale hierarchical image database. imagenet: 大規模階層型画像データベース。 0.76
In: 2009 IEEE conference on computer vision and pattern recognition. 2009年、IEEEはコンピュータビジョンとパターン認識に関する会議を開催した。 0.59
pp. 248–255. pp. 248-255。 0.74
Ieee (2009) Ieee (2009) 0.43
5. Dvornik, N., Schmid, C., Mairal, J. 5. Dvornik, N., Schmid, C., Mairal, J。 0.41
: Selecting relevant features from a multi-domain representation for few-shot classification. : 複数領域の表現から少数ショット分類のための関連特徴を選択する。 0.66
In: European Conference on Computer Vision. 欧州コンピュータビジョン会議 (european conference on computer vision)。 0.65
pp. 769–786. pp. 769-786。 0.77
Springer (2020) Springer (複数形 Springers) 0.31
6. Guo, Y., Codella, N.C., Karlinsky, L., Codella, J.V., Smith, J.R., Saenko, K., Rosing, T., Feris, R. 6.Guo, Y., Codella, N.C., Karlinsky, L., Codella, J.V., Smith, J.R., Saenko, K., Rosing, T., Feris, R。 0.48
: A broader study of cross-domain few-shot learning. クロスドメイン・マイノショット学習の広範な研究 0.59
In: European Conference on Computer Vision. 欧州コンピュータビジョン会議 (european conference on computer vision)。 0.65
pp. 124–141. pp. 124-141。 0.72
Springer (2020) Springer (複数形 Springers) 0.31
7. He, K., Zhang, X., Ren, S., Sun, J. 7. He, K., Zhang, X., Ren, S., Sun, J。 0.42
: Deep residual learning for image recognition. 画像認識のための深い残差学習 0.66
In: Proceedings of the IEEE conference on computer vision and pattern recognition. In: コンピュータビジョンとパターン認識に関するIEEEカンファレンスの成果。 0.68
pp. 770–778 (2016) pp. 770-778 (2016) 0.45
8. Ioffe, S., Szegedy, C. 8. Ioffe, S., Szegedy, C。 0.41
: Batch normalization: Accelerating deep network training by reducing internal covariate shift. : バッチ正規化: 内部共変量シフトの低減による深層ネットワークトレーニングの促進。 0.75
In: International conference on machine learning. In: 機械学習に関する国際会議。 0.82
pp. 448–456. PMLR (2015) 448-456頁。 pmlr(2015年) 0.67
9. Li, W.H., Liu, X., Bilen, H. 9. Li, W.H., Liu, X., Bilen, H。 0.47
: Universal representation learning from multiple domains for few-shot classification. 単発分類のための複数領域からの普遍表現学習 0.60
In: Proceedings of the IEEE/CVF International Conference on Computer Vision. In: Proceedings of the IEEE/CVF International Conference on Computer Vision 0.43
pp. 9526–9535 (2021) 9526-9535(2021年) 0.60
10. Li, W., Liu, X., Bilen, H. 10. Li, W., Liu, X., Bilen, H。 0.42
: Cross-domain few-shot learning with task-specific adapters. : タスク固有のアダプタを用いたクロスドメイン・少数ショット学習。 0.50
In: IEEE/CVF Conference on Computer Vision and Pattern Recognition 2022 (2022) In:IEEE/CVF Conference on Computer Vision and Pattern Recognition 2022 (2022) 0.46
11. Liu, L., Hamilton, W., Long, G., Jiang, J., Larochelle, H. 11.Liu, L., Hamilton, W., Long, G., Jiang, J., Larochelle, H。 0.82
: A universal representation transformer layer for few-shot image classification. 画像分類のためのユニバーサル表現変換器層。 0.66
arXiv preprint arXiv:2006.11702 (2020) arxivプレプリントarxiv:2006.11702 (2020) 0.41
12. Mensink, T., Verbeek, J., Perronnin, F., Csurka, G. 12. Mensink, T., Verbeek, J., Perronnin, F., Csurka, G 0.39
: Distance-based image classification: Generalizing to new classes at near-zero cost. 距離に基づく画像分類: ほぼゼロのコストで新しいクラスに一般化する。 0.74
IEEE transactions on pattern analysis and machine intelligence 35(11), 2624–2637 (2013) IEEEによるパターン解析とマシンインテリジェンス35(11),2624-2637(201 3) 0.77
13. Perez, E., Strub, F., De Vries, H., Dumoulin, V., Courville, A. 13. Perez, E., Strub, F., De Vries, H., Dumoulin, V., Courville, A. 0.43
: Film: Visual reasoning with a general conditioning layer. フィルム:一般的なコンディショニング層による視覚的推論。 0.79
In: Proceedings of the AAAI Conference on Artificial Intelligence. 人工知能学会(AAAI Conference on Artificial Intelligence)の略。 0.36
vol. 32 (2018) vol.1。 32 (2018) 0.45
14. Requeima, J., Gordon, J., Bronskill, J., Nowozin, S., Turner, R.E.: Fast and flexible multi-task classification using conditional neural adaptive processes. 14. Requeima, J., Gordon, J., Bronskill, J., Nowozin, S., Turner, R.E.:条件付きニューラルアダプティブプロセスを用いた高速で柔軟なマルチタスク分類 0.89
Advances in Neural Information Processing Systems 32 (2019) 神経情報処理システム32の進歩(2019年) 0.81
15. Snell, J., Swersky, K., Zemel, R. 15. Snell, J., Swersky, K., Zemel, R. 0.42
: Prototypical networks for few-shot learning. 数発学習のためのプロトタイプネットワーク。 0.68
Ad- vances in neural information processing systems 30 (2017) 広告 神経情報処理システム30の欠陥(2017年) 0.69
16. Triantafillou, E., Larochelle, H., Zemel, R., Dumoulin, V. 16. Triantafillou, E., Larochelle, H., Zemel, R., Dumoulin, V. 0.42
: Learning a universal template for few-shot dataset generalization. : 限定的なデータセット一般化のためのユニバーサルテンプレートの学習。 0.60
In: International Conference on Machine Learning. 英語: International Conference on Machine Learning。 0.75
pp. 10424–10433. pp.10424-10433。 0.68
PMLR (2021) PMLR(2021年) 0.85
17. Triantafillou, E., Zhu, T., Dumoulin, V., Lamblin, P., Evci, U., Xu, K., Goroshin, R., Gelada, C., Swersky, K., Manzagol, P.A., Larochelle, H. 17. Triantafillou, E., Zhu, T., Dumoulin, V., Lamblin, P., Evci, U., Xu, K., Goroshin, R., Gelada, C., Swersky, K., Manzagol, P.A., Larochelle, H。
訳抜け防止モード: 17. triantafillou, e., zhu, t., dumoulin. v.、ランブリン、p.、evci、u.、xu k. 五郎神 r. ゼラダ c. スヴェルスキー k,manzagol,p.a.,laro chelle,h。
0.68
: Meta-Dataset: A メタデータセット:A 0.54
英語(論文から抽出)日本語訳スコア
Cross-domain Few-shot Meta-learning Using Stacking スタックを用いたクロスドメインマイズショットメタラーニング 0.54
17 Dataset of Datasets for Learning to Learn from Few Examples. 17 少数の例から学習するためのデータセットのデータセット。 0.57
In: International Conference on Learning Representations (2020), https://openreview.n et/forum? In: International Conference on Learning Representations (2020), https://openreview.n et/forum? 0.45
id=rkgAGAVKPr id=rkgAGAVKPr 0.29
18. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, (cid:32)L. 18. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, (cid:32)L
訳抜け防止モード: 18. Vaswani, A., Shazeer, N., Parmar N., Uszkoreit, J., Jones, L., Gomez A.N., Kaiser , (cid:32)L。
0.89
, Polosukhin, I. : Attention is all you need. ポロスクヒン、私。 注意は、あなたが必要とするすべてです。 0.49
Advances in neural information processing systems 30 (2017) 神経情報処理システム30(2017年)の進歩 0.73
19. Zaheer, M., Kottur, S., Ravanbakhsh, S., Poczos, B., Salakhutdinov, R.R., Smola, 19. Zaheer, M., Kottur, S., Ravanbakhsh, S., Poczos, B., Salakhutdinov, R.R., Smola 0.44
A.J.: Deep sets. A.J.: ディープセット。 0.74
Advances in neural information processing systems 30 (2017) 神経情報処理システム30(2017年)の進歩 0.73
                                   ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。