論文の概要: Understanding Cross-Domain Few-Shot Learning: An Experimental Study
- arxiv url: http://arxiv.org/abs/2202.01339v1
- Date: Tue, 1 Feb 2022 12:35:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-04 14:21:28.286185
- Title: Understanding Cross-Domain Few-Shot Learning: An Experimental Study
- Title(参考訳): クロスドメイン・ファウショット学習の理解 : 実験的検討
- Authors: Jaehoon Oh, Sungnyun Kim, Namgyu Ho, Jin-Hwa Kim, Hwanjun Song,
Se-Young Yun
- Abstract要約: ドメイン間数ショットの学習は、ソースとターゲットドメインの大きな違いを扱うために注目されている。
最近の研究は、事前訓練期間中に対象領域からの小規模な未ラベルデータを活用することを検討している。
このデータは、ソースドメインの教師付き事前トレーニングに加えて、ターゲットドメインでの自己教師付き事前トレーニングを可能にする。
- 参考スコア(独自算出の注目度): 17.81177649496765
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-domain few-shot learning has drawn increasing attention for handling
large differences between the source and target domains--an important concern
in real-world scenarios. To overcome these large differences, recent works have
considered exploiting small-scale unlabeled data from the target domain during
the pre-training stage. This data enables self-supervised pre-training on the
target domain, in addition to supervised pre-training on the source domain. In
this paper, we empirically investigate scenarios under which it is advantageous
to use each pre-training scheme, based on domain similarity and few-shot
difficulty: performance gain of self-supervised pre-training over supervised
pre-training increases when domain similarity is smaller or few-shot difficulty
is lower. We further design two pre-training schemes, mixed-supervised and
two-stage learning, that improve performance. In this light, we present seven
findings for CD-FSL which are supported by extensive experiments and analyses
on three source and eight target benchmark datasets with varying levels of
domain similarity and few-shot difficulty. Our code is available at
https://anonymous.4open.science/r/understandingCDFSL.
- Abstract(参考訳): クロスドメイン 少数ショット学習は、ソースとターゲットドメインの大きな違いを扱うことに注目が集まっている。
これらの大きな違いを克服するために、最近の研究は、訓練前の段階でターゲットドメインから小規模の未ラベルデータを活用することを検討している。
このデータは、ソースドメインの教師付き事前トレーニングに加えて、ターゲットドメインでの自己教師付き事前トレーニングを可能にする。
本稿では,各事前学習方式をドメインの類似度と少数ショット難易度に基づいて有利に利用するシナリオを実証的に検討する: ドメインの類似度が小さく,あるいは少数ショット難易度が低い場合,教師付き事前学習よりも自己教師付き事前学習の性能向上。
さらに、2つの事前学習スキーム、混合教師と2段階学習を設計し、性能を向上する。
本報では,領域の類似度や難易度が異なる3つのソースと8つのターゲットベンチマークデータセットについて,広範囲な実験と分析によって支援されたCD-FSLの7つの結果を示す。
私たちのコードはhttps://anonymous.4open.science/r/understandingCDFSLで利用可能です。
関連論文リスト
- In-Domain Self-Supervised Learning Improves Remote Sensing Image Scene
Classification [5.323049242720532]
リモートセンシング画像分類のための有望なアプローチとして,自己教師付き学習が登場している。
そこで本研究では,14の下流データセットにまたがる自己教師型事前学習戦略について検討し,その効果を評価する。
論文 参考訳(メタデータ) (2023-07-04T10:57:52Z) - Deep Learning for Cross-Domain Few-Shot Visual Recognition: A Survey [33.00835033658241]
わずかながらの学習により、モデルは非常に少ないラベル付き例でターゲットタスクを実行することができる。
この制限を克服するため、クロスドメインな数ショット学習が注目されている。
本稿では,クロスドメインFew-shot Learningの総合的なレビューを行う。
論文 参考訳(メタデータ) (2023-03-15T12:18:16Z) - Source-Free Open Compound Domain Adaptation in Semantic Segmentation [99.82890571842603]
SF-OCDAでは、ターゲットモデルを学習するために、ソース事前訓練されたモデルとターゲットデータのみが利用可能である。
そこで我々は,Cross-Patch Style Swap (CPSS)を提案する。
提案手法は,C-Drivingデータセット上で最先端の結果を生成する。
論文 参考訳(メタデータ) (2021-06-07T08:38:41Z) - Robust wav2vec 2.0: Analyzing Domain Shift in Self-Supervised
Pre-Training [67.71228426496013]
事前トレーニング中にターゲットドメインデータを使用することで,さまざまなセットアップで大幅なパフォーマンス向上が期待できる。
複数のドメインで事前トレーニングを行うことで、トレーニング中に見られないドメインのパフォーマンスの一般化が向上します。
論文 参考訳(メタデータ) (2021-04-02T12:53:15Z) - Self-training for Few-shot Transfer Across Extreme Task Differences [46.07212902030414]
ほとんどの数発の学習技術は、大きなラベル付き"ベースデータセット"で事前訓練されている。
このような大きなラベル付きデータセットが事前トレーニングに利用できない問題領域では、異なる"ソース"問題領域での事前トレーニングに頼らなければならない。
従来の少数ショットと移行学習のテクニックは、ソースとターゲットタスクの極端な違いの存在下で失敗する。
論文 参考訳(メタデータ) (2020-10-15T13:23:59Z) - A Review of Single-Source Deep Unsupervised Visual Domain Adaptation [81.07994783143533]
大規模ラベル付きトレーニングデータセットにより、ディープニューラルネットワークは、幅広いベンチマークビジョンタスクを拡張できるようになった。
多くのアプリケーションにおいて、大量のラベル付きデータを取得するのは非常に高価で時間を要する。
限られたラベル付きトレーニングデータに対処するため、大規模ラベル付きソースドメインでトレーニングされたモデルを、疎ラベルまたは未ラベルのターゲットドメインに直接適用しようと試みている人も多い。
論文 参考訳(メタデータ) (2020-09-01T00:06:50Z) - Physically-Constrained Transfer Learning through Shared Abundance Space
for Hyperspectral Image Classification [14.840925517957258]
本稿では、ソースとターゲットドメイン間のギャップを埋める新しい転送学習手法を提案する。
提案手法は,共有空間を経由した物理制約付き移動学習と呼ばれる。
論文 参考訳(メタデータ) (2020-08-19T17:41:37Z) - Domain Adaptation for Semantic Parsing [68.81787666086554]
本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。
我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。
ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
論文 参考訳(メタデータ) (2020-06-23T14:47:41Z) - Mind the Gap: Enlarging the Domain Gap in Open Set Domain Adaptation [65.38975706997088]
オープンセットドメイン適応(OSDA)は、ターゲットドメインに未知のクラスが存在することを前提としている。
既存の最先端手法は、より大きなドメインギャップが存在する場合、かなりの性能低下を被ることを示す。
我々は、より大きなドメインギャップに特に対処するための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-08T14:20:24Z) - Few-Shot Learning as Domain Adaptation: Algorithm and Analysis [120.75020271706978]
わずかながらの学習は、目に見えないクラスを認識するために、目に見えないクラスから学んだ事前知識を使用する。
このクラス差による分布シフトは、ドメインシフトの特別なケースとみなすことができる。
メタラーニングフレームワークにおいて、そのようなドメインシフト問題に明示的に対処するために、注意を向けたプロトタイプドメイン適応ネットワーク(DAPNA)を提案する。
論文 参考訳(メタデータ) (2020-02-06T01:04:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。