論文の概要: Dynamic Distillation Network for Cross-Domain Few-Shot Recognition with Unlabeled Data

• arxiv url: http://arxiv.org/abs/2106.07807v1
• Date: Mon, 14 Jun 2021 23:44:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 06:18:15.793660
• Title: Dynamic Distillation Network for Cross-Domain Few-Shot Recognition with Unlabeled Data
• Title（参考訳）: ラベルなしデータを用いたクロスドメインFew-Shot認識のための動的蒸留ネットワーク
• Authors: Ashraful Islam, Chun-Fu Chen, Rameswar Panda, Leonid Karlinsky, Rogerio Feris, Richard J. Radke
• Abstract要約: 未ラベルのターゲットデータを用いたドメイン間数ショット認識の問題に対処する。 STARTUPは自己学習を用いてこの問題に対処する最初の方法である。 本稿では, 新規/ベースデータセットからのラベルなし画像を容易にするための, 簡易な動的蒸留に基づくアプローチを提案する。
• 参考スコア（独自算出の注目度）: 21.348965677980104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most existing works in few-shot learning rely on meta-learning the network on a large base dataset which is typically from the same domain as the target dataset. We tackle the problem of cross-domain few-shot learning where there is a large shift between the base and target domain. The problem of cross-domain few-shot recognition with unlabeled target data is largely unaddressed in the literature. STARTUP was the first method that tackles this problem using self-training. However, it uses a fixed teacher pretrained on a labeled base dataset to create soft labels for the unlabeled target samples. As the base dataset and unlabeled dataset are from different domains, projecting the target images in the class-domain of the base dataset with a fixed pretrained model might be sub-optimal. We propose a simple dynamic distillation-based approach to facilitate unlabeled images from the novel/base dataset. We impose consistency regularization by calculating predictions from the weakly-augmented versions of the unlabeled images from a teacher network and matching it with the strongly augmented versions of the same images from a student network. The parameters of the teacher network are updated as exponential moving average of the parameters of the student network. We show that the proposed network learns representation that can be easily adapted to the target domain even though it has not been trained with target-specific classes during the pretraining phase. Our model outperforms the current state-of-the art method by 4.4% for 1-shot and 3.6% for 5-shot classification in the BSCD-FSL benchmark, and also shows competitive performance on traditional in-domain few-shot learning task. Our code will be available at: https://github.com/asrafulashiq/dynamic-cdfsl.
• Abstract（参考訳）: 既存の作業の多くは、ターゲットデータセットと同じドメインの大規模なベースデータセット上で、ネットワークのメタ学習に依存しています。 我々は、ベースドメインとターゲットドメインの間に大きなシフトがあるクロスドメイン・少数ショット学習の問題に取り組む。 ラベルなしのターゲットデータによるクロスドメインの少数ショット認識の問題は、文献にはほとんど見当たらない。 STARTUPは自己学習を用いてこの問題に対処する最初の方法である。 しかし、ラベル付きベースデータセットに事前訓練された固定教師を使用して、ラベルなしターゲットサンプルのソフトラベルを作成する。 ベースデータセットとラベルなしデータセットは異なるドメインのものであるため、固定された事前訓練されたモデルでベースデータセットのクラスドメインにターゲットイメージを投影することは、準最適かもしれない。 本稿では,新規/基礎データセットからのラベルなし画像の簡易な動的蒸留法を提案する。 本稿では,教師ネットワークからのラベルなし画像の弱いバージョンからの予測を計算し,生徒ネットワークからの強化された画像と一致させることで,一貫性の正規化を課す。 教師ネットワークのパラメータは、生徒ネットワークのパラメータの指数的移動平均として更新される。 提案するネットワークは,事前学習段階でターゲット固有のクラスで訓練されていない場合でも,ターゲットドメインに容易に適応できる表現を学習できることを示す。 提案手法は,BSCD-FSLベンチマークにおいて1ショットで4.4%,5ショット分類で3.6%,従来のドメイン内複数ショット学習における競合性能を示す。 私たちのコードは、https://github.com/asrafulashiq/dynamic-cdfslで利用可能です。

関連論文リスト

• Cross-Level Distillation and Feature Denoising for Cross-Domain Few-Shot Classification [49.36348058247138]
  トレーニング段階において,対象領域内のラベルなし画像のごく一部をアクセス可能にすることで,ドメイン間数ショット分類の問題に対処する。 我々は,対象データセットのより識別的な特徴を抽出するモデルの能力を高めるため,クロスレベルな知識蒸留法を慎重に設計する。 提案手法は,従来の動的蒸留法を5.44%,1.37%,5ショット分類法を1.37%超えることができる。
  論文  参考訳（メタデータ） (2023-11-04T12:28:04Z)
• CDFSL-V: Cross-Domain Few-Shot Learning for Videos [58.37446811360741]
  ビデオのアクション認識は、いくつかのラベル付き例でのみ、新しいカテゴリを認識するための効果的なアプローチである。 既存のビデオアクション認識の方法は、同じドメインからの大きなラベル付きデータセットに依存している。 本稿では,自己教師付き学習とカリキュラム学習を活用した,クロスドメインな数ショットビデオ行動認識手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T19:44:27Z)
• Focus on Your Target: A Dual Teacher-Student Framework for Domain-adaptive Semantic Segmentation [210.46684938698485]
  意味的セグメンテーションのための教師なしドメイン適応(UDA)について検討する。 対象領域からのトレーニングサンプルの割合を減少・増加させることで,「学習能力」が強化・弱まることがわかった。 本稿では,DTS(Double teacher-student)フレームワークを提案し,双方向学習戦略を取り入れた。
  論文  参考訳（メタデータ） (2023-03-16T05:04:10Z)
• Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization [112.68171734288237]
  本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。 我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。 ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
  論文  参考訳（メタデータ） (2021-04-12T21:41:25Z)
• OVANet: One-vs-All Network for Universal Domain Adaptation [78.86047802107025]
  既存のメソッドは、検証または未知のサンプルの事前定義された比率に基づいて未知のサンプルを拒否するしきい値を手動で設定します。 本稿では,ソースサンプルを用いて閾値を学習し,対象領域に適応する手法を提案する。 私たちの考えは、ソースドメインの最小クラス間距離は、ターゲットの既知のか未知かを決定するための良いしきい値であるべきです。
  論文  参考訳（メタデータ） (2021-04-07T18:36:31Z)
• SB-MTL: Score-based Meta Transfer-Learning for Cross-Domain Few-Shot Learning [3.6398662687367973]
  本稿では,クロスドメインなFew-Shot学習問題に対処する,フレキシブルで効果的な手法を提案する。 本手法は,MAML最適化機能エンコーダとスコアベースグラフニューラルネットワークを用いて,トランスファーラーニングとメタラーニングを組み合わせる。 5,20,50ショット,および4つの対象領域において,精度の大幅な向上が観察された。
  論文  参考訳（メタデータ） (2020-12-03T09:29:35Z)
• Teacher-Student Consistency For Multi-Source Domain Adaptation [28.576613317253035]
  マルチソースドメイン適応(MSDA)では、モデルは複数のソースドメインのサンプルに基づいてトレーニングされ、異なるターゲットドメインの推論に使用される。 本稿では,これらの問題を緩和する新手法であるMulti-source Students Teacher (MUST)を提案する。
  論文  参考訳（メタデータ） (2020-10-20T06:17:40Z)
• Self-training for Few-shot Transfer Across Extreme Task Differences [46.07212902030414]
  ほとんどの数発の学習技術は、大きなラベル付き"ベースデータセット"で事前訓練されている。 このような大きなラベル付きデータセットが事前トレーニングに利用できない問題領域では、異なる"ソース"問題領域での事前トレーニングに頼らなければならない。 従来の少数ショットと移行学習のテクニックは、ソースとターゲットタスクの極端な違いの存在下で失敗する。
  論文  参考訳（メタデータ） (2020-10-15T13:23:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。