論文の概要: Cross-Level Distillation and Feature Denoising for Cross-Domain Few-Shot Classification

• arxiv url: http://arxiv.org/abs/2311.02392v1
• Date: Sat, 4 Nov 2023 12:28:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 17:57:22.386047
• Title: Cross-Level Distillation and Feature Denoising for Cross-Domain Few-Shot Classification
• Title（参考訳）: クロスレベル蒸留と機能劣化
• Authors: Hao Zheng, Runqi Wang, Jianzhuang Liu, Asako Kanezaki
• Abstract要約: トレーニング段階において,対象領域内のラベルなし画像のごく一部をアクセス可能にすることで,ドメイン間数ショット分類の問題に対処する。 我々は,対象データセットのより識別的な特徴を抽出するモデルの能力を高めるため,クロスレベルな知識蒸留法を慎重に設計する。 提案手法は,従来の動的蒸留法を5.44%,1.37%,5ショット分類法を1.37%超えることができる。
• 参考スコア（独自算出の注目度）: 49.36348058247138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The conventional few-shot classification aims at learning a model on a large labeled base dataset and rapidly adapting to a target dataset that is from the same distribution as the base dataset. However, in practice, the base and the target datasets of few-shot classification are usually from different domains, which is the problem of cross-domain few-shot classification. We tackle this problem by making a small proportion of unlabeled images in the target domain accessible in the training stage. In this setup, even though the base data are sufficient and labeled, the large domain shift still makes transferring the knowledge from the base dataset difficult. We meticulously design a cross-level knowledge distillation method, which can strengthen the ability of the model to extract more discriminative features in the target dataset by guiding the network's shallow layers to learn higher-level information. Furthermore, in order to alleviate the overfitting in the evaluation stage, we propose a feature denoising operation which can reduce the feature redundancy and mitigate overfitting. Our approach can surpass the previous state-of-the-art method, Dynamic-Distillation, by 5.44% on 1-shot and 1.37% on 5-shot classification tasks on average in the BSCD-FSL benchmark. The implementation code will be available at https://github.com/jarucezh/cldfd.
• Abstract（参考訳）: 従来の少数ショット分類は、大きなラベル付きベースデータセット上でモデルを学習し、ベースデータセットと同じ分布からターゲットデータセットに迅速に適応することを目的としている。 しかし、実際には、いくつかのショット分類のベースとターゲットデータセットは、通常異なるドメインから作られており、これはクロスドメインのショット分類の問題である。 トレーニング段階において、対象領域内のラベルなし画像のごく一部をアクセス可能にすることで、この問題に対処する。 この設定では、ベースデータが十分でラベル付けされているにもかかわらず、大きなドメインシフトはベースデータセットからの知識の転送を困難にする。 我々は,ネットワークの浅い層を誘導し,より高いレベルの情報を学習することで,対象データセットのより差別的な特徴を抽出する能力を高めることができるクロスレベル知識蒸留法を慎重に設計する。 さらに,評価段階におけるオーバーフィッティングを緩和するために,特徴冗長性を低減し,オーバーフィッティングを緩和できる特徴デノイジング操作を提案する。 BSCD-FSLベンチマークでは,従来の動的蒸留法を1ショットで5.44%,5ショットの分類タスクで1.37%超えることができる。 実装コードはhttps://github.com/jarucezh/cldfdで利用可能である。

関連論文リスト

• Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
  Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。 IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。 提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
  論文  参考訳（メタデータ） (2023-09-25T15:56:01Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• CvS: Classification via Segmentation For Small Datasets [52.821178654631254]
  本稿では,分類ラベルをセグメントマップの予測から導出する小型データセットのコスト効率の高い分類器であるCvSを提案する。 我々は,CvSが従来の手法よりもはるかに高い分類結果が得られることを示す多種多様な問題に対して,本フレームワークの有効性を評価する。
  論文  参考訳（メタデータ） (2021-10-29T18:41:15Z)
• Dynamic Distillation Network for Cross-Domain Few-Shot Recognition with Unlabeled Data [21.348965677980104]
  未ラベルのターゲットデータを用いたドメイン間数ショット認識の問題に対処する。 STARTUPは自己学習を用いてこの問題に対処する最初の方法である。 本稿では, 新規/ベースデータセットからのラベルなし画像を容易にするための, 簡易な動的蒸留に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-14T23:44:34Z)
• OVANet: One-vs-All Network for Universal Domain Adaptation [78.86047802107025]
  既存のメソッドは、検証または未知のサンプルの事前定義された比率に基づいて未知のサンプルを拒否するしきい値を手動で設定します。 本稿では,ソースサンプルを用いて閾値を学習し,対象領域に適応する手法を提案する。 私たちの考えは、ソースドメインの最小クラス間距離は、ターゲットの既知のか未知かを決定するための良いしきい値であるべきです。
  論文  参考訳（メタデータ） (2021-04-07T18:36:31Z)
• Weak Adaptation Learning -- Addressing Cross-domain Data Insufficiency with Weak Annotator [2.8672054847109134]
  一部のターゲット問題ドメインでは、学習プロセスを妨げる可能性のあるデータサンプルがあまりありません。 類似のソースドメインからのラベルなしデータを活用した弱い適応学習(wal)手法を提案する。 本実験は,対象領域に限定されたラベル付きデータを含む正確な分類器を学習する手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-02-15T06:19:25Z)
• Alleviating Semantic-level Shift: A Semi-supervised Domain Adaptation Method for Semantic Segmentation [97.8552697905657]
  このタスクの重要な課題は、ソースとターゲットドメイン間のデータ分散の相違を緩和する方法である。 本稿では,グローバルな視点とローカルな視点の両方から分布の整合性を促進できるASS(Alleviating Semantic-level Shift)を提案する。 GTA5、Cityscapes、Synthia、Cityscapesの2つのドメイン適応タスクにASSを適用します。
  論文  参考訳（メタデータ） (2020-04-02T03:25:05Z)
• Weakly-supervised Object Localization for Few-shot Learning and Fine-grained Few-shot Learning [0.5156484100374058]
  少数のサンプルから新しい視覚カテゴリーを学習することを目的としている。 本稿では,自己認識型補完モジュール(SACモジュール)を提案する。 また,数発の分類のために,識別的深層記述子を選択するためのアクティブマスクも生成する。
  論文  参考訳（メタデータ） (2020-03-02T14:07:05Z)
• Reinforced active learning for image segmentation [34.096237671643145]
  深部強化学習(RL)に基づく意味的セグメンテーションのための新しいアクティブラーニング戦略を提案する。 エージェントは、ラベルなしデータのプールからラベル付けされる小さな情報領域(画像全体とは対照的に)のサブセットを選択するポリシーを学ぶ。 本手法では, 意味的セグメンテーション問題の大規模性質に適応して, 能動的学習のための深部Q-network (DQN) の定式化を新たに提案する。
  論文  参考訳（メタデータ） (2020-02-16T14:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。