論文の概要: Discriminative Sample-Guided and Parameter-Efficient Feature Space
Adaptation for Cross-Domain Few-Shot Learning
- arxiv url: http://arxiv.org/abs/2403.04492v2
- Date: Fri, 8 Mar 2024 05:47:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 10:40:08.652239
- Title: Discriminative Sample-Guided and Parameter-Efficient Feature Space
Adaptation for Cross-Domain Few-Shot Learning
- Title(参考訳): クロスドメインFew-Shot学習のための識別的サンプルガイドとパラメータ効率の良い特徴空間適応
- Authors: Rashindrie Perera and Saman Halgamuge
- Abstract要約: クロスドメインの少ショット分類は、ラベル付き例がほとんどない未確認領域で新しいクラスを学ぶという難しい課題を示す。
本稿では,パラメータ効率の低い適応戦略を導入し,従来の近距離セントロイドを分散認識損失関数に置き換える。
Meta-Datasetベンチマークの実証的な評価では、我々のアプローチは、それぞれに見えるデータセットと見えないデータセットで、精度を7.7%と5.3%向上させる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we look at cross-domain few-shot classification which presents
the challenging task of learning new classes in unseen domains with few
labelled examples. Existing methods, though somewhat effective, encounter
several limitations, which we address in this work through two significant
improvements. First, to address overfitting associated with fine-tuning a large
number of parameters on small datasets, we introduce a lightweight
parameter-efficient adaptation strategy. This strategy employs a linear
transformation of pre-trained features, significantly reducing the trainable
parameter count. Second, we replace the traditional nearest centroid classifier
with a variance-aware loss function, enhancing the model's sensitivity to the
inter- and intra-class variances within the training set for improved
clustering in feature space. Empirical evaluations on the Meta-Dataset
benchmark showcase that our approach not only improves accuracy up to 7.7% and
5.3% on seen and unseen datasets respectively but also achieves this
performance while being at least ~3x more parameter-efficient than existing
methods, establishing a new state-of-the-art in cross-domain few-shot learning.
Our code can be found at https://github.com/rashindrie/DIPA.
- Abstract(参考訳): 本稿では,ラベル付き例の少ない未熟な領域で新しいクラスを学ぶことの難題を提示する,クロスドメインの少数ショット分類について述べる。
既存のメソッドは、多少有効ではあるが、いくつかの制限に遭遇します。
まず、小データセット上で多数のパラメータを微調整するオーバーフィッティングに対処するため、軽量なパラメータ効率適応戦略を導入する。
この戦略は事前訓練された特徴の線形変換を採用し、トレーニング可能なパラメータ数を著しく削減する。
第2に,従来のCentroid分類器を分散認識損失関数に置き換え,特徴空間におけるクラスタリングを改善するためのトレーニングセット内およびクラス内分散に対するモデルの感度を高める。
meta-datasetベンチマークにおける経験的評価は、このアプローチが、視認されたデータセット上での精度を7.7%と5.3%に向上させるだけでなく、既存の方法よりも少なくとも3倍のパラメータ効率を保ちながら、このパフォーマンスを達成し、クロスドメインのマイノリティ学習における新たな最先端を確立していることを示している。
私たちのコードはhttps://github.com/rashindrie/DIPA.orgで参照できます。
関連論文リスト
- Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud
Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。
既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。
本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-13T04:16:40Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%~6%向上させる。
論文 参考訳(メタデータ) (2022-11-29T14:52:38Z) - MemSAC: Memory Augmented Sample Consistency for Large Scale Unsupervised
Domain Adaptation [71.4942277262067]
本稿では,ソースドメインとターゲットドメイン間のサンプルレベルの類似性を利用して識別的転送を実現するMemSACを提案する。
我々は,MemSACの有効性に関する詳細な分析と知見を提供する。
論文 参考訳(メタデータ) (2022-07-25T17:55:28Z) - CAD: Co-Adapting Discriminative Features for Improved Few-Shot
Classification [11.894289991529496]
少数のラベル付きサンプルを与えられた未確認のクラスに適応できるモデルを学ぶことを目的としている。
最近のアプローチでは、特徴抽出器を事前訓練し、その後、エピソードなメタラーニングのための微調整を行う。
本研究は, 複数ショットの分類において, 横断的および再重み付き識別機能を実現するための戦略を提案する。
論文 参考訳(メタデータ) (2022-03-25T06:14:51Z) - Finding Significant Features for Few-Shot Learning using Dimensionality
Reduction [0.0]
このモジュールは、計量学習法により与えられる類似度関数を、分類のためのより識別的な特徴を持つようにすることで、精度の向上を支援する。
提案手法は,MiniImageNetデータセットにおけるメトリック学習ベースラインの精度を約2%向上させる。
論文 参考訳(メタデータ) (2021-07-06T16:36:57Z) - Improving Task Adaptation for Cross-domain Few-shot Learning [41.821234589075445]
クロスドメインの少ショット分類は、ラベル付きサンプルがほとんどない未確認のクラスやドメインから分類器を学ぶことを目的としている。
残余接続を有する畳み込み層に付着したパラメトリックアダプタが最良であることを示す。
論文 参考訳(メタデータ) (2021-07-01T10:47:06Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳(メタデータ) (2021-04-01T13:55:21Z) - One-Shot Object Detection without Fine-Tuning [62.39210447209698]
本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。
また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。
提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
論文 参考訳(メタデータ) (2020-05-08T01:59:23Z) - Selecting Relevant Features from a Multi-domain Representation for
Few-shot Classification [91.67977602992657]
本稿では,従来の特徴適応手法よりもシンプルかつ効果的である特徴選択に基づく新しい戦略を提案する。
このような特徴の上に構築された単純な非パラメトリック分類器は高い精度を示し、訓練中に見たことのない領域に一般化する。
論文 参考訳(メタデータ) (2020-03-20T15:44:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。