論文の概要: Discriminative Sample-Guided and Parameter-Efficient Feature Space Adaptation for Cross-Domain Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2403.04492v2
• Date: Fri, 8 Mar 2024 05:47:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 10:40:08.652239
• Title: Discriminative Sample-Guided and Parameter-Efficient Feature Space Adaptation for Cross-Domain Few-Shot Learning
• Title（参考訳）: クロスドメインFew-Shot学習のための識別的サンプルガイドとパラメータ効率の良い特徴空間適応
• Authors: Rashindrie Perera and Saman Halgamuge
• Abstract要約: クロスドメインの少ショット分類は、ラベル付き例がほとんどない未確認領域で新しいクラスを学ぶという難しい課題を示す。 本稿では,パラメータ効率の低い適応戦略を導入し,従来の近距離セントロイドを分散認識損失関数に置き換える。 Meta-Datasetベンチマークの実証的な評価では、我々のアプローチは、それぞれに見えるデータセットと見えないデータセットで、精度を7.7%と5.3%向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we look at cross-domain few-shot classification which presents the challenging task of learning new classes in unseen domains with few labelled examples. Existing methods, though somewhat effective, encounter several limitations, which we address in this work through two significant improvements. First, to address overfitting associated with fine-tuning a large number of parameters on small datasets, we introduce a lightweight parameter-efficient adaptation strategy. This strategy employs a linear transformation of pre-trained features, significantly reducing the trainable parameter count. Second, we replace the traditional nearest centroid classifier with a variance-aware loss function, enhancing the model's sensitivity to the inter- and intra-class variances within the training set for improved clustering in feature space. Empirical evaluations on the Meta-Dataset benchmark showcase that our approach not only improves accuracy up to 7.7% and 5.3% on seen and unseen datasets respectively but also achieves this performance while being at least ~3x more parameter-efficient than existing methods, establishing a new state-of-the-art in cross-domain few-shot learning. Our code can be found at https://github.com/rashindrie/DIPA.
• Abstract（参考訳）: 本稿では,ラベル付き例の少ない未熟な領域で新しいクラスを学ぶことの難題を提示する,クロスドメインの少数ショット分類について述べる。 既存のメソッドは、多少有効ではあるが、いくつかの制限に遭遇します。 まず、小データセット上で多数のパラメータを微調整するオーバーフィッティングに対処するため、軽量なパラメータ効率適応戦略を導入する。 この戦略は事前訓練された特徴の線形変換を採用し、トレーニング可能なパラメータ数を著しく削減する。 第2に,従来のCentroid分類器を分散認識損失関数に置き換え,特徴空間におけるクラスタリングを改善するためのトレーニングセット内およびクラス内分散に対するモデルの感度を高める。 meta-datasetベンチマークにおける経験的評価は、このアプローチが、視認されたデータセット上での精度を7.7%と5.3%に向上させるだけでなく、既存の方法よりも少なくとも3倍のパラメータ効率を保ちながら、このパフォーマンスを達成し、クロスドメインのマイノリティ学習における新たな最先端を確立していることを示している。 私たちのコードはhttps://github.com/rashindrie/DIPA.orgで参照できます。

関連論文リスト

• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• MemSAC: Memory Augmented Sample Consistency for Large Scale Unsupervised Domain Adaptation [71.4942277262067]
  本稿では,ソースドメインとターゲットドメイン間のサンプルレベルの類似性を利用して識別的転送を実現するMemSACを提案する。 我々は,MemSACの有効性に関する詳細な分析と知見を提供する。
  論文  参考訳（メタデータ） (2022-07-25T17:55:28Z)
• Improving Task Adaptation for Cross-domain Few-shot Learning [41.821234589075445]
  クロスドメインの少ショット分類は、ラベル付きサンプルがほとんどない未確認のクラスやドメインから分類器を学ぶことを目的としている。 残余接続を有する畳み込み層に付着したパラメトリックアダプタが最良であることを示す。
  論文  参考訳（メタデータ） (2021-07-01T10:47:06Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)
• One-Shot Object Detection without Fine-Tuning [62.39210447209698]
  本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。 また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。 提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
  論文  参考訳（メタデータ） (2020-05-08T01:59:23Z)
• Selecting Relevant Features from a Multi-domain Representation for Few-shot Classification [91.67977602992657]
  本稿では,従来の特徴適応手法よりもシンプルかつ効果的である特徴選択に基づく新しい戦略を提案する。 このような特徴の上に構築された単純な非パラメトリック分類器は高い精度を示し、訓練中に見たことのない領域に一般化する。
  論文  参考訳（メタデータ） (2020-03-20T15:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。