論文の概要: Discriminative Sample-Guided and Parameter-Efficient Feature Space Adaptation for Cross-Domain Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2403.04492v3
• Date: Wed, 3 Apr 2024 06:48:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 21:58:11.668669
• Title: Discriminative Sample-Guided and Parameter-Efficient Feature Space Adaptation for Cross-Domain Few-Shot Learning
• Title（参考訳）: クロスドメインFew-Shot学習のための識別的サンプルガイドとパラメータ効率の良い特徴空間適応
• Authors: Rashindrie Perera, Saman Halgamuge,
• Abstract要約: クロスドメインの少ショット分類は、それまで見つからなかった領域で新しいクラスを学ぶという難しい課題を示す。 我々は,小データセット上の多数のパラメータの微調整に伴うオーバーフィッティングに対処する,軽量なパラメータ効率適応手法を提案する。 我々は,従来の遠心波を識別的サンプル認識損失関数に置き換え,クラス間およびクラス内分散に対するモデルの感度を高める。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we look at cross-domain few-shot classification which presents the challenging task of learning new classes in previously unseen domains with few labelled examples. Existing methods, though somewhat effective, encounter several limitations, which we alleviate through two significant improvements. First, we introduce a lightweight parameter-efficient adaptation strategy to address overfitting associated with fine-tuning a large number of parameters on small datasets. This strategy employs a linear transformation of pre-trained features, significantly reducing the trainable parameter count. Second, we replace the traditional nearest centroid classifier with a discriminative sample-aware loss function, enhancing the model's sensitivity to the inter- and intra-class variances within the training set for improved clustering in feature space. Empirical evaluations on the Meta-Dataset benchmark showcase that our approach not only improves accuracy up to 7.7\% and 5.3\% on previously seen and unseen datasets, respectively, but also achieves the above performance while being at least $\sim3\times$ more parameter-efficient than existing methods, establishing a new state-of-the-art in cross-domain few-shot learning. Our code is available at https://github.com/rashindrie/DIPA.
• Abstract（参考訳）: 本稿では,これまで見つからなかった領域で新しいクラスを学習する上で,ラベル付き例がほとんどない課題を示す,クロスドメインの複数ショット分類について考察する。 既存の方法は幾分効果があるが、いくつかの制限に遭遇し、2つの重要な改善によって緩和される。 まず,小データセット上で多数のパラメータを微調整するオーバーフィッティングに対処する,軽量なパラメータ効率適応手法を提案する。 この戦略は事前訓練された特徴の線形変換を採用し、トレーニング可能なパラメータ数を著しく削減する。 第2に,従来のCentroid分類器を識別的サンプル認識損失関数に置き換え,特徴空間におけるクラスタリングを改善するためのトレーニングセット内およびクラス内分散に対するモデルの感度を高める。 Meta-Datasetベンチマークの実証的な評価によると、我々の手法は、これまで見てきたデータセットの精度を7.7\%と5.3\%に向上するだけでなく、上記の性能を少なくとも$\sim3\times$既存のメソッドよりも高いパラメータ効率で達成し、クロスドメインのマイクロショット学習における新しい最先端技術を確立している。 私たちのコードはhttps://github.com/rashindrie/DIPA.comで公開されています。

関連論文リスト

• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• MemSAC: Memory Augmented Sample Consistency for Large Scale Unsupervised Domain Adaptation [71.4942277262067]
  本稿では,ソースドメインとターゲットドメイン間のサンプルレベルの類似性を利用して識別的転送を実現するMemSACを提案する。 我々は,MemSACの有効性に関する詳細な分析と知見を提供する。
  論文  参考訳（メタデータ） (2022-07-25T17:55:28Z)
• Improving Task Adaptation for Cross-domain Few-shot Learning [41.821234589075445]
  クロスドメインの少ショット分類は、ラベル付きサンプルがほとんどない未確認のクラスやドメインから分類器を学ぶことを目的としている。 残余接続を有する畳み込み層に付着したパラメトリックアダプタが最良であることを示す。
  論文  参考訳（メタデータ） (2021-07-01T10:47:06Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)
• One-Shot Object Detection without Fine-Tuning [62.39210447209698]
  本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。 また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。 提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
  論文  参考訳（メタデータ） (2020-05-08T01:59:23Z)
• Selecting Relevant Features from a Multi-domain Representation for Few-shot Classification [91.67977602992657]
  本稿では,従来の特徴適応手法よりもシンプルかつ効果的である特徴選択に基づく新しい戦略を提案する。 このような特徴の上に構築された単純な非パラメトリック分類器は高い精度を示し、訓練中に見たことのない領域に一般化する。
  論文  参考訳（メタデータ） (2020-03-20T15:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。