論文の概要: Bridging Few-Shot Learning and Adaptation: New Challenges of Support-Query Shift

• arxiv url: http://arxiv.org/abs/2105.11804v1
• Date: Tue, 25 May 2021 10:10:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-26 21:41:52.046526
• Title: Bridging Few-Shot Learning and Adaptation: New Challenges of Support-Query Shift
• Title（参考訳）: 簡単な学習と適応のブリッジ:サポートクエリシフトの新たな課題
• Authors: Etienne Bennequin, Victor Bouvier, Myriam Tami, Antoine Toubhans, C\'eline Hudelot
• Abstract要約: わずかなラベル付きデータで新しい概念を学習するアルゴリズムはほとんどない。 テスト時に遭遇した新しいクラスからクエリインスタンスを分類するには、いくつかのラベル付きサンプルからなるサポートセットが必要である。 現実的なセットティングでは、データ分散は、少なくとも変化の対象であり、分散シフト(DS)と呼ばれる状況である。
• 参考スコア（独自算出の注目度）: 4.374837991804085
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Few-Shot Learning (FSL) algorithms have made substantial progress in learning novel concepts with just a handful of labelled data. To classify query instances from novel classes encountered at test-time, they only require a support set composed of a few labelled samples. FSL benchmarks commonly assume that those queries come from the same distribution as instances in the support set. However, in a realistic set-ting, data distribution is plausibly subject to change, a situation referred to as Distribution Shift (DS). The present work addresses the new and challenging problem of Few-Shot Learning under Support/Query Shift (FSQS) i.e., when support and query instances are sampled from related but different distributions. Our contributions are the following. First, we release a testbed for FSQS, including datasets, relevant baselines and a protocol for a rigorous and reproducible evaluation. Second, we observe that well-established FSL algorithms unsurprisingly suffer from a considerable drop in accuracy when facing FSQS, stressing the significance of our study. Finally, we show that transductive algorithms can limit the inopportune effect of DS. In particular, we study both the role of Batch-Normalization and Optimal Transport (OT) in aligning distributions, bridging Unsupervised Domain Adaptation with FSL. This results in a new method that efficiently combines OT with the celebrated Prototypical Networks. We bring compelling experiments demonstrating the advantage of our method. Our work opens an exciting line of research by providing a testbed and strong baselines. Our code is available at https://github.com/ebennequin/meta-domain-shift.
• Abstract（参考訳）: FSL(Few-Shot Learning)アルゴリズムは,少数のラベル付きデータを用いた新しい概念の学習に大きく進歩している。 テスト時に遭遇する新しいクラスからクエリインスタンスを分類するには、いくつかのラベル付きサンプルからなるサポートセットのみが必要である。 FSLベンチマークは通常、これらのクエリはサポートセットのインスタンスと同じディストリビューションから来ていると仮定する。 しかし、現実的な設定では、データ分布が変更される可能性があり、この状況は分散シフト(ds)と呼ばれる。 本研究は,サポート/クエリシフト(fsqs, support/query shift, サポートとクエリのインスタンスが関連するが,異なるディストリビューションからサンプル化されている場合)下での,マイショット学習の新たな挑戦的な問題に対処する。 私たちの貢献は以下のとおりです。 まず、データセット、関連するベースライン、厳密で再現可能な評価のためのプロトコルを含むFSQS用のテストベッドをリリースする。 第2に,確立されたfslアルゴリズムは,当然ながらfsqsと向き合うと精度が大幅に低下し,研究の意義を強調している。 最後に,トランスダクティブアルゴリズムはDSの不均衡効果を制限することができることを示す。 特に,fslと教師なし領域適応を橋渡しし,分布の整列化におけるバッチ正規化と最適輸送(ot)の役割について検討した。 これにより、OTと有名なプロトタイプネットワークを効率的に結合する新しい手法が実現される。 我々はこの方法の利点を示す説得力のある実験を行う。 私たちの研究は、テストベッドと強力なベースラインを提供することで、エキサイティングな研究のラインを開きます。 私たちのコードはhttps://github.com/ebennequin/meta-domain-shiftで利用可能です。

関連論文リスト

• Adaptive Test-Time Personalization for Federated Learning [51.25437606915392]
  テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。 TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。 本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-28T20:42:47Z)
• Dual Adversarial Alignment for Realistic Support-Query Shift Few-shot Learning [15.828113109152069]
  Support-Query Shift Few-shot Learningは、低次元空間に埋め込まれた学習結果に基づいて、未確認例(クエリセット)をラベル付きデータ(サポートセット)に分類することを目的としている。 本稿では,現実的なサポートクエリシフト (Realistic Support-Query Shift) という,新しい難題を提案する。 さらに,DuaL(dual adversarial alignment framework)と呼ばれる一貫した対角的特徴アライメント手法を提案し,RSQSをドメイン間バイアスとドメイン内分散の2つの側面から緩和する。
  論文  参考訳（メタデータ） (2023-09-05T09:50:31Z)
• Addressing Distribution Shift at Test Time in Pre-trained Language Models [3.655021726150369]
  State-of-the-the-art pre-trained Language Model (PLM)は、多くの言語処理タスクに適用された場合、他のモデルよりも優れている。 PLMは分散シフト下で性能が低下することが判明した。 本研究では,分散シフト下での試験時間におけるPLMの性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2022-12-05T16:04:54Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Hybrid Consistency Training with Prototype Adaptation for Few-Shot Learning [11.873143649261362]
  Few-Shot Learningは、低データ構造におけるモデルの一般化能力を改善することを目的としている。 近年のFSL研究は,メートル法学習,メタラーニング,表現学習などを通じて着実に進展している。
  論文  参考訳（メタデータ） (2020-11-19T19:51:33Z)
• Domain-Adaptive Few-Shot Learning [124.51420562201407]
  本稿では,ドメイン適応型少数ショット学習のための新しいドメイン・アドバイザリアル・ネットワーク(DAPN)モデルを提案する。 私たちのソリューションは、ドメイン適応型機能埋め込み学習の前に、ソース/ターゲットをクラスごとに明確に分離することです。
  論文  参考訳（メタデータ） (2020-03-19T08:31:14Z)
• TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification [50.358839666165764]
  本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。 具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
  論文  参考訳（メタデータ） (2020-03-14T16:59:17Z)
• Few-Shot Learning as Domain Adaptation: Algorithm and Analysis [120.75020271706978]
  わずかながらの学習は、目に見えないクラスを認識するために、目に見えないクラスから学んだ事前知識を使用する。 このクラス差による分布シフトは、ドメインシフトの特別なケースとみなすことができる。 メタラーニングフレームワークにおいて、そのようなドメインシフト問題に明示的に対処するために、注意を向けたプロトタイプドメイン適応ネットワーク(DAPNA)を提案する。
  論文  参考訳（メタデータ） (2020-02-06T01:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。