論文の概要: Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2303.00996v1
• Date: Thu, 2 Mar 2023 06:10:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 15:52:27.345574
• Title: Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive Learning
• Title（参考訳）: Few-shot Pseudo-supervised Contrastive Learningによる教師なしメタラーニング
• Authors: Huiwon Jang, Hankook Lee, Jinwoo Shin
• Abstract要約: 本稿では,Pseudo-supervised Contrast (PsCo) という,シンプルだが効果的なメタ学習フレームワークを提案する。 PsCoは、さまざまなドメイン内およびクロスドメインのいくつかのショット分類ベンチマークの下で、既存の教師なしメタラーニングメソッドより優れています。
• 参考スコア（独自算出の注目度）: 72.3506897990639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised meta-learning aims to learn generalizable knowledge across a distribution of tasks constructed from unlabeled data. Here, the main challenge is how to construct diverse tasks for meta-learning without label information; recent works have proposed to create, e.g., pseudo-labeling via pretrained representations or creating synthetic samples via generative models. However, such a task construction strategy is fundamentally limited due to heavy reliance on the immutable pseudo-labels during meta-learning and the quality of the representations or the generated samples. To overcome the limitations, we propose a simple yet effective unsupervised meta-learning framework, coined Pseudo-supervised Contrast (PsCo), for few-shot classification. We are inspired by the recent self-supervised learning literature; PsCo utilizes a momentum network and a queue of previous batches to improve pseudo-labeling and construct diverse tasks in a progressive manner. Our extensive experiments demonstrate that PsCo outperforms existing unsupervised meta-learning methods under various in-domain and cross-domain few-shot classification benchmarks. We also validate that PsCo is easily scalable to a large-scale benchmark, while recent prior-art meta-schemes are not.
• Abstract（参考訳）: 教師なしメタラーニングは、ラベルなしデータから構築されたタスクの分布を通して、一般化可能な知識を学習することを目的としている。 ここでの課題は、ラベル情報なしでメタラーニングのための多様なタスクを構築する方法である;最近の研究は、例えば、事前訓練された表現による擬似ラベルの作成や生成モデルによる合成サンプルの作成を提案している。 しかし,このようなタスク構築戦略は,メタラーニング中に不変な擬似ラベルに大きく依存することや,表現や生成されたサンプルの品質に大きく依存していることから,基本的に制限されている。 この制限を克服するために,Pseudo-supervised Contrast (PsCo) という,シンプルだが効果的なメタ学習フレームワークを提案する。 PsCoは、モーメントネットワークと以前のバッチのキューを使用して、擬似ラベルの改善と、多様なタスクを段階的に構築する。 我々の広範な実験により、PsCoは既存の教師なしメタラーニング手法よりも、ドメイン内およびドメイン間数ショット分類ベンチマークで優れていることが示された。 PsCoは大規模ベンチマークに容易に拡張可能であるが、最近の先行技術メタスキーマはそうではない。

関連論文リスト

• Learning Transferable Adversarial Robust Representations via Multi-view Consistency [57.73073964318167]
  デュアルエンコーダを用いたメタ逆多視点表現学習フレームワークを提案する。 未確認領域からの少数ショット学習タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T11:48:01Z)
• A Weakly Supervised Learning Framework for Salient Object Detection via Hybrid Labels [96.56299163691979]
  本稿では,ハイブリッドラベル下でのSODタスクに焦点をあてる。 このタスクにおけるラベルノイズと量不均衡の問題に対処するため、我々は3つの洗練されたトレーニング戦略を持つ新しいパイプラインフレームワークを設計する。 5つのSODベンチマーク実験により,本手法は弱教師付き/非教師付き手法と競合する性能を示した。
  論文  参考訳（メタデータ） (2022-09-07T06:45:39Z)
• Contrastive Knowledge-Augmented Meta-Learning for Few-Shot Classification [28.38744876121834]
  本稿では,知識向上のための新しいアプローチであるCAML(Contrastive Knowledge-Augmented Meta Learning)を紹介する。 そこで我々は,CAMLの性能を,様々な場面で評価した。
  論文  参考訳（メタデータ） (2022-07-25T17:01:29Z)
• Active Refinement for Multi-Label Learning: A Pseudo-Label Approach [84.52793080276048]
  MLL(Multi-label Learning)は、あるインスタンスと関連するラベルを一連の概念から関連付けることを目的としている。 MLLの以前の研究は、主に概念セットが修正されると思われる設定に焦点を当てていた。 多くの現実世界のアプリケーションは、新しい要求を満たすために新しい概念をセットに導入する必要がある。
  論文  参考訳（メタデータ） (2021-09-29T19:17:05Z)
• Self-supervised driven consistency training for annotation efficient histopathology image analysis [13.005873872821066]
  大きなラベル付きデータセットでニューラルネットワークをトレーニングすることは、計算病理学において依然として支配的なパラダイムである。 本研究では,非教師付き表現学習のための強力な監視信号を学ぶために,ヒストロジ全体スライディング画像の背景となる多段階的文脈的手がかりを利用する自己教師付きプレテキストタスクを提案する。 また,タスク固有の未ラベルデータとの予測整合性に基づいて,事前学習した表現を下流タスクに効果的に転送することを学ぶ教師による半教師付き一貫性パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T19:46:21Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• Self-Supervised Prototypical Transfer Learning for Few-Shot Classification [11.96734018295146]
  自己教師ありトランスファー学習アプローチ ProtoTransferは、数ショットタスクにおいて、最先端の教師なしメタラーニング手法より優れている。 ドメインシフトを用いた数ショットの実験では、我々のアプローチは教師付きメソッドに匹敵する性能を持つが、ラベルの桁数は桁違いである。
  論文  参考訳（メタデータ） (2020-06-19T19:00:11Z)
• Unsupervised Meta-Learning through Latent-Space Interpolation in Generative Models [11.943374020641214]
  生成モデルを用いてメタタスクを生成する手法について述べる。 提案手法であるLAtent Space Interpolation Unsupervised Meta-learning (LASium)が,現在の教師なし学習ベースラインよりも優れているか,あるいは競合していることがわかった。
  論文  参考訳（メタデータ） (2020-06-18T02:10:56Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。