論文の概要: Robust Meta-Representation Learning via Global Label Inference and Classification

• arxiv url: http://arxiv.org/abs/2212.11702v1
• Date: Thu, 22 Dec 2022 13:46:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 13:59:38.625616
• Title: Robust Meta-Representation Learning via Global Label Inference and Classification
• Title（参考訳）: グローバルラベル推論と分類によるロバストなメタ表現学習
• Authors: Ruohan Wang, Isak Falk, Massimiliano Pontil, Carlo Ciliberto
• Abstract要約: メタラベル学習(Meta Label Learning, MeLa)は,タスク間でグローバルラベルを推論することでタスク関係を学習するメタラーニングアルゴリズムである。 MeLaは、既存のメソッドをさまざまなベンチマークで上回り、特に、トレーニングタスクの数が制限され、ラベルがタスク固有であるような、より困難な設定でパフォーマンスします。
• 参考スコア（独自算出の注目度）: 43.244079075487214
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Few-shot learning (FSL) is a central problem in meta-learning, where learners must efficiently learn from few labeled examples. Within FSL, feature pre-training has recently become an increasingly popular strategy to significantly improve generalization performance. However, the contribution of pre-training is often overlooked and understudied, with limited theoretical understanding of its impact on meta-learning performance. Further, pre-training requires a consistent set of global labels shared across training tasks, which may be unavailable in practice. In this work, we address the above issues by first showing the connection between pre-training and meta-learning. We discuss why pre-training yields more robust meta-representation and connect the theoretical analysis to existing works and empirical results. Secondly, we introduce Meta Label Learning (MeLa), a novel meta-learning algorithm that learns task relations by inferring global labels across tasks. This allows us to exploit pre-training for FSL even when global labels are unavailable or ill-defined. Lastly, we introduce an augmented pre-training procedure that further improves the learned meta-representation. Empirically, MeLa outperforms existing methods across a diverse range of benchmarks, in particular under a more challenging setting where the number of training tasks is limited and labels are task-specific. We also provide extensive ablation study to highlight its key properties.
• Abstract（参考訳）: FSL(Few-shot Learning)はメタラーニングにおいて中心的な問題であり、学習者はラベル付き例から効率的に学習しなければならない。 FSL内では、最近、機能事前学習が、一般化性能を大幅に改善するために人気が高まっている。 しかし、事前学習の貢献はしばしば見落とされ、メタラーニングのパフォーマンスに対するその影響についての理論的理解が限られている。 さらに、事前トレーニングには、トレーニングタスク間で共有される一貫したグローバルラベルセットが必要である。 本稿では,まず,事前学習とメタ学習の関連性を示すことで,上記の課題に対処する。 事前学習がより強固なメタ表現をもたらす理由を議論し、理論解析を既存の作品や経験的結果に結びつける。 第二にメタラベル学習(Meta Label Learning, MeLa)は,タスク間でグローバルラベルを推定することによってタスク関係を学習するメタ学習アルゴリズムである。 これにより、グローバルラベルが利用できない、あるいは未定義の場合でも、FSLの事前トレーニングを活用できます。 最後に、学習したメタ表現をさらに改善する強化事前学習手順を導入する。 経験上、melaはさまざまなベンチマーク、特にトレーニングタスクの数を制限し、ラベルがタスクに固有の、より困難な設定において、既存のメソッドよりも優れています。 また,その重要な特性を強調するために,広範なアブレーション研究も行なっている。

関連論文リスト

• CPT: Competence-progressive Training Strategy for Few-shot Node Classification [11.17199104891692]
  グラフニューラルネットワーク(GNN)はノード分類に大きな進歩を遂げているが、その成功はトレーニングデータ内のクラス毎の十分なラベル付きノードに依存している。 伝統的なエピソディックなメタラーニングアプローチはこの領域で有望であるが、固有の制限に直面している。 メタラーナーのプログレッシブ・コンピテンスにタスクの難易度を合わせる2段階のカリキュラム学習手法であるCPTを紹介する。
  論文  参考訳（メタデータ） (2024-02-01T09:36:56Z)
• Learning to Learn for Few-shot Continual Active Learning [9.283518682371756]
  継続的な学習は、新しいドメインで可塑性を示しながら、以前見たタスクを解く際の安定性を確保するために努力する。 連続学習の最近の進歩は、特にNLPドメインにおいて、主に教師付き学習環境に限られている。 我々はメタラーニングを活用し,メタコンチネンタルアクティブラーニングと呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T05:22:11Z)
• Contrastive Knowledge-Augmented Meta-Learning for Few-Shot Classification [28.38744876121834]
  本稿では,知識向上のための新しいアプローチであるCAML(Contrastive Knowledge-Augmented Meta Learning)を紹介する。 そこで我々は,CAMLの性能を,様々な場面で評価した。
  論文  参考訳（メタデータ） (2022-07-25T17:01:29Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• Active Refinement for Multi-Label Learning: A Pseudo-Label Approach [84.52793080276048]
  MLL(Multi-label Learning)は、あるインスタンスと関連するラベルを一連の概念から関連付けることを目的としている。 MLLの以前の研究は、主に概念セットが修正されると思われる設定に焦点を当てていた。 多くの現実世界のアプリケーションは、新しい要求を満たすために新しい概念をセットに導入する必要がある。
  論文  参考訳（メタデータ） (2021-09-29T19:17:05Z)
• The Role of Global Labels in Few-Shot Classification and How to Infer Them [55.64429518100676]
  メタ学習では、ほとんどショット学習が中心的な問題であり、学習者は新しいタスクに迅速に適応しなければならない。 本稿では,メタラベル学習(MeLa)を提案する。メタラベル学習(MeLa)は,グローバルラベルを推論し,標準分類によるロバストな少数ショットモデルを得る新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2021-08-09T14:07:46Z)
• A Channel Coding Benchmark for Meta-Learning [21.2424398453955]
  メタラーニングにおけるいくつかの重要な問題は、これまでのところ研究が困難であることが証明されている。 メタ学習のベンチマークとしてチャネル符号化問題を提案する。 このベンチマークは、コミュニティがメタ学習の能力と限界を研究するためのツールを提供する。
  論文  参考訳（メタデータ） (2021-07-15T19:37:43Z)
• Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
  評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。 我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
  論文  参考訳（メタデータ） (2020-03-09T20:06:36Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。