論文の概要: Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2103.01315v1
• Date: Mon, 1 Mar 2021 21:14:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 17:11:09.684737
• Title: Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning
• Title（参考訳）: Few-Shot Learningのための不変および同変表現の相補的強度の探索
• Authors: Mamshad Nayeem Rizve, Salman Khan, Fahad Shahbaz Khan, Mubarak Shah
• Abstract要約: 多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
• 参考スコア（独自算出の注目度）: 96.75889543560497
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In many real-world problems, collecting a large number of labeled samples is infeasible. Few-shot learning (FSL) is the dominant approach to address this issue, where the objective is to quickly adapt to novel categories in presence of a limited number of samples. FSL tasks have been predominantly solved by leveraging the ideas from gradient-based meta-learning and metric learning approaches. However, recent works have demonstrated the significance of powerful feature representations with a simple embedding network that can outperform existing sophisticated FSL algorithms. In this work, we build on this insight and propose a novel training mechanism that simultaneously enforces equivariance and invariance to a general set of geometric transformations. Equivariance or invariance has been employed standalone in the previous works; however, to the best of our knowledge, they have not been used jointly. Simultaneous optimization for both of these contrasting objectives allows the model to jointly learn features that are not only independent of the input transformation but also the features that encode the structure of geometric transformations. These complementary sets of features help generalize well to novel classes with only a few data samples. We achieve additional improvements by incorporating a novel self-supervised distillation objective. Our extensive experimentation shows that even without knowledge distillation our proposed method can outperform current state-of-the-art FSL methods on five popular benchmark datasets.
• Abstract（参考訳）: 多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 FSL(Few-shot Learning)はこの問題に対処する主要なアプローチであり、少数のサンプルが存在する場合、新しいカテゴリに迅速に適応することが目的である。 FSLタスクは、勾配に基づくメタラーニングとメトリックラーニングのアプローチのアイデアを活用することで、主に解決されてきた。 しかし、最近の研究では、既存の高度なFSLアルゴリズムを上回るシンプルな埋め込みネットワークにより、強力な機能表現の重要性が実証されている。 本研究は, この知見に基づいて, 幾何変換の一般集合に対する等分散と不変性を同時に実施する, 新たな学習機構を提案する。 等価性や不変性は、以前の作品では単独で採用されてきたが、私たちの知る限りでは、これらは共同で使用されていない。 これら両方の対比目的の同時最適化により、モデルは入力変換から独立しているだけでなく、幾何学的変換の構造をエンコードする特徴を共同で学習することができる。 これらの補完的な機能のセットは、少数のデータサンプルだけで新しいクラスを一般化するのに役立ちます。 我々は,新しい自己監督蒸留目的を組み込むことにより,さらなる改良を図る。 提案手法は,5つのベンチマークデータセットにおいて,現在最先端のfsl法を上回ることができることを示す。

関連論文リスト

• Dual Adaptive Representation Alignment for Cross-domain Few-shot Learning [58.837146720228226]
  ベース知識から学習することで、限られたサポートサンプルを持つ新規なクエリを認識することを目的としている。 この設定の最近の進歩は、ベース知識と新しいクエリサンプルが同じドメインに分散されていることを前提としている。 本稿では,ターゲットドメインで利用可能なサンプルが極めて少ないドメイン間数ショット学習の問題に対処することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T09:52:16Z)
• Beyond Simple Meta-Learning: Multi-Purpose Models for Multi-Domain, Active and Continual Few-Shot Learning [41.07029317930986]
  低ラベル方式で動作するモデルの分散感応クラスを提案する。 最初の手法であるSimple CNAPSは階層的に正規化されたマハラノビス距離に基づく分類器を用いる。 我々はさらに、このアプローチをトランスダクティブ学習環境に拡張し、トランスダクティブCNAPSを提案する。
  論文  参考訳（メタデータ） (2022-01-13T18:59:02Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Few-shot Learning via Dependency Maximization and Instance Discriminant Analysis [21.8311401851523]
  そこで本研究では,カテゴリ毎にラベル付きデータが極めて少ない新しいオブジェクトの認識をモデルが学習する,数ショットの学習問題について検討する。 本稿では,少数ショット処理に伴うラベルなしデータを利用して,少数ショット性能を向上させるための簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-09-07T02:19:01Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)
• Hybrid Consistency Training with Prototype Adaptation for Few-Shot Learning [11.873143649261362]
  Few-Shot Learningは、低データ構造におけるモデルの一般化能力を改善することを目的としている。 近年のFSL研究は,メートル法学習,メタラーニング,表現学習などを通じて着実に進展している。
  論文  参考訳（メタデータ） (2020-11-19T19:51:33Z)
• Multi-Scale Positive Sample Refinement for Few-Shot Object Detection [61.60255654558682]
  Few-shot Object Detection (FSOD) は、ディテクターがトレーニングインスタンスをほとんど持たない未確認のクラスに適応するのに役立つ。 FSODにおけるオブジェクトスケールを拡張化するためのMPSR(Multi-scale Positive Sample Refinement)アプローチを提案する。 MPSRは、オブジェクトピラミッドとして多スケールの正のサンプルを生成し、様々なスケールで予測を洗練させる。
  論文  参考訳（メタデータ） (2020-07-18T09:48:29Z)
• Boosting Few-Shot Learning With Adaptive Margin Loss [109.03665126222619]
  本稿では,数ショット学習問題に対するメートル法に基づくメタラーニング手法の一般化能力を改善するための適応的マージン原理を提案する。 大規模な実験により,提案手法は,現在のメートル法に基づくメタラーニング手法の性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2020-05-28T07:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。