論文の概要: Self-supervised Knowledge Distillation for Few-shot Learning

• arxiv url: http://arxiv.org/abs/2006.09785v2
• Date: Tue, 4 Aug 2020 05:22:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 21:03:00.978470
• Title: Self-supervised Knowledge Distillation for Few-shot Learning
• Title（参考訳）: ファウショット学習のための自己教師型知識蒸留
• Authors: Jathushan Rajasegaran, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Mubarak Shah
• Abstract要約: 少数のサンプルだけで秩序分布から素早く学習できるため、ショットラーニングは有望な学習パラダイムである。 数ショットの学習タスクにおいて,深層ニューラルネットワークの表現能力を向上させるための簡単な手法を提案する。 実験により、第一段階においても、自己超越は現在の最先端手法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 123.10294801296926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world contains an overwhelmingly large number of object classes, learning all of which at once is infeasible. Few shot learning is a promising learning paradigm due to its ability to learn out of order distributions quickly with only a few samples. Recent works [7, 41] show that simply learning a good feature embedding can outperform more sophisticated meta-learning and metric learning algorithms for few-shot learning. In this paper, we propose a simple approach to improve the representation capacity of deep neural networks for few-shot learning tasks. We follow a two-stage learning process: First, we train a neural network to maximize the entropy of the feature embedding, thus creating an optimal output manifold using a self-supervised auxiliary loss. In the second stage, we minimize the entropy on feature embedding by bringing self-supervised twins together, while constraining the manifold with student-teacher distillation. Our experiments show that, even in the first stage, self-supervision can outperform current state-of-the-art methods, with further gains achieved by our second stage distillation process. Our codes are available at: https://github.com/brjathu/SKD.
• Abstract（参考訳）: 現実世界には圧倒的な数のオブジェクトクラスがあり、これらすべてを一度に学習することは不可能である。 わずかなサンプルだけで順序分布から素早く学習できるため、ショット学習は有望な学習パラダイムである。 近年の[7, 41]では,優れた機能の埋め込みを単に学習すれば,より高度なメタ学習やメトリック学習アルゴリズムより、数ショットの学習に優れることが示された。 本稿では,少数の学習タスクにおいて,ディープニューラルネットワークの表現能力を向上させるための簡易な手法を提案する。 まず,特徴埋め込みのエントロピーを最大化するためにニューラルネットワークを訓練し,自己教師付き補助損失を用いた最適出力多様体を作成する。 第2段階では、自己教師双生児を結合し、多様体を学生-教師蒸留で制約することにより、特徴埋め込みのエントロピーを最小化する。 実験の結果,第1段階においても,第2段階の蒸留プロセスにより,自己超過は現在の最先端手法より優れていることがわかった。 私たちのコードは、https://github.com/brjathu/SKD.comで利用可能です。

関連論文リスト

• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video Anomaly Detection [108.57862846523858]
  自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。 マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。 モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
  論文  参考訳（メタデータ） (2022-07-16T19:25:41Z)
• Learning Deep Representation with Energy-Based Self-Expressiveness for Subspace Clustering [24.311754971064303]
  本稿では,エネルギーモデルに基づく新しい深部サブスペースクラスタリングフレームワークを提案する。 最近普及している自己教師型学習の強力な表現能力を考えると、自己教師型表現学習を利用して辞書を学習しようとする。
  論文  参考訳（メタデータ） (2021-10-28T11:51:08Z)
• Distill on the Go: Online knowledge distillation in self-supervised learning [1.1470070927586016]
  最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。 単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。 以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
  論文  参考訳（メタデータ） (2021-04-20T09:59:23Z)
• Self-Supervised Training Enhances Online Continual Learning [37.91734641808391]
  連続学習では、システムは壊滅的な忘れずに、非定常データストリームから段階的に学習する必要があります。 自己教師付き事前トレーニングは、教師付き学習よりも一般化する機能をもたらす可能性がある。 我々の最善のシステムは、オンライン連続学習の最先端技術よりも、クラスインクリメンタルイメージネットにおいて、トップ1の精度を14.95%向上させる。
  論文  参考訳（メタデータ） (2021-03-25T17:45:27Z)
• Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance [0.0]
  本研究では,Cifar-10とSVHNを用いた一発半教師付き学習(BOSS)の可能性を示す。 本手法は, クラスプロトタイプの精錬, クラスバランシング, 自己学習を組み合わせた手法である。 厳密な経験的評価は、ディープニューラルネットワークのトレーニングには大規模なデータセットのラベル付けは必要ないという証拠を提供する。
  論文  参考訳（メタデータ） (2020-06-16T17:56:00Z)
• Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? [72.00712736992618]
  メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。 追加の増量は自己蒸留によって達成できる。 我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
  論文  参考訳（メタデータ） (2020-03-25T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。