Fugu-MT 論文翻訳(概要): SPeCiaL: Self-Supervised Pretraining for Continual Learning

論文の概要: SPeCiaL: Self-Supervised Pretraining for Continual Learning

arxiv url: http://arxiv.org/abs/2106.09065v1
Date: Wed, 16 Jun 2021 18:15:15 GMT
ステータス: 処理完了
システム内更新日: 2021-06-19 12:06:34.671651
Title: SPeCiaL: Self-Supervised Pretraining for Continual Learning
Title（参考訳）: 継続学習のための自己教師付き事前学習
Authors: Lucas Caccia, Joelle Pineau
Abstract要約: SPeCiaLは、継続学習に適した表現の教師なし事前学習方法である。本研究では,SPeCiaLを連続的なFew-Shot学習環境において評価し,他の教師付き事前学習手法に適合または優れることを示す。
参考スコア（独自算出の注目度）: 49.34919926042038
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents SPeCiaL: a method for unsupervised pretraining of representations tailored for continual learning. Our approach devises a meta-learning objective that differentiates through a sequential learning process. Specifically, we train a linear model over the representations to match different augmented views of the same image together, each view presented sequentially. The linear model is then evaluated on both its ability to classify images it just saw, and also on images from previous iterations. This gives rise to representations that favor quick knowledge retention with minimal forgetting. We evaluate SPeCiaL in the Continual Few-Shot Learning setting, and show that it can match or outperform other supervised pretraining approaches.
Abstract（参考訳）: 本稿では,連続学習に適した表現の教師なし事前学習法を提案する。このアプローチは、逐次学習プロセスを通じて異なるメタ学習目標を考案する。具体的には、同じ画像の異なる拡張ビューを連続的に表示するために、表現の上に線形モデルを訓練する。線形モデルは、見たばかりの画像を分類する機能と、以前のイテレーションの画像の両方で評価される。このことは、最小限の忘れをしながら、迅速な知識の保持を好む表現を生み出します。本研究では,SPeCiaLを連続的なFew-Shot学習環境において評価し,他の教師付き事前学習手法に適合または優れることを示す。

関連論文リスト

Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
論文参考訳（メタデータ） (2024-05-06T02:02:57Z)
RanDumb: A Simple Approach that Questions the Efficacy of Continual Representation Learning [68.42776779425978]
既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。続いて、オンライン連続学習環境において、前例を保存せずに単純な線形分類器をトレーニングし、一度に1つのサンプルを処理します。本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
論文参考訳（メタデータ） (2024-02-13T22:07:29Z)
TExplain: Explaining Learned Visual Features via Pre-trained (Frozen) Language Models [14.019349267520541]
本稿では,事前学習した画像分類器の学習特徴を解釈するために,言語モデルの能力を活用する新しい手法を提案する。提案手法は,与えられた画像の分類器によって学習された特徴を説明するために,膨大な数の文を生成する。提案手法は,視覚表現に対応する頻繁な単語を初めて利用し,意思決定プロセスに関する洞察を提供する。
論文参考訳（メタデータ） (2023-09-01T20:59:46Z)
SLIP: Self-supervision meets Language-Image Pre-training [79.53764315471543]
自己指導型学習が視覚表現学習における言語指導の活用に役立つかどうかを考察する。自己教師付き学習とCLIP事前学習を組み合わせたマルチタスク学習フレームワークSLIPを紹介する。 SLIPは、自己監督や言語監督よりも優れたパフォーマンスを享受しています。
論文参考訳（メタデータ） (2021-12-23T18:07:13Z)
LiRA: Learning Visual Speech Representations from Audio through Self-supervision [53.18768477520411]
セルフスーパービジョン(LiRA)による音声からの視覚的表現の学習を提案する。具体的には、ResNet+Conformerモデルをトレーニングし、未学習の視覚音声から音響的特徴を予測する。提案手法は,WildデータセットのLip Readingにおいて,他の自己教師的手法よりも優れていることを示す。
論文参考訳（メタデータ） (2021-06-16T23:20:06Z)
Class-Balanced Distillation for Long-Tailed Visual Recognition [100.10293372607222]
実世界のイメージはしばしばクラスごとの画像数の著しい不均衡によって特徴づけられ、ロングテール分布に繋がる。本研究では、インスタンスサンプリングで学習した特徴表現が長尾設定では最適とは程遠いという重要な観察を行うことで、新しいフレームワークを提案する。我々の主な貢献は、知識蒸留を利用して特徴表現を強化する新しい訓練方法である。
論文参考訳（メタデータ） (2021-04-12T08:21:03Z)
Distilling Visual Priors from Self-Supervised Learning [24.79633121345066]
畳み込みニューラルネットワーク(CNN)は、小さなトレーニングデータセットに適合する傾向にある。データ不足条件下での画像分類のためのCNNモデルの一般化能力を向上させるために,自己教師付き学習と知識蒸留を活用した2相パイプラインを提案する。
論文参考訳（メタデータ） (2020-08-01T13:07:18Z)
Demystifying Contrastive Self-Supervised Learning: Invariances, Augmentations and Dataset Biases [34.02639091680309]
近年のパフォーマンス向上は、インスタンス分類モデルをトレーニングし、各イメージを扱い、拡張バージョンを単一のクラスのサンプルとして扱うことで実現している。我々は,MOCO や PIRL のようなアプローチがオクルージョン不変表現を学習することを示した。第2に、Imagenetのようなクリーンなオブジェクト中心のトレーニングデータセットにアクセスすることで、これらのアプローチがさらに利益を得ることを示す。
論文参考訳（メタデータ） (2020-07-28T00:11:31Z)
Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
コントラスト学習は教師なし表現学習に革命をもたらした。現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
論文参考訳（メタデータ） (2020-04-14T16:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。