論文の概要: Simpler is Better: off-the-shelf Continual Learning Through Pretrained Backbones

• arxiv url: http://arxiv.org/abs/2205.01586v1
• Date: Tue, 3 May 2022 16:03:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 16:28:31.629238
• Title: Simpler is Better: off-the-shelf Continual Learning Through Pretrained Backbones
• Title（参考訳）: よりシンプルに - トレーニング済みのバックボーンによる既成の継続的学習
• Authors: Francesco Pelosin
• Abstract要約: 本稿では,コンピュータビジョン問題の連続学習のためのベースライン(オフザシェルフ)を提案する。 事前訓練されたモデルのパワーを利用して、クラスプロトタイプを計算し、メモリバンクを埋めます。 パイプラインを一般的なCNNモデルと比較し、ビジョントランスフォーマーの優位性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this short paper, we propose a baseline (off-the-shelf) for Continual Learning of Computer Vision problems, by leveraging the power of pretrained models. By doing so, we devise a simple approach achieving strong performance for most of the common benchmarks. Our approach is fast since requires no parameters updates and has minimal memory requirements (order of KBytes). In particular, the "training" phase reorders data and exploit the power of pretrained models to compute a class prototype and fill a memory bank. At inference time we match the closest prototype through a knn-like approach, providing us the prediction. We will see how this naive solution can act as an off-the-shelf continual learning system. In order to better consolidate our results, we compare the devised pipeline with common CNN models and show the superiority of Vision Transformers, suggesting that such architectures have the ability to produce features of higher quality. Moreover, this simple pipeline, raises the same questions raised by previous works \cite{gdumb} on the effective progresses made by the CL community especially in the dataset considered and the usage of pretrained models. Code is live at https://github.com/francesco-p/off-the-shelf-cl
• Abstract（参考訳）: 本稿では,事前学習モデルのパワーを活用し,コンピュータビジョン問題の連続学習のためのベースライン(オフ・ザ・シェルフ)を提案する。 これにより、一般的なベンチマークの多くに対して、強力なパフォーマンスを実現するためのシンプルなアプローチを考案する。 パラメータ更新を必要とせず、最小限のメモリ要件(KByteの順序)を持つため、私たちのアプローチは高速です。 特に「トレーニング」フェーズはデータを再順序付けし、事前訓練されたモデルのパワーを利用してクラスプロトタイプを計算し、メモリバンクを満たします。 推論時には、最も近いプロトタイプをknnのようなアプローチでマッチングし、予測します。 このナイーブなソリューションが,既成の継続的学習システムとしてどのように機能するかを確認します。 そこで,提案するパイプラインを一般的なcnnモデルと比較し,視覚トランスフォーマーの優位性を示すことにより,高品質な特徴を実現できることを示唆する。 さらに、この単純なパイプラインは、CLコミュニティが特に検討したデータセットや事前学習されたモデルの使用において行った効果的な進歩について、以前の研究によって提起されたのと同じ疑問を提起する。 コードはhttps://github.com/francesco-p/off-the-shelf-clにある。

関連論文リスト

• Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
  低データ体制における教師なし事前学習のための新しい手法を提案する。 最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。 提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
  論文  参考訳（メタデータ） (2024-05-22T06:48:43Z)
• Read Between the Layers: Leveraging Multi-Layer Representations for Rehearsal-Free Continual Learning with Pre-Trained Models [15.847302755988506]
  本研究では,非定常分布から連続的なタスク列を学習しなければならない連続学習問題に対処する。 プレトレーニングネットワークの複数の中間層からの2次特徴統計量を利用する,CL に対する新しいプロトタイプベースのアプローチである LayUP を提案する。 その結果、CLにおける事前学習モデルの表現能力を完全に消耗させることは、最終的な埋め込みをはるかに超えることを示した。
  論文  参考訳（メタデータ） (2023-12-13T13:11:44Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Guiding The Last Layer in Federated Learning with Pre-Trained Models [18.382057374270143]
  フェデレートラーニング(FL)は、データを共有することなく、多数の参加者にまたがってモデルをトレーニングできる新興パラダイムである。 NCM(Nearest Class Means)を用いた分類ヘッドの適合は,既存の提案よりも正確に,桁違いに効率的に行えることを示す。
  論文  参考訳（メタデータ） (2023-06-06T18:02:02Z)
• Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt [103.58323875748427]
  この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。 近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。 実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:49:03Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• A Simple Baseline that Questions the Use of Pretrained-Models in Continual Learning [30.023047201419825]
  いくつかの手法は、事前訓練された表現に基づいて連続学習機構を設計し、継続学習のトレーニング中に最小限のアップデートやバックボーンモデルの更新を許可しない。 我々は、事前訓練された特徴抽出器自体が、Split-CIFAR100およびCoRe 50ベンチマーク上での競争力や継続学習性能を達成するのに十分な強度を持つと論じる。 このベースラインは10-Split-CIFAR-100で88.53%を達成した。
  論文  参考訳（メタデータ） (2022-10-10T04:19:53Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。