論文の概要: Self-Supervised Models are Continual Learners

• arxiv url: http://arxiv.org/abs/2112.04215v1
• Date: Wed, 8 Dec 2021 10:39:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 14:33:32.115611
• Title: Self-Supervised Models are Continual Learners
• Title（参考訳）: 自己監督型モデルは継続的な学習者である
• Authors: Enrico Fini, Victor G. Turrisi da Costa, Xavier Alameda-Pineda, Elisa Ricci, Karteek Alahari, Julien Mairal
• Abstract要約: 本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。 我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
• 参考スコア（独自算出の注目度）: 79.70541692930108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised models have been shown to produce comparable or better visual representations than their supervised counterparts when trained offline on unlabeled data at scale. However, their efficacy is catastrophically reduced in a Continual Learning (CL) scenario where data is presented to the model sequentially. In this paper, we show that self-supervised loss functions can be seamlessly converted into distillation mechanisms for CL by adding a predictor network that maps the current state of the representations to their past state. This enables us to devise a framework for Continual self-supervised visual representation Learning that (i) significantly improves the quality of the learned representations, (ii) is compatible with several state-of-the-art self-supervised objectives, and (iii) needs little to no hyperparameter tuning. We demonstrate the effectiveness of our approach empirically by training six popular self-supervised models in various CL settings.
• Abstract（参考訳）: 自己教師付きモデルでは、ラベルのない大規模データをオフラインでトレーニングする場合、教師付きモデルと同等あるいは優れた視覚的表現を生成することが示されている。 しかし、データを連続的にモデルに提示する連続学習(cl)シナリオでは、その効果は破滅的に低下する。 本稿では,表現の現在の状態を過去の状態にマッピングする予測ネットワークを追加することにより,自己教師付き損失関数をCLの蒸留機構にシームレスに変換できることを示す。 これにより、連続的な自己監督型視覚表現学習のためのフレームワークを作成できる。 (i)学習した表現の質を著しく向上させる。 (ii)最先端の自己管理目的と互換性があり、 (iii)ハイパーパラメータチューニングをほとんど必要としない。 提案手法は,様々なcl環境において6種類の自己教師付きモデルを訓練することで実証的に有効性を示す。

関連論文リスト

• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Calibrating Multi-modal Representations: A Pursuit of Group Robustness without Annotations [19.800907485589402]
  CLIPのような微調整済みの視覚言語モデルは、さまざまな下流タスクで成功している。 これらの調整されたモデルは高度に専門化され、実際の展開の実用性が制限される傾向にある。 微調整CLIPのための軽量表現校正法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T01:47:17Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Self-Supervised Multi-Object Tracking For Autonomous Driving From Consistency Across Timescales [53.55369862746357]
  自己管理型マルチオブジェクトトラッカーは、生のドメイン固有データから学習できるという大きな可能性を秘めている。 しかし、その再識別精度は、監督対象よりも低い。 本稿では,複数の連続フレームから再同定特徴を自己教師付きで学習できる学習目標を提案する。
  論文  参考訳（メタデータ） (2023-04-25T20:47:29Z)
• One Objective for All Models -- Self-supervised Learning for Topic Models [11.67381769733002]
  トピックモデルによって生成されたデータに適用した場合、自己教師型学習は特定のモデルに偏る可能性がある。 特に、再構成やコントラスト的なサンプルに基づく一般的な自己教師対象が、一般的なトピックモデルに有用な後部情報を復元できることを実証する。
  論文  参考訳（メタデータ） (2022-02-02T06:20:59Z)
• Revisiting Weakly Supervised Pre-Training of Visual Perception Models [27.95816470075203]
  大規模で弱い教師付き事前訓練は、完全に教師付きアプローチよりも優れている。 本稿では,ハッシュタグによるモデル事前学習の弱さを再考する。 本研究は,視覚認識システム開発における弱教師付き学習の活用について,説得力のある議論を提起する。
  論文  参考訳（メタデータ） (2022-01-20T18:55:06Z)
• Robust Disentanglement of a Few Factors at a Time [5.156484100374058]
  変分オートエンコーダ(VAE)の整合性向上のための人口ベーストレーニング(PBT)を導入する。 PBT-VAEトレーニングでは、教師なしのモデルスコアとしてUnsupervised Disentanglement Ranking (UDR)を使用し、この方法でトレーニングされたモデルが、生成因子のサブセットのみを一貫して切り離す傾向を示す。 複数のデータセットとメトリクスをまたいで、最先端の教師なしのアンハンジメント性能とロバストネスを著しく改善したことを示す。
  論文  参考訳（メタデータ） (2020-10-26T12:34:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。